"Синій екран смерті": чому стався глобальний збій у роботі Windows
П’ятниця, 19 липня, стала чорним днем для багатьох банків, бірж, телеканалів та лікарень. Британський телеканал Sky News перервав мовлення, а мільйони власників комп’ютерів бачили на своїх моніторах "синій екран смерті".
Причиною стало звичайне оновлення програми безпеки Falcon Sensor від компанії Crowdstrike, яке через помилку обвалило роботу 8,5 млн пристроїв з Windows, спричинивши один з найбільших IT-збоїв в історії.
Як рутинна технічна зміна від маловідомої компанії призвела до масштабного хаосу? Чи все вдалося виправити? Скільки мільярдів доларів втрачено? Як Crowdstrike оговтуватиметься від болючого репутаційного удару?
Що сталося
19 липня відбувся збій у роботі пристроїв з операційною системою (ОС) Windows. Під час завантаження комп'ютерів користувачі бачили синій екран, який з'являється при системних помилках. Проблеми фіксували в багатьох країнах.
Як з’ясувалося згодом, причиною збою стало оновлення програмного забезпечення (ПЗ) для захисту від кібератак Falcon Sensor від компанії Crowdstrike. Голова Crowdstrike Джордж Куртц майже одразу наголосив, що інцидент не пов'язаний з кібератакою або безпековими проблемами.
Збій показав принципову вразливість усіх ОС, що надають стороннім програмам прямий доступ до ядра. Він не зачепив і не міг зачепити комп'ютерів Apple з ОС MacOS, що дають такий доступ тільки через власний API.
Після збою Crowdstrike припустилася ще й іміджевої помилки, розіславши партнерам подарункові картки Uber Eats на 10 дол як подяку і вибачення за понаднормову роботу. У багатьох картки не спрацювали, адже Uber вважав, що їх часте використання – це шахрайство. IT-фахівці назвали це знущанням.
Що відомо про Crowdstrike
Crowdstrike – провідна компанія в секторі кібербезпеки, яка спеціалізується на хмарних рішеннях для захисту кінцевих пристроїв і виявлення загроз. Місяць тому вона увійшла до індексу найбільших акціонерних компаній США S&P 500.
Компанію у 2011 році заснував топменеджер виробника антивірусного софту McAfee Джордж Куртц. Вона стала відомою завдяки розслідуванню кібератак включно із зламом поштових серверів Демократичної партії США у 2016 році, у причетності до якого звинувачували російські угруповання Fancy Bear і Cozy Bear.
Свій основний продукт – хмарну платформу Crowdstrike Falcon – компанія випустила у 2013 році. Він захищає кінцеві точки, тобто смартфони, комп’ютери та ноутбуки завдяки системі EDR (виявлення й реагування на загрози).
"Falcon працює на штучному інтелекті. Він об'єднує технології і досвід в одне просте рішення, яке надійно зупиняє будь-які загрози. Платформа за лічені хвилини забезпечує захист у реальному часі, а алгоритми ШІ дозволяють побачити результат уже з першого дня", – так рекламує свій продукт Crowdstrike.
У червні 2019 року вона вийшла на IPO – акції почали торгуватися на біржі Nasdaq. До збою капіталізація Crowdstrike наближалася до 100 млрд дол. Не виключено, що після такого провалу вона вже не повернеться назад. Лише за кілька годин після збою акції компанії подешевшали на 16,5% – фірма втратила 13 млрд дол капіталізації. За липень її ринкова оцінка впала нижче 60 млрд дол.
Crowdstrike заявляє, що її продуктами хмарної безпеки користуються майже 30 тис компаній, зокрема 62 – із списку Fortune 100.
За іронією долі, перш ніж обвалити роботу ОС Windows в усьому світі Crowdstrike критикувала Microsoft за слабку безпеку і вразливості в її продуктах. Тепер же на компанію чекають багатомільярдні судові позови і падіння акцій.
Причини збою
"Всесвітній збій в роботі ІТ-систем безпрецедентний за діапазоном та масштабом", – сказав експерт з кібербезпеки Харджіндер Лаллі. У Crowdstrike пояснили, що не помітили помилку в оновленні через баг у діагностичному ПЗ.
Оновлення пройшло тестування ще 5 березня. "Через помилку в програмі перевірки вмісту один з двох екземплярів шаблону пройшов перевірку, незважаючи на те, що містив проблемні дані", – пояснив розробник.
Компанія надає оновлення конфігурації вмісту безпеки двома способами: через Sensor Content, що поставляється з компонентом Falcon Sensor, і через Rapid Response Content, який дає змогу помічати нові загрози за допомогою різних методів зіставлення поведінкових шаблонів. В останньому і містилася помилка.
Збій зачепив пристрої з Windows версії 7.11 і вище, які були в мережі із 07:09 до 08:27 за київським часом 19 липня й отримали оновлення. За оцінками Microsoft, ідеться про близько 8,5 млн пристроїв – менше 1% комп'ютерів з цією ОС.
Хто винен
Crowdstrike не змогла перевірити файл, який вона розіслала своїм клієнтам, що призвело до виходу з ладу їхніх комп'ютерів з Windows. Компанія розгорнула цей файл для всіх одразу, перш ніж випустити оновлення для загалу.
Microsoft дозволила Crowdstrike отримати доступ до Windows на рівні ядра. Без цього рівня доступу оновлення Crowdstrike, імовірно, не мало б такого впливу. Збій було б легше виправити без ручного перезавантаження уражених систем.
Водночас такий дозвіл Microsoft зобов'язаний надавати в межах угоди 2009 року між корпорацією та Єврокомісією, на яку корпорація пішла, аби залагодити антимонопольний спір з ЄС. За угодою, сторонні розробники повинні мати такий самий доступ до Windows, який мають її власні програми безпеки.
Ідея в тому, щоб інші розробники могли конкурувати з Microsoft. Угода вимагає зробити всі API доступними для виробників сторонніх продуктів безпеки. "Доки це положення не змінять, не зрозуміло, чи засвоїть Microsoft урок цієї невдачі і почне закривати доступ, як це зробила Apple чотири роки тому", – пише FT.
Викладач Бірмінгемського університету Ян Баттен пояснив, що для ефективної роботи ПЗ для кібербезпеки, такого як Crowdstrike, воно "має бути запроваджене глибоко в операційну систему". Це означає, що якщо щось піде не так, система "повністю зупиниться" для власного захисту. Так, зрештою, і сталося.
"Цей збій показав, що надавати компаніям такий доступ може бути небезпечно. Якщо постачальник ПЗ, на якого ви покладаєтеся, припуститься помилки або буде скомпрометований, ви швидко втратите контроль над комп'ютером.
Саме тому у 2020 році Apple почала інформувати сторонніх розробників про те, що більше не надаватиме їм доступ до MacOS на рівні ядра. Можливо, саме тому проблема Crowdstrike не торкнулася пристроїв від Apple", – зауважує FT.
Microsoft уже міркує про витіснення постачальників ПЗ з ядра Windows.
Наслідки і збитки
Помилкове оновлення Falcon Sensor порушило роботу банків, телеканалів, радіостанцій, бірж, лікарень, закладів харчування та аеропортів.
Авіагалузь постраждала найбільше. Замість розкладу польотів на екранах з’являлися "сині екрани смерті", а рейси скасовувалися чи переносилися. В аеропортах Делі і Белфаста через збій номери рейсів писали маркерами на офісних дошках, а в Індії та Франції посадкові талони виписували від руки.
За даними FlightAware, лише 19 липня скасували понад 3 700 рейсів і ще понад 33 тис затримали. Мова йде про пасажирські і вантажні рейси. Попередні оцінки перших 20 год після початку збою свідчать про 24 млрд дол збитків авіагалузі.
Найбільший вплив збою відчула на собі одна з провідних американських авіакомпаній Delta Air Lines. Більшість її конкурентів швидко відновили роботу (American Airlines скасувала лише 44 рейси 20 липня), а в Delta скасування рейсів тривало до середини наступного тижня. Компанія опрацьовує понад 176 тис запитів на відшкодування після скасування майже 7 тис польотів.
Тривале відновлення роботи в Delta пов’язане з впливом збою на її внутрішню систему, через що перевізник довго не міг вносити зміни в розклад рейсів. На затримку відреагувало Міністерство транспорту США, почавши розслідування. Крім збитків, на Delta чекає штраф за підсумками розгляду справи.
Авіакомпанія звинувачує Crowdstrike та Microsoft і вимагає компенсації. За попередніми оцінками, перебої в роботі коштували їй 350-500 млн дол.
Кіберстраховик Parametrix спочатку підрахував, що збій зачепив чверть компаній списку Fortune 500 і в середньому коштував кожній з них 43,6 млн дол – у сумі це 5,4 млрд дол. Проте через тиждень після збою Parametrix навів нову оцінку втрат компаній в усьому світі за винятком Microsoft: щонайменше 15 млрд дол. Лише частина цих втрат (1,5-3 млрд дол) буде покрита страховкою.
Вплив на Україну
Crowdstrike вийшла на український ринок у 2020 році. Зараз дистриб’ютор її продуктів iIT Distribution обслуговує 15 тис хостів у державному секторі.
Про перебої 19 липня повідомляли Vodafone, "Нова пошта" та Sense Bank. Загалом збій зачепив понад 80% українських клієнтів Crowdstrike, це понад 50 організацій, розповів CTO iIT Distribution Юрій Гатупов.
За його словами, збою вдалося уникнути користувачам операційних систем MacOS та Linux, а також тим, хто не вмикав комп'ютер протягом півтори години, коли відбувалося проблемне оновлення Crowdstrike.
Першою версією причини збою Гатупов називає диверсію, другою – недбалість. "Припускаю, що хтось через конкретну людину в компанії здійснив диверсію, але цьому немає підтверджень. Дивно виглядає, щоб розробник припустився такої помилки. Однак не виключено, що компанія переоцінила можливості ШІ та автоматичних тестів. Це суто технічний інцидент", – розповів CTO iIT Distribution.
Компанія не очікує позовів щодо компенсації фінансових збитків в Україні. "Наша команда добре зреагувала завдяки співробітникам, партнерам та клієнтам. Наш інженер сказав, що робити, ще до оприлюднення інструкції від Crowdstrike. Складність полягала в тому, що часто потрібен був фізичний доступ до машини. Проте до кінця дня 19 липня в усіх усе працювало", – резюмував Гатупов.
Уроки від збою
Суми втрат та судових позовів стануть зрозумілішими згодом, але експерти радіють, що це був суто технічний збій, а не кібератака. Той факт, що, здавалося б, рутинне оновлення програмного забезпечення може призвести до такого світового хаосу, вони називають "тривожним дзвіночком".
"Збої та хакерські атаки стають дедалі більшою загрозою, оскільки світова економіка активно цифровізується. Комп'ютери та інтернет лежать в основі всього: від фондових бірж та електромобілів до центрального опалення.
На Google, Amazon та Microsoft припадають дві третини ринку хмарних провайдерів. Crowdstrike займає майже п'яту частину ринку кібербезпеки кінцевих точок. Коли вона надто покладається на окремого постачальника, завжди є ризик, хоч і невеликий, що збої вплинуть на ширші процеси", – пише Financial Times.
Після оголошення попередніх причин збою Crowdstrike пообіцяла провести ретельні перевірки, аби уникнути нових масштабних проблем.
Компанія обіцяє покращити тестування програм та зменшити ризик одночасного ураження комп’ютерів, запустивши поетапне розгортання оновлень. Файли з новими загрозами відтепер будуть у руках адмінів на місцях. Вони зможуть самостійно вирішувати, чи розповсюджувати їх відразу на всю інфраструктуру.
"Імовірність такого збою нікчемно мала. Скільки оновлень Microsoft "крашило" систему? Безліч. Це не зупиняє світ, бо ви самі контролюєте, коли це робити і на яких машинах. Це головний урок, який винесла Crowdstrike", – каже Гатупов.
25 липня Куртц заявив, що 97% ПК клієнтів компанії відновили роботу.