Второе большое падение: почему Facebook, Instagram, WhatsApp, Messenger и Oculus VR упали

Facebook разом з афільованими платформами Instagram, WhatsApp, Messenger, Oculus VR став жертвою другого у своїй історії глобального збою.

За даними ресурсу Downdetector, проблеми почалися близько 18:39 за київським часом.

Збої в роботі викликали масовий хаос і вплинули на користувачів в усьому світі, особливо на тих, хто використовує сервіси для спілкування.

The Washington Post відзначає, що відключення WhatsApp було особливо важким для тієї частини світу, яка значною мірою покладається на нього при обміні повідомленнями. Особливо це стосується двох десятків країн, де цей додаток є лідером на ринку обміну повідомленнями.

Згідно зі звітом Global Web Index про тенденції користувачів соціальних мереж за 2020 рік, у семи країнах, включаючи Кенію, Малайзію і Колумбію, понад 90% людей у віці від 16 до 64 років є щомісячними користувачами WhatsApp.

На Близькому Сході, де громадськість та уряди значною мірою покладаються на Facebook і WhatsApp, відключення означало майже повну втрату зв'язку. Телефонні дзвінки і текстові повідомлення в Лівані та Йорданії коштують дорого, тому жителі часто звертаються до WhatsApp.

Додаток також пропонував зашифровані голосові виклики, що є важливою функцією в регіонах, які перебувають під пильним урядовим наглядом. У деяких країнах, включаючи Ліван, політичні та громадські оголошення робляться лише через Facebook.

Загалом платформи Facebook були недоступні протягом шести-семи годин і почали повільно повертатися в онлайн після 01:00 за київським часом.

"Facebook, Instagram, WhatsApp і Messenger повертаються в онлайн-режим. Вибачте за цей зрив. Я знаю, наскільки ви покладаєтеся на наші послуги, щоб залишатися на зв'язку з людьми, які вам дорогі", – написав на своїй сторінці в FB Марк Цукерберг о 01:54 за київським часом.

Після глобального збою також почалися перебої в роботі месенджера Telegram, який не входить до Facebook-сім'ї.

Telegram повідомив у Twitter: "Радий, що всі зареєстровані облікові записи переходять з WhatsApp, але серверам складно впоратися з усім відразу".

Що сталося? Чому виник цей глобальний збій, уже другий для Facebook за останні два роки?[BANNER1]

Інтернет не знає, де шукати facebook.com

"Ми знаємо, що деякі люди мають проблеми з доступом до наших програм та продуктів. Ми працюємо над тим, щоб якомога швидше нормалізувати ситуацію, і просимо вибачення за можливі незручності", – писав у Twitter у перші хвилини збою директор з комунікацій Facebook Енді Стоун.

We’re aware that some people are having trouble accessing our apps and products. We’re working to get things back to normal as quickly as possible, and we apologize for any inconvenience.

— Andy Stone (@andymstone) October 4, 2021

Подробиць у компанії не повідомили. О 06:00 за київським часом у провідних світових ЗМІ була відсутня достовірна інформація про причини глобального збою. Опитані технічні спеціалісти висували свої версії того, що відбувається.

"Щось сталося всередині Facebook, що зіпсувало налаштування їх мережі, зокрема ті налаштування, як дозволяють Facebook спілкуватися з рештою світу та отримувати доступ до інтернету", – сказала старший аналітик з безпеки компанії Verica Кортні Неш.

Директор з аналізу компанії з моніторингу мереж Kentik Дуг Медорі припустив, що проблема полягає в маршрутах протоколів прикордонного шлюзу Facebook або шляхах, які дозволяють маршрутизаторам обмінюватися інформацією. Медорі називає маршрути протоколів "основою того, як працює інтернет".

Вірогідно, збій був викликаний помилкою DNS (сервера доменних імен). Це структура імен, що формує інфраструктуру інтернету. Тобто коли користувачі пробували перейти на facebook.com, інтернет не знав, де шукати цю адресу.

За словами Медорі, маршрути Facebook були скасовані 4 жовтня вранці (за східним стандартним часом). Програми Facebook неможливо було знайти, оскільки ці маршрути містили адреси серверів систем доменних імен Facebook.

So, @facebook's DNS is broken this morning...

TL;DR: Google anycast DNS returns SERVFAIL for Facebook queries; querying https://t.co/0BDgaIHmlr directly times out. pic.twitter.com/3GHJ3mW0P0

— Jim Salter (@jrssnet) October 4, 2021

Системи DNS перетворюють знайомі веб-адреси, такі як facebook.com, на цифри, які можуть читати комп'ютери. Коли у серверів виникають проблеми в спілкуванні, це може зробити сайти недоступними.

Цю версію підтверджує твіт технічного директора Facebook Майка Шрепфера: "Ми відчуваємо проблеми з мережею, і команди працюють якомога швидше для налагодження та відновлення".

*Sincere* apologies to everyone impacted by outages of Facebook powered services right now. We are experiencing networking issues and teams are working as fast as possible to debug and restore as fast as possible

— Mike Schroepfer (@schrep) October 4, 2021

Налагодження, яке потребує ручного втручання

Телеграм-канал Ghost In the Block із 72 тис підписників оприлюднив більш детальну інтерпретацію попередньої версії причин падіння Facebook та афільованих платформ.

"О 18:50 у мережі Facebook "розкатали" оновлення на все своє мережеве обладнання, яке займалося анонсами BGP (Border Gateway Protocol – протокол динамічної маршрутизації) щодо маршрутизації до їх сервісів. Це призвело до повної зупинки зв'язку між сервісами Facebook, а разом з цим – припинення обслуговування їх DNS.

Сторінка входу на facebook.com в усьому світі близько години показувала: "Can not resolve domain". WhatsApp та Instagram належать FB і розміщуються на їх майданчику, тому вони теж стали недоступними.

Щоб усе налагодити, потрібне було ручне втручання у всі BGP-роутери, дата-центри і точки присутності Facebook.

Зробити це складно: фізичного доступу до всіх потрібних центрів обробки даних немає, а там присутні не найбільш досвідчені чергові співробітники.

Їх руками доводиться проводити маніпуляції з великою затримкою, адже інженери з головного офісу не можуть миттєво прилетіти в усі дата-центри.

Усе ускладнюється епідеміологічною ситуацією: фізичну присутність персоналу в дата-центрах скорочено.

Крім того, у співробітників Facebook через настільки масштабні проблеми стали недоступні внутрішні засоби комунікації. З цієї причини вони змушені координувати всі процеси через інші платформи, що уповільнює роботу.

Сервіси не працюють надто довго, тож аудиторія Facebook, Instagram та WhatsApp плавно перетікає в інші мережі. Вони відчувають різке зростання трафіку, що виглядає як уповільнення їх роботи", – йдеться в повідомленні.

Пізніше у Facebook підтвердили, що причною шестигодинного збою стала зміна конфігурації маршрутизаторів.

Як виглядає паралізований Facebook

Проблеми, викликані змінами конфігурації маршрутизаторів, паралізували комунікації в компанії.

У коментарі для The Washington Post імовірний співробітник соцмережі анонімно повідомив, що впала навіть внутрішня комунікаційна платформа Facebook Workplace.

Значна кількість робітників соцмережі також втратила доступ до сторонніх інструментів, наприклад, Slack, тому що механізм Facebook для входу в ці інструменти також не працював.

Крім того, співробітники компанії певний час не могли потрапити до офісів компанії, бо не працювали перепустки для вхідних дверей.

У Facebook відключення порушило майже всі внутрішні системи, які співробітники використовують для спілкування та роботи.

Кілька співробітників соцмережі розповіли The Verge, що вони вдалися до розмов через свої надані роботою облікові записи електронної пошти Outlook, хоча співробітники не можуть отримувати електронні листи із зовнішніх адрес.

Співробітники, які до відключення були зареєстровані в Google Docs та Zoom, не могли ними користуватися. Будь-який працівник, якому потрібно було увійти за допомогою своєї робочої електронної пошти, блокувався.[BANNER2]

Цукербергу дісталося не тільки через збої

Компанія на трильйон доларів, яка може похвалитися 2,9 млрд активних користувачів щомісяця, не працювала щонайменше шість годин.

Через зупинку роботи соцмереж компанії Facebook її засновник Марк Цукерберг за кілька годин втратив 6 млрд дол та опинився на шостій позиції у списку найзаможніших людей світу із статками 116,8 млрд дол.

Утім, це може бути пов'язано не лише із збоями. Преса відзначає, що зниження відбулося в межах глобальної тенденції зниження вартості акцій.

Причина – Facebook опинився під контролем Сенату США після того, як викривач інформації Френсіс Хауген передала  внутрішні документи соціальної мережі до The Wall Street Journal.

Видання також оприлюднило велику статтю про те, що Instagram негативно впливає на психічне здоров'я підлітків, особливо дівчат, і Facebook про це знає.

Це вже другий глобальний збій

Свій перший найбільший збій компанія пережила 14 березня 2019 року. Тоді сервіси Facebook, Instagram та WhatsApp "упали" в усьому світі більш ніж на 14 годин і були недоступні.

Тоді, відповідаючи на чутки, опубліковані в інших соцмережах, компанія заявила, що збої не були результатом DDoS-атаки, яка навантажує цільові служби надзвичайно великими обсягами трафіку.

Телеканал NBC News згодом повідомив, що причина була пов'язана з "перевантаженими" базами даних.

Фото на головній ua.depositphotos.com