Эвакуация данных: как GigaCloud под обстрелами вывозил хранилище данных Prozorro во Львов
В начале полномасштабной войны многие бизнесы и организации были вынуждены сделать релокейт. Кроме эвакуации людей, техники и оборудования, пришлось эвакуировать данные, чтобы датацентр не разбомбили во время обстрелов, а информация не была уничтожена. Так на рынке появилась новая услуга – remove help. (укр)
"Економічна правда" розповідає, що таке евакуація даних, і як спеціалісти хмарного оператора GigaCloud під обстрілами, в умовах дефіциту транспорту перевозили з Києва до Львова обладнання з даними компанії Prozorro.
До війни готувалися заздалегідь
GigaCloud — це український хмарний оператор, який зберігає дані тисяч компаній та організацій. Розуміючи свою відповідальність перед клієнтами, оператор ще в січні почав розробляти business continuity plan – що робити, якщо розпочнеться повномасштабна війна та в Києві будуть бойові дії. В сучасному світі дані — це критично важлива складова більшості бізнесів, тому забезпечити їхнє збереження у форсмажорній ситуації було життєво необхідно.
"Ще в січні ми розуміли, що ситуація загострюється і все йде до вторгнення Росії. Проробляли різні варіанти, аж до перевезення своєї інфраструктури на Захід. У нас вже був офіс у Львові, тому ми почали розширювати там свою присутність і будувати великий кластер для enterprise-клієнтів, — розповідає Ігор Чорнобай, керівник відділу експлуатації GigaCloud. — Ми розуміли, що ситуація може бути критичною. Тому буквально за два тижні збудували у Львові велику хмару на 15 серверів. Це шалені темпи — для порівняння, іншому нашому кластеру знадобилося 6 років, щоб розростися до 19 серверів".
Курс був на те, щоб будь-якою ціною максимально збільшити дисковий простір у Львові. Наприклад, навіть об 11 вечора 23 лютого компанія вела переговори з постачальником обладнання. 24 лютого мали забрати систему зберігання даних у Києві, щоб відвезти її до Львова. Забігаючи наперед, це вдалося зробити лише 8 березня — коли ситуація в столиці більш-менш стабілізувалася.
Ще до війни в GigaCloud запропонували своїм клієнтам безкоштовно перенести резервні копії їхніх даних з Києва у Львів. В такому разі якби щось трапилося з інфраструктурою в Києві, можна було відновити дані зі Львова і нічого не втратити. На пропозицію пристали не всі. Деякі казали, що у них бізнес зав’язаний на столиці, і якщо щось трапиться з Києвом, їм вже не буде важливо, де знаходяться дані. У інших були свої резервні майданчики і тому вони не бачили сенсу у перенесенні даних.
Погодилися приблизно 60% тих бізнесів та організацій, кому компанія запропонувала такий сервіс. Це виявилося дуже доречним, коли росія все-таки почала повномасштабне вторгнення. Буквально 24 лютого інші клієнти, які до того вагалися, почали масово звертатися за перенесенням даних — саппорт буквально завалили дзвінками, а адміністратори GigaCloud працювали ледь не цілодобово. Лишалися також приватні хмари. Їх треба було фізично вивезти з Києва, який вже перебував під обстрілами, і який намагалися захопити російські військові.
Як GigaCloud допомагали рятувати дані Prozorro
У GigaCloud є публічні та приватні хмари. У публічних, як правило, розміщує свої дані дрібний та середній бізнес. По суті, вони ділять між собою частини одного серверного обладнання. Більші бізнеси та організації користуються приватними хмарами. Вони орендують у оператора цілі сервери та СЗД (системи збереження даних), на яких знаходиться тільки їхня інфраструктура.
В такому разі все обладнання належить хмарному оператору і він його обслуговує — підтримує у актуальному стані, налаштовує, оновлює тощо. Зокрема саме в такій приватній хмарі знаходиться хмарна інфраструктура Prozorro. Цю хмару використовували для середовищ розробки та тестування, а також там було розгорнуто дві з трьох нод (реплік) файлового сховища.
Ще до 24 лютого в Prozorro розробляли план дій, що треба зробити, щоб убезпечити критично важливу для країни систему державних закупівель. Починаючи з 2015 року і по цей момент обсяг даних, які зберігає Prozorro, досягнув майже 270 ТБ. Вся інфраструктура знаходилась в Києві в двох датацентрах. Якби їх розбомбили, інформація, яка там зберігалася, була би фізично знищена.
"Перед війною, враховуючи ризики, пов’язані з можливим початком бойових дій, ми підготували та відтестували роботу системи Prozorro одночасно на два датацентри. Тобто підготували приватну хмару GigaCloud для розміщення віртуальних серверів та баз даних Prozorro та підвищення відмовостійкості системи в разі фізичного ушкодження інфраструктури в Києві", — пояснює Роман Пазич, начальник відділу інформаційних технологій Prozorro.
Сервери файлового сховища, про які йде мова, знаходилися на майданчику GigaCloud в Києві. Перші думки, що потрібно перевезти їх до Львова у Prozorro виникли ще до 24 лютого.
"Ми разом із фахівцями GigaCloud продумали та спланували наші дії в разі початку повномасштабної війни, — розповідає Роман Пазич. — Тому коли війна почалася, вже знали, що робити. 24 лютого ми почали демонтувати та готувати для перевезення сервери датацентру".
Головне у коректній евакуації серверів — правильно від’єднати техніку, дуже обережно перевезти та налаштувати на новому місці, щоб все продовжило працювати так само коректно.
"У нас був схожий досвід перевезення обладнання між Києвом і Львовом. Ми так перевозили обладнання кількох наших проєктів ще до війни: побудували їх в Києві, відтестували, а потім відвезли і запустили у Львові. Але ми ще не перевозили сервіси працюючого клієнта, тому це був своєрідний челендж для нас", — розповідає Ігор Чорнобай з GigaCloud.
Обладнання приватної хмари Prozorro перевозили в два етапи — щоб система продовжувала працювати. Після першого етапу, коли компанія перевезла частину даних, потрібно було налаштувати систему так, щоб вона продовжувала працювати в реальному часі. Для цього потрібно було з’єднати по мережі дві частини даних у різних містах — і при цьому, щоб це було безпечно.
Водії GigaCloud везли техніку під конвоєм — допомогти попросили Національну поліцію. На той момент російські війська вже почали захоплювати населені пункти на Київщині, столицю обстрілювали, на виїзді з міста були багатогодинні затори і далеко не всі траси були безпечними. Тож водії GigaCloud, разом з поліцією, обирали оптимальний найшвидший та найбезпечніший маршрут — не головними трасами, а сільськими дорогами. Автівки попросити у своїх партнерів з сервісу таксі.
"На легковій автівці таке обладнання перевезти було важко, бо в цілому там було близько 10 одиниць обладнання. Для надійності ми запакували його в ящики зі спеціальним ущільнювачем. Ці ящики були дуже великими, тому ми вийшли на керівництво компанії Uklon та попросили надати великі автівки", - згадує Ігор Чорнобай.
Перевезення відбулося без ексцесів та у фантастично короткі терміни. 26 лютого обладнання було вже у Львові, а з 27 повноцінно працювало. Додаткової плати за цю послугу компанія не запросила.
"Ми підтримували постійний зв’язок зі спеціалістами GigaCloud, хоч безпосередньо і не брали участь у перевезенні обладнання, і були дуже здивовані такій швидкості евакуації". — говорить Роман Пазич. - Усе пройшло дуже швидко і взагалі без труднощів. Крім перевезення, монтажу та налаштування обладнання в новому центрі треба було забезпечити мережевий зв’язок між датацентрами на L2 рівні, і GigaCloud дуже швидко з цим впоралися".
В GigaCloud пояснюють: успішно та оперативно виконати релокейт обладнання допомогло те, що система відпочатку була організована з огляду на best practices. Тільки за таких умов її можна розібрати та перезібрати на новому місці, нічого не втративши.
Prozorro планує згодом повернути інфраструктуру зі Львова у Київ, але це відбудеться вже після завершення воєнного стану. До того ризикувати даними не наважуються, адже чи не спробує Росія повторити свою спробу захоплення Києва, достеменно невідомо. А щоб максимально убезпечитися від усіх ризиків, з початком повномасштабної війни в компанії також почали перенесення інформації в хмару Amazon. Наразі копії всіх наших даних та документів, а також віртуальна інфраструктура, зберігаються там.
У GigaCloud позитивно оцінюють використання компанією Prozorro потужностей декількох хмарних операторів.
"Це дозволяє побудувати відмовостійкі рішення підвищеної надійності. Тому Prozorro є гарним прикладом використання передових підходів у побудові ІТ-інфраструктури. Наприклад, у одного оператора ви розміщуєте основну інфраструктуру, у іншого — резерв на випадок форс-мажорів, а в третього — тестове середовище для нових сервісів", - пояснює Ігор Чорнобай.
Авторка: Тетяна Гонченко