Услышать и уничтожить: как искусственный интеллект помогает сбивать российские ракеты
З початку великої війни росіяни випустили по українській території понад 4 700 крилатих ракет. Ворожа зброя вражає не лише критичну інфраструктуру України, але й житлові будинки, школи, дитячі садки.
Життя багатьох мирних жителів обірвалося саме через авіа- та ракетні удари. Останній масштабний обстріл території України стався 23 листопада 2022 року.
Під час масованого обстрілу 15 листопада українська ППО збила понад 70 з 90 крилатих ракет та всі десять "шахедів".
Щоб зробити українське небо вільним від ворожих ракет, сили ППО посилюють засоби протиповітряної оборони та створюють комплекси, що складатимуться з кількох сучасних систем.
Чим більше захисний комплекс містить систем виявлення, тим важче їх знищити.
Одна з таких систем – AI-проєкт Zvook. Це апаратно-програмний комплекс, здатний акустично виявляти крилаті ракети, гелікоптери, дрони та винищувачі на малих та середніх висотах. В Україні функціонують близько 40 таких комплексів.
Про те, як ця система захищає національну безпеку України, ЕП розповіли Дмитро Бєлєвцов, учасник проєкту Zvook, CTO та Cofounder у Respeecher, Павло Цюпка, учасник проєкту, CEO в i3 Engineering, та Мар'ян Сулим, учасник проєкту і військовослужбовець 125-ї бригади ТрО.
Від ЕП: інформація, надана учасниками проєкту, погоджена з військовими.
— Що підштовхнуло вас до створення проєкту і яка його основна мета?
— (Павло) У перший день війни в голові виникало лише одне питання: як допомогти Збройним силам України?
У телеграм-чатах було багато моторошних відео з польотами крилатих ракет. Тоді я знав, що в нас існує система ППО, але був обізнаний і у сфері військових технологій.
Я розумів, що на маленьких висотах ракети складно виявити за допомогою радіолокаційних систем. Можна зафіксувати пуск, з винищувача простежити, куди ракета летить, але зробити перехоплення неможливо.
Для виявлення ворожих повітряних цілей можна поставити тисячі людей по всій Україні, які будуть фіксувати переміщення ракет і передавати інформацію, але це погана ідея.
Ми зрозуміли, що краще розробити автоматизовану систему, яка виконуватиме ту ж функцію: інформуватиме сили ППО про час і місце перебування ракети. Так народилася ідея проєкту.
Zvook – це апаратно-програмний комплекс, що акустично виявляє крилаті ракети, гелікоптери, дрони та винищувачі ворога на малих та середніх висотах.
В основі лежить технологія машинного навчання (ML), що розпізнає звуки двигунів ворожих повітряних цілей. В Україні функціонують близько 40 комплексів Zvook.
— Хто працює над проєктом?
— (Павло) До нас доєдналися провідні українські спеціалісти зі сфери IT, телекому, а також військові.
Львівська обласна військова адміністрація, зокрема заступник голови Олександр Кулепін, протягом 30 хвилин після нашого звернення зібрали представників мобільних операторів та організували роботу з ними.
Львівська ОВА досі сприяє розвитку проєкту.
Команда компанії "Київстар" також оперативно відгукнулася на звернення і вирушила з нами в першу подорож країною. Разом ми встановили перші системи Zvook. Також спеціалісти "Київстару" забезпечили нас цілодобовою підтримкою під час позаштатних ситуацій.
Важливо, що проліт крилатої ракети був зафіксований уже через чотири години після встановлення комплексу Zvook і ми сповістили про це відповідні військові структури.
Безсонні ночі з нами також ділили інженери компаній i3 Engineering та GlobalLogic. "Украерорух" допоміг спланувати мережу і зробити презентацію системи у військових структурах.
Модель штучного інтелекту розробляли інженери стартапу Respeecher Володимир Сидорський (тімлід ML-команди) та Валерій Заблоцький-Дроган (звукоінженер, дата-інженер).
Команда Label Your Data допомагала з ручною розміткою сотень годин даних, що є одним з ключових компонентів успіху ML-алгоритмів, які застосовуються в системі Zvook.
Команда 125-ї окремої бригади ТрО розробляла, тестувала і встановлювала станції детекції на вежах мобільного зв'язку оператора "Київстар".
— (Мар’ян) Павло потребував кваліфікованих спеціалістів, які б могли реалізувати ідеї у виробництві станцій детекції, розгортати та підтримувати їх мережу. Він звернувся до 125-ї окремої бригади ТрО й отримав повну підтримку.
Командування організувало підбір військовослужбовців, які в цивільному житті мали досвід програмної розробки та конструювання, забезпечило умови для їх дієвої участі у проєкті Zvook.
Наразі від бригади залучені пʼять військовослужбовців: командир Артур Горбенко, Едуард Лучук, я (Мар’ян Сулим), Максим Руденко та Ілля Павлюк.
Співпраця з нашою бригадою полегшила військову комунікацію проєкту. Стали в пригоді досвід військових і розуміння специфіки організації протиповітряної оборони міст та важливих інфраструктурних об’єктів України.
— Як виглядає цей проєкт зараз?
— (Павло) Зараз у нас функціонують два підрозділи: hardware- і software-розробка.
Hardware-продукт ("залізо") – система, розміщена в певній локації. За неї відповідають Мар’ян та Ілля. Мар’ян координує команду та вигадує вдосконалення, а Ілля – майстер на всі руки, якими створює комплекти автоматизованого слухача.
Основне завдання полягає в отриманні звуку зі спеціального пристрою, його фокусування за допомогою дзеркала. Після цього ми підсилюємо цей звук і передаємо його далі на обробку всередині захищеної мережі передавання даних.
Єдиного центру обробки даних немає, це багато вузлів, що виключає можливість знищення центру. Таку мережу надзвичайно важко знищити.
Для розпізнавання записаного сигналу приходить на допомогу команда Дмитра, вона працює над ML-частиною. Також Дмитро допомагає просувати продукт.
Решту програмного забезпечення розробляє команда Максима Руденка із 125-ї окремої бригади ТрО. Він координує волонтерів, які пишуть код. Максим – програміст з багаторічним досвідом, співзасновник IT-компанії.
— (Дмитро) У нас нема чіткої ієрархії. Завдань багато, їх підхоплюють різні учасники команди.
Ми розуміємо, що важливою складовою є не тільки розробка, а й комунікація, Bizdev та маркетинг: пошук стейкхоледрів, спілкування з військовими та потенційними замовниками. Цю частину процесів закривають Мар’ян та Павло.
Зараз ми збираємо команду, яка буде займатися операційними процесами та побудовою компанії. Наразі Zvook перебуває на ранньому етапі розвитку, без глибокої структури.
— З якими проблемами радіолокаційного виявлення цілей противника доводиться стикатися? Що змінилося з початку війни?
— (Павло) З перших днів війни в нас було мало інформації про крилаті ракети, що завдавали ударів по українській інфраструктурі. З того часу відбулися суттєві зміни.
Раніше ми не знали, якими маршрутами вони літають. Зараз ми можемо приблизно спрогнозувати маршрут польоту. У взаємодії з ППО покриваємо ті зони, де є найбільша потреба.
Крім того, на початку війни радіолокаційна мережа в Україні була побудована інакше. Зараз основні точки проходження ракети фіксують радіолокатори. ППО бачить значно більше.
Система Zvook робить дорозвідку ворожих повітряних цілей у "мертвих зонах". Звісно, покрити всю Україну радіолокаторами неможливо, тому ми розробляємо нові системи, щоб закривати зони, де радіолокаторів ще нема.
Система доповнює супровід за повітряними цілями в певних зонах, що надзвичайно важливо для ухвалення правильних рішень щодо протидії ворожим повітряним цілям.
— (Дмитро) Важливо відстежувати якомога більший відсоток шляху. Таким чином ми робимо більше спроб перехоплення та збиття. Тоді шанси знищити ракету зростають.
— Розкажіть про технічну архітектуру комплексу. Яка технологія лежить в основі системи?
— (Дмитро) В основу системи Zvook закладене машинне навчання. Завдяки ML Zvook може виявляти ворожі повітряні об’єкти.
У 2006 році ML-технологія спричинила революцію у сфері обробки зображень. Завдяки їй машини отримали майже людські здібності аналітики даних.
Раом з тим, машинне навчання здатне обробляти набагато більші масиви інформації, ніж людина. Що важливо: нейронні мережі здатні не тільки аналізувати ці дані, а й навчатися на помилках та вдосконалювати свій досвід.
Історично нейронна мережа мала справу з виявленням об’єктів на зображеннях. Звук можна ототожнити із зображенням, що буде зрозуміло для системи. Так почав розвиватися аудіонапрямок.
Щодо Zvook. У нас є аудіострим, у якому існують певні звукові об’єкти: у часі, а не в просторі. Таких об’єктів дуже багато. Це вітер, шум дороги, маленькі мушки, голоси інженерів, мекання корів, бензопили, які валять ліс.
Частка цих звуків становить 99,9%. При цьому ми відокремлюємо дуже маленький відсоток (0,1%) цікавих для нас об'єктів: звуки, з якими рухаються ворожі повітряні цілі.
Завдання алгоритму – виявити ціль серед величезної кількості інших об’єктів і сповістити про неї користувача станції.
Щоб досягти потрібного результату, ми постійно тренуємо мережу і забезпечуємо її даними. Найвагоміша потреба ML-алгоритму полягає в її доступі до правильних даних у необхідних кількостях.
Кілька станцій уже були встановлені, коли ми приєдналися до Zvook, тому ми мали з чим працювати.
— З якими проблемами ви зіткнулися в процесі розробки?
— (Дмитро) Спершу ми тренували мережу на записах з інтернету. Ми мали справу з тим, що називається domain shift – сценарієм, коли первинні характеристики відрізняються від того, що тобі треба отримати в кінцевому результаті.
Команда використовувала відео близьких прольотів ракет, зняті з телефону. Звук насправді відрізняється від далекого прольоту, до того ж мікрофон у телефоні не дає високої якості.
У процесі система почала покращуватися. Хлопці з 125-ї бригади, Мар’ян та Максим, багато часу приділяли прослуховуванню та надавали постійні фідбеки щодо результатів, необхідних для навчання алгоритму.
— (Павло) Коли воно все запрацювало в лабораторії на столі, і ми, щасливі, повезли систему в бригаду для монтажу на місцях, це був лише початок нашого шляху. Попереду нас чекало багато хибних фіксацій, тож ми поверталися в лабораторію і ночами виправляли помилки.
Раніше ймовірність правильного виявлення дорівнювала близько 50%, що недостатньо для перехоплення ворожих повітряних цілей.
Зламний момент настав, коли в проєкт повірила Львівська ОВА, яка миттєво відгукнулася на наш запит співпраці і зібрала всіх представників мобільних операторів.
У той день вони дозволили встановлювати наші пристрої на території України. Уже незабаром, протягом кількох днів, ми почали збирати дані справжніх прольотів ракет та передавати їх відповідним силам реагування.
Потім виникла інша проблема: ми відчули складнощі з передаванням накопичених даних силам реагування. Військові структури потребували більшої точності, бо паралельно розгортали свої комплекси спостереження.
Ми розв'язали цю проблему, коли до нас приєдналася команда Дмитра. Процеси покращилися, і тепер імовірність похибки прямує до нуля.
— (Дмитро) Похибки бувають двох видів.
Перша (false positive) – система позначає об’єкт, що не є ворожою ціллю. Наприклад, ототожнює звук мотора авто із звуком реактивного двигуна ракети.
Друга (false negative) – система розпізнає справжню ракету як безпечний об’єкт і каже, що все гаразд.
Важливо боротися з обома похибками. Ми виправляємо їх, навчаючи Zvook на власних помилках.
Також ми залучили команду стартапу Label Your Data, яка маркує дані для штучного інтелекту (ШІ). Хлопці допомогли з ручною розміткою даних, щоб наповнити датасет прикладами шуму, що відповідає справжнім звукам ракет.
Дані мають бути чіткими та відповідати дійсності, щоб запобігти непотрібній витраті ресурсів через помилкову детекцію ворожих повітряних цілей. Також у разі частих помилок до системи може виникнути недовіра.
— (Павло) Українські структури перехоплення розвиваються, і нехтувати цими похибками неможливо. Вимоги до системи дуже високі. Раніше було припустимо з пʼяти похибок отримати один правильний результат, а зараз – уже ні.
Зараз система працює в достовірному режимі, отже, на неї можна покаладатися.
— (Мар’ян) На початку ми ступили в замкнене коло. Щоб гарно розпізнавати ворожі об’єкти, у нас мали бути зразки прольотів. Їх важко зібрати, бо ти їх не розпізнаєш в автоматичному режимі і не зможеш зберегти.
Щоб вирішити це, нам знадобилися чотири місяці. Тільки тоді в нас накопичилося достатньо записів прольотів і ми змогли запустити автоматичний режим.
Зазвичай розробники намагаються передбачити помилки своїх систем ще в лабораторіях. У нас на це не було часу. Ми робили все "на вчора". Коли в нас з’явилося готове рішення, його почали одразу застосовувати.
Нас просили розширити мережу, тому ми не мали змоги сидіти в лабораторії і тестувати продукт.
Були випадки, що тест був позитивний, ми завозили станцію в поле, а вона не працювала. Доводилося їхати назад, виправляти, а це 300 км шляху. Звісно, це нас демотивувало, але ненадовго.
— Чи вивчали ви аналоги системи Zvook під час розробки комплексу?
— (Павло) Ми вивчили багато аналогів, починаючи з кейсів двох останніх світових воєн.
Коли радіолокатори ще були неефективні і не було автоматизованих систем, повітряні загрози прослуховували люди. Вони намагалися почути звуки ракет з реактивними двигунами на звукових постах.
Слухали за допомогою спеціальних дзеркал, які відбивали звук. На пості чергували люди з дуже гарним слухом. Zvook – це цифрова версія такого поста.
— (Мар’ян, сміється, показує фото) Ось такі девайси початку і середини 20 століття. Цікаво, що під час Другої світової війни, коли німці запускали ракети Фау-2 по Лондону, використовувалися саме такі системи.
Працюючи над Zvook, мені доводилося вивчати спеціалізовану літературу з інжинірингу таких систем.
Система складається з дзеркала, яке підсилює сигнал та концентрує його в певній точці фокусу, де розміщений мікрофон. Так мікрофон може чути більше. Дзеркало є необхідним елементом станції, воно недороге.
Також у комплексі, про який згадується в спеціалізованій літературі, використовуються так звані мікрофонні решітки. Ще одна команда львівських волонтерів розробляє для нас таке рішення. З його допомогою комплекс визначатиме кутові координати повітряної цілі.
Розробляючи Zvook, ми нічого нового не винайшли. Просто в потрібний час зібрали докупи всі наявні кейси людства. За допомогою Дмитра ми доповнили систему штучним інтелектом, бо чути – мало, треба це робити автоматично.
— (Павло, сміється) Так, треба або двадцять чуваків з філармонії, або одного Дмитра.
— (Дмитро) Унікальність Zvook – у виявленні крилатих ракет. Їх Росія використовує дуже багато. Не думаю, що десь у світі є подібні мережі акустичних сенсорів, які настільки чутливі для цього виду зброї.
Навіть якби у війну проти України вступила інша країна, Zvook міг би виявити і ці повітряні цілі. Крилаті ракети побудовані за схожим принципом: у кожної є реактивний двигун.
— Скільки коштує розробка систем Zvook?
— (Мар’ян) У розробці маємо три складові: програмне забезпечення, модель ШІ і "залізо". Hardware ми розробляємо самі, без залучення підрядників, тому роботу над "залізом" можна оцінювати кількістю годин залучення інженерів.
— (Дмитро) Zvook не є комерційним продуктом, тому в нас нема unit-економіки. Для військових системи Zvook безкоштовні. Будуємо станції за свої кошти і за донати. Плануємо масштабувати виробництво за державні кошти.
— Якщо в Україні встановити тисячу ваших систем, наскільки надійним був би захист?
— (Павло) Жодна система не може дати стовідсоткової гарантії, але кожна доповнює одна одну.
Дуже важливо мати гарну систему ППО, це 90% успіху знищення ворожих повітряних цілей. Решта 10% мають компенсуватися іншими технологіями, такими, як Zvook.
— (Мар’ян) Найбільш доцільним способом розгортання комплексу є рубіжний, коли станції детекції встановлюються лініями уздовж державного кордону та в глибині території України.
Збільшення дальності виявлення дозволяє встановлювати станції з меншою щільністю, що економить ресурси на виготовлення й логістику.
Виходячи з поточних технічних характеристик комплексу та орієнтовної довжини рубежів розгортання, потрібно близько 600 станцій детекції. Звісно, кожному засобу захисту можна протидіяти.
Чим більший комплекс, чим більше він містить систем виявлення, тим важче його знищити. Радіолокаційні станції є мішенню №1. Їх можна вивести з ладу, наводячи ракети на джерело радіовипромінювання.
Перевага Zvook у тому, що це пасивна система, вона нічого не випромінює. Можна виявити локацію станції, проте кожна війна має економічну складову: засіб знищення повинен бути хоча б трішки дешевшим, ніж ціль ураження. В іншому випадку ти залишишся без ресурсів. Тому воювати із системою Zvook нераціонально.
— (Дмитро) Серед основних методів боротьби з акустичними та контрбатарейними системами – так звані папуги. Це створення додаткового шуму, який відволікає противника від цілі.
Наприклад, коли російський снайпер стріляє, він може попросити колег, щоб вони вистрілили в повітря в різних точках. Однак станції розташовані на території України, тому рашисти не можуть використовувати цей метод.
— З якими нестандартними ситуаціями ви стикалися під час роботи над своєю системою?
— (Мар’ян) Найкумедніші випадки траплялися під час сценарію false positive (система позначає об’єкт, що не є ракетою).
Дмитро тренував модель на пошук крилатих ракет. Усе працювало добре, але було багато false positive сценаріїв. Система шукала схожі патерни, щоб видати точний результат. Ці патерни трапляються і в природі.
Зокрема, на початковій стадії Zvook ототожнював мукання корів з ворожою ціллю. Модель відсікала вітер, автомобілі, але корови позначалися як загроза.
Проблема була в тому, що ми знайшли мало записів мукання, і тренувати модель на них не виходило. Знадобився місяць, аби позбутися тих корів (сміється).
— (Павло) Одного разу повз наші пристрої пролетів хрущ чи джміль, і від того звуку всі посхоплювалися з місць. За день до того ми встановили нові дзеркала, що забезпечували дуже якісний звуковий ефір.
Якщо порівняти наші ранні версії дзеркал з тим, що ми маємо зараз, то це як Full HD та 4K.
— (Мар’ян) У той час всі були у відчаї. Не існувало варіантів протидії російським ракетам. Ми мали рішення – Zvook, і систему почали використовувати навіть з умовою, що вона може помилятися, бо іншого шляху не було.
Без цього досвіду нам було б важко її розвивати. Завдяки цьому зараз у нас вже не виникають false positive сценарії.
— Які маєте пріоритети з розвитку проєкту на найближчий час?
— (Мар’ян) Ми бачимо багато цікавих напрямів удосконалення з технічного боку. Найбільш пріоритетними для нас є визначення координат, курсу і швидкості руху виявленої цілі.
Це було б значним кроком уперед для видачі цілевказання підрозділам протиповітряної оборони на вогневе ураження цілей противника. Наша команда вже розробила концепцію акустичного визначення азимуту (напрямку) цілі та провела експеримент, який підтвердив її правильність.
— (Дмитро) Нашим першим та основним пріоритетом є застосування системи Zvook для цілей національної безпеки. Ми плануємо масштабувати проєкт, розширювати комунікацію з військовими.
Також розглядаємо комерційний напрямок розвитку проєкту і залучення інвестицій. У якомусь класному майбутньому хочемо продавати наш продукт на глобальний ринок.