Хірургія майбутнього: як лікарі з Харкова оперують за допомогою доповненої реальності
Технологія доповненої реальності (AR) дедалі більше інтегрується в повсякденне життя попри свою футуристичність. Якщо ще вісім років тому діти бігали вулицями, шукаючи покемонів, то сьогодні AR-фільтри в Instagram і Snapchat стали настільки звичними, що не викликають подиву.
Гіганти індустрії, такі як Meta, Apple та Microsoft, вкладають мільярди доларів в розвиток цієї технології, випускаючи AR-окуляри. Окуляри Apple, виробника iPhone, стали найдорожчим масмаркет-гаджетом в історії компанії.
Однак технологію доповненої реальності можна використовувати не лише у сфері розваг. Потенційно вона може змінити цілі галузі науки. Наприклад, у медицині AR дає лікарям можливість отримувати додаткові візуальні дані під час операцій, такі як тривимірні зображення органів пацієнта.
Уявіть собі операційну кімнату, де хірург бачить не лише пацієнта, а й детальну 3D-модель його мозку, накладену на реальне тіло. Це не фантастика, а реальність, яку створила команда українського healthtech-стартапу eXtra Vision.
Стартап заснували троє лікарів: Владислав Калюжка (нейрохірург, CEO), Микита Маркевич (кардіолог, CTO) та Марк Глухенький (нейрохірург, COO). Технологію eXtra Vision використовують вже десятки лікарів, які провели з її допомогою понад 150 операцій. Цього року стартап став переможцем IT Arena і планує виходити на ринок ЄС.
Як лікарям з Харкова вдалося перетворити ідею про віртуальну хірургію на успішний стартап?
Ідея, десятки операцій та готовий стартап
"Кожна операція – це виклик, який вимагає максимальної точності та швидкості, зосередження винятково на патології, щоб уникнути пошкодження здорових тканин. У нейрохірургії ризики дуже високі для лікаря і для пацієнта. Щоб мінімізувати їх, виникла ідея: а що, якби ми створили тривимірну модель головного мозку пацієнта з урахуванням патології?", – згадує Калюжка про початок створення стартапу.
Однак від ідеї створення тривимірних моделей до появи першого MVP (мінімально життєздатний продукт) минуло кілька років. Спершу був тривалий пошук розробників: не всі до кінця розуміли, як технічно реалізувати задум лікарів. До того ж виникали труднощі з інтеграцією отриманих 3D-зображень в AR-окуляри.
Зрештою на допомогу прийшли колеги. "Перший прототип нашої технології створив мій колега, кардіолог, який до медуніверситету мав технічну освіту", – розповідає Калюжка.
Бачити майбутнє: як цифрові двійники змінюють світ довкола нас
Перші 50 успішних операцій із використанням AR-окулярів нейрохірурги провели у Харківській обласній клінічній лікарні. Їх виконували як на головному, так і на спинному мозку. Лікарі протестували свій продукт на пацієнтах із різними патологіями – від новоутворень і судинних проблем до травм і вроджених вад.
Ефективність рішення переконала їх розвивати проєкт як стартап, з перспективою залучення інвестицій для створення власного бізнесу. Згодом команда eXtra Vision розширила команду фахівцями з IT, зокрема Unity-розробниками, інженерами у сфері штучного інтелекту (машинного навчання) та дизайнерами.
Як працює eXtra Vision
Для створення 3D-моделі мозку пацієнта потрібні дані. Для цього ідеально підходять комп'ютерна томографія (КТ) або магнітно-резонансна томографія (МРТ) пацієнта. Отримані цифрові двовимірні зображення завантажуються в застосунок, де за допомогою ШІ створюється об’ємна цифрова копія голови людини.
На першому етапі створення 3D-моделі виділяються анатомічні структури: шкіра, кістки, судини, нерви. На другому – патологічні структури, наприклад пухлини чи гематоми. Наразі процес створення 3D-моделей практично повністю автоматизований.
Готова модель завантажується на хмарне середовище, з яким і синхронізуються окуляри доповненої реальності. Зазвичай від створення тривимірної моделі до її інтеграції з AR-окулярами проходить від кількох хвилин до пів години, залежно від масиву даних.
За допомогою AR-окулярів лікар бачить готову модель у реальному просторі. У самих окулярах є кілька камер та датчиків, через які сканується приміщення, в якому перебуває лікар, та створюється система координат. Крім того, датчики використовуються для відслідковування інструментів і рук хірурга.
Прорив у медицині чи нова бульбашка: що не так із стартапом Neuralink Ілона Маска
"Лікар одночасно бачить і віртуальні, і реальні об'єкти. Наша технологія дозволяє накласти 3D-модель на пацієнта, що дає можливість побачити його череп ніби в розрізі. Це допомагає хірургу точно визначити місце розрізу, обсяг кісткової тканини, яку потрібно видалити для доступу до патології, та обійти важливі судини", – пояснює CEO eXtra Vision.
У стартапі найчастіше використовують окуляри HoloLens від Microsoft. Крім цього розробники працюють над тим, щоб імпортувати моделі на Apple Vision Pro, MetaQuest 3 і MetaQuest Pro від Oculus і Meta.
Стартап фокусується на роботі нейрохірургів, зокрема операціях на головному мозку та хребті. У майбутньому команда планує розвивати цю технологію в ортопедії та травматології, гепатобіліарній хірургії (діагностика та лікування захворювань печінки, жовчного міхура та жовчних шляхів), а також у щелепно-лицевій хірургії.
Як eXtra Vision полегшує роботу лікарів
3D-моделі допомагають не стільки під час самої операції, скільки при її плануванні. Лікар може подивитись модель мозку, покрутити її, щоб якісно продумати план втручання. Раніше для цього використовували двовимірні зображення КТ чи МРТ, аналіз яких потребує тривалої практики та навичок.
Тривимірні моделі є не менш важливими для пацієнтів та їхніх родичів. Завдяки 3D-моделі головного чи спинного мозку хірург може наочно показати й пояснити, як проходитиме втручання. "Операції на головному мозку – це завжди великий стрес для пацієнта, але коли вони розуміють, на що йдуть, і бачать, що лікар чітко знає, як все буде відбуватися, це їх заспокоює", – зазначає Калюжка.
Технологію можна використовувати безпосередньо під час операції. Перед розрізом модель проєктується на ділянку тіла пацієнта, де відбуватиметься хірургічне втручання. Так лікар бачить, де розташована пухлина чи інші важливі структури, такі як шлуночкова система або кістки. Структура тривимірної моделі залежить від конкретної операції та завдань, які потрібно виконати.
За словами CEO eXtra Vision, використання їхньої технології найбільш критичне на початку операції – перед розрізом, який потрібно точно спланувати. Натомість саме втручання краще проводити без AR-окулярів, однак їх можна використати у будь-який момент для оцінки ситуації.
Крім того, зараз команда працює над створенням асистента для лікаря зі штучним інтелектом. Зараз нейромережа залучена більше до створення моделей, але в майбутньому команда планує залучати ШІ й до аналізу даних.
ШІ-асистент зможе визначати тип пухлини і на основі 3D-моделі рекомендуватиме лікарю найкращий шлях для хірургічного втручання, щоб уникнути пошкодження важливих функціональних зон мозку.
Не покемонами єдиними. Як доповнена реальність змінює мистецтво
Ще одне рішення, яке планують додати розробники – зіставлення моделей і трекінг інструменту. "Коли хірург бере інструмент, обладнаний спеціальними маркерами, система автоматично створює його віртуальну копію. Завдяки цьому він бачить точне розташування інструменту в операційному полі.
Наприклад, якщо хірург занурить інструмент на 3 сантиметри в тканини, він побачить це на екрані з точністю до міліметра. Це дозволяє виконувати операції з максимальною точністю, що особливо важливо в нейрохірургії", – пояснює Калюжка.
Бізнес-модель та клієнти
Стартап має 37 активних користувачів в Україні. Серед них – лікарі з Харкова, Львова, Києва, зокрема з Інституту нейрохірургії ім. Ромоданова, а також з інших міст. З використанням технологій eXtra Vision вже провели понад 150 операцій.
У застосунку доступні два варіанти оплати: одна модель для однієї операції за 199 дол або підписка на рік за 10,8 тис дол, що передбачає використання до 100 моделей.
Якщо в лікаря немає власних AR-окулярів, стартап може надати їх в оренду. За словами Калюжки, через складність придбання подібних окулярів в Україні утворилася черга з лікарів, які хочуть використати технологію харків’ян. Відтак, команда постійно працює над збільшенням кількості окулярів доповненої реальності, аби задовольнити наявний попит.
Однією з перешкод для залучення нових клієнтів є якість інтернету в операційних. Оскільки AR-окуляри отримують готові моделі з "хмари", стабільне підключення та швидкість інтернету є важливими для роботи технології.
На що буде схожий день звичайної людини у 2030 році?
"Ця проблема існує не лише в українських операційних. Ми працюємо над створенням локального рендерингу, щоб не залежати від інтернету. У лікарні, з якою ми співпрацюємо, буде окремий пристрій, що функціонуватиме як локальний сервер, до якого підключатимуться окуляри," – розповідає лікар.
Ринок, інвестиції та майбутній розвиток
Наразі eXtra Vision залучив близько 100 тис дол інвестицій, більшість з яких – вкладення самих засновників. У квітні 2024 року стартап переміг у Health Hackathon від Всесвітньої організації охорони здоров'я та отримав нагороду у 3 тис дол. У червні – 25 тис дол від Українського фонду стартапів і фонду Ukraine-Moldova American Enterprise Fund, як переможець IT Arena – 15 тис дол.
Команда ставить за мету залучити пів мільйона доларів для доопрацювання технології та виходу на нові ринки. Як розповідає ЕП CEO eXtra Vision, зараз стартап веде перемовини з лікарями з Центральної та Східної Європи.
"Однією з ключових переваг eXtra Vision є використання технологій ШІ, що зараз особливо популярні серед інвесторів. Стартапи, подібні до eXtra Vision, демонструють високий рівень розвитку вітчизняної індустрії, оскільки таких рішень мало на ринку України", – зазначила старша проєктна менеджерка стартап-акселератора 1991 Ксенія Ізакова, яка була членом журі фіналу змагання на IT Arena.
Вона додає, що в українській стартап екосистемі напрямок healthtech тільки розвивається. Думку Ізакової поділяє й CEO eXtra Vision, який переконаний, що AR-технології в медицині перебувають тільки на початковому етапі.
Зрештою розвиток технологій в медичній сфері вимагає значних регуляторних погоджень та постійних дозволів. "Створення HealthTech-стартапу – це не просто розробка додатку. На відміну від інших сфер, де продукт можна використовувати одразу після розробки, у медицині потрібна низка дозволів та сертифікацій", – наголошує Калюжка.