Хирургия будущего: как врачи из Харькова оперируют с помощью дополненной реальности
Попри всю свою футуристичність технологія доповненої реальності (AR) дедалі активніше входить у повсякденне життя. Якщо ще вісім років тому діти бігали вулицями, шукаючи покемонів, то зараз AR-фільтри в Instagram та Snapchat стали настільки звичними, що не викликають подиву.
Гіганти індустрії – Meta, Apple, Microsoft – вкладають мільярди доларів у розвиток цієї технології. AR-окуляри Apple, виробника iPhone, стали найдорожчим масмаркет-гаджетом в історії компанії.
Однак технологію доповненої реальності можна використовувати не лише у сфері розваг. Вона може змінити низку наукових галузей. Наприклад, у медицині AR дає лікарям можливість отримувати додаткові візуальні дані під час операцій, зокрема тривимірні зображення органів пацієнтів.
Хірург при цьому бачить не лише пацієнта, а й детальну 3D-модель його мозку, накладену на реальне тіло. Це не фантастика, а реальність, яку створила команда українського healthtech-стартапу eXtra Vision.
Стартап заснували троє лікарів: Владислав Калюжка (нейрохірург, CEO), Микита Маркевич (кардіолог, CTO) та Марк Глухенький (нейрохірург, COO). Технологію використовують десятки лікарів. З її допомогою вони провели понад 150 операцій. У 2024 році стартап став переможцем IT Arena і планує виходити на ринок ЄС.
Як лікарям з Харкова вдалося перетворити ідею про віртуальну хірургію на успішний стартап?
Ідея, десятки операцій та готовий стартап
"Кожна операція – це виклик, який вимагає максимальної точності та швидкості, зосередження винятково на патології, щоб уникнути пошкодження здорових тканин. У нейрохірургії ризики дуже високі для лікаря і для пацієнта. Щоб мінімізувати їх, виникла ідея створити тривимірну модель головного мозку пацієнта з урахуванням патології", – згадує Калюжка про початок створення стартапу.
Однак від ідеї створення тривимірних моделей до появи першого MVP (мінімально життєздатний продукт) минуло кілька років. Спершу був тривалий пошук розробників: не всі розуміли, як технічно реалізувати задум лікарів. До того ж виникали труднощі з монтажем отриманих 3D-зображень в AR-окуляри.
На допомогу прийшли колеги. "Перший прототип нашої технології створив мій колега, кардіолог, який до навчання в медуніверситеті отримав технічну освіту", – розповідає Калюжка.
Бачити майбутнє: як цифрові двійники змінюють світ довкола нас
Перші 50 успішних операцій з використанням AR-окулярів нейрохірурги провели в Харківській обласній клінічній лікарні. Їх виконували на головному і спинному мозках. Лікарі протестували свій продукт на пацієнтах з різними патологіями – від новоутворень і судинних проблем до травм і вроджених вад.
Ефективність рішення переконала їх розвивати проєкт як стартап з перспективою залучення інвестицій для створення власного бізнесу. Згодом команда eXtra Vision розширила команду фахівцями з IT, зокрема Unity-розробниками, інженерами у сфері штучного інтелекту (машинного навчання) та дизайнерами.
Як працює eXtra Vision
Для створення 3D-моделі мозку пацієнта потрібні дані. Для цього ідеально підходять комп'ютерна томографія (КТ) або магнітно-резонансна томографія (МРТ) пацієнта. Отримані цифрові двовимірні зображення завантажуються в застосунок, де за допомогою ШІ створюється об’ємна цифрова копія голови людини.
На першому етапі створення 3D-моделі виділяються анатомічні структури: шкіра, кістки, судини, нерви. На другому – патологічні структури, наприклад, пухлини чи гематоми. Наразі процес створення 3D-моделей повністю автоматизований.
Готова модель завантажується в хмарне середовище, з яким синхронізуються окуляри доповненої реальності. Зазвичай від створення тривимірної моделі до її інтеграції з AR-окулярами проходить від кількох хвилин до пів години, залежно від масиву даних.
За допомогою AR-окулярів лікар бачить готову модель у реальному просторі. У самих окулярах є кілька камер та датчиків, через які сканується приміщення, де перебуває лікар, та створюється система координат. Крім того, датчики використовуються для відстеження інструментів і рук хірурга.
Прорив у медицині чи нова бульбашка: що не так із стартапом Neuralink Ілона Маска
"Лікар бачить і віртуальні, і реальні об'єкти. Технологія дозволяє накласти 3D-модель на пацієнта, що дає можливість бачити череп ніби в розрізі. Це допомагає точно визначити місце розрізу, обсяг кісткової тканини, яку потрібно видалити для доступу до патології, та обійти важливі судини", – пояснює CEO eXtra Vision.
У стартапі найчастіше використовують окуляри HoloLens від Microsoft. Крім того, розробники працюють над тим, щоб імпортувати моделі на Apple Vision Pro, MetaQuest 3 і MetaQuest Pro від Oculus і Meta.
Стартап фокусується на роботі нейрохірургів: на операціях на головному мозку та хребті. У майбутньому команда планує розвивати цю технологію в ортопедії і травматології, гепатобіліарній хірургії (діагностика та лікування захворювань печінки, жовчного міхура та жовчних шляхів), у щелепно-лицевій хірургії.
Як eXtra Vision полегшує роботу лікарів
3D-моделі допомагають не стільки під час операції, скільки при її плануванні. Лікар може подивитися модель мозку, покрутити її, щоб якісно продумати план втручання. Раніше для цього використовували двовимірні зображення КТ чи МРТ, аналіз яких потребує тривалої практики та навичок.
Тривимірні моделі не менш важливі для пацієнтів та їх родичів. Завдяки 3D-моделі хірург може пояснити, як проходитиме втручання. "Операції на головному мозку – це великий стрес для пацієнта, але коли вони розуміють, на що йдуть, і бачать, що лікар чітко знає, як усе буде, це їх заспокоює", – зазначає Калюжка.
Технологію можна використовувати і під час операцій. Перед розрізом модель проєктується на ділянку тіла, де відбуватиметься втручання. Так лікар бачить пухлину та інші важливі елементи. Структура тривимірної моделі залежить від конкретної операції і завдань, які потрібно виконати.
За словами CEO eXtra Vision, використання їхньої технології найбільш критичне на початку операції – перед розрізом, який потрібно точно спланувати. Саме втручання краще проводити без AR-окулярів, однак їх можна використати в будь-який момент для оцінки ситуації.
Крім того, команда працює над створенням асистента для лікаря із штучним інтелектом. Зараз нейромережа більше залучена до створення моделей, але в майбутньому команда планує залучати ШІ і до аналізу даних. ШІ-асистент зможе визначати тип пухлини і на основі 3D-моделі рекомендуватиме лікарю найкращий шлях для хірургічного втручання, щоб уникнути пошкодження важливих функціональних зон мозку.
Не покемонами єдиними. Як доповнена реальність змінює мистецтво
Розробники планують додати ще одне рішення: зіставлення моделей і трекінг інструменту.
"Коли хірург бере інструмент, обладнаний спеціальними маркерами, система автоматично створює його віртуальну копію. Завдяки цьому лікар бачить точне розташування інструмента в операційному полі. Якщо хірург занурить інструмент на 3 сантиметри в тканини, він побачить це на екрані з точністю до міліметра. Це дозволяє виконувати операції з максимальною точністю, що важливо в нейрохірургії", – пояснює Калюжка.
Бізнес-модель та клієнти
Стартап має 37 користувачів в Україні. Серед них – лікарі з Харкова, Львова, Києва, зокрема з Інституту нейрохірургії ім. Ромоданова. З використанням технологій eXtra Vision уже провели понад 150 операцій.
У застосунку доступні два варіанти оплати: одна модель для однієї операції за 199 дол. або підписка на рік за 10,8 тис. дол., що передбачає використання до 100 моделей.
Якщо в лікаря немає AR-окулярів, стартап може надати їх в оренду. За словами Калюжки, через складність придбання таких окулярів в Україні утворилася черга з лікарів, які хочуть використати технологію харків’ян. Команда працює над збільшенням кількості окулярів доповненої реальності, аби задовольнити попит.
Однією з перешкод для залучення клієнтів є якість інтернету в операційних. Оскільки AR-окуляри отримують готові моделі з "хмари", стабільне підключення та швидкість інтернету важливі для роботи технології.
На що буде схожий день звичайної людини у 2030 році?
"Ця проблема існує не лише в українських операційних. Ми працюємо над створенням локального рендерингу, щоб не залежати від інтернету. У лікарні, з якою ми співпрацюємо, буде окремий пристрій, що функціонуватиме як локальний сервер, до якого підключатимуться окуляри," – розповідає лікар.
Ринок, інвестиції та майбутній розвиток
Наразі eXtra Vision залучив близько 100 тис. дол. інвестицій, більшість з яких – вкладення самих засновників. У квітні 2024 року стартап переміг у Health Hackathon від Всесвітньої організації охорони здоров'я та отримав нагороду 3 тис. дол. У червні він отримав 25 тис. дол. від Українського фонду стартапів і фонду Ukraine-Moldova American Enterprise Fund, як переможець IT Arena – 15 тис. дол.
Команда ставить за мету залучити пів мільйона доларів для допрацювання технології і виходу на нові ринки. Як розповів ЕП CEO eXtra Vision, стартап веде перемовини з лікарями з Центральної та Східної Європи.
"Однією з ключових переваг eXtra Vision є використання технологій ШІ, особливо популярних серед інвесторів. Стартапи, подібні до eXtra Vision, демонструють високий рівень розвитку вітчизняної індустрії, оскільки таких рішень мало на ринку України", – зазначила старша проєктна менеджерка стартап-акселератора 1991 Ксенія Ізакова, яка була членом журі фіналу змагання на IT Arena.
Вона додала, що в українській стартап-екосистемі напрямок healthtech тільки розвивається. Думку Ізакової поділяє CEO eXtra Vision. Він переконаний, що AR-технології в медицині перебувають на початковому етапі.
Розвиток технологій у медичній сфері вимагає значних регуляторних погоджень. "Створення healthtech-стартапу – це не просто розробка додатку. На відміну від інших сфер, де продукт можна використовувати одразу після розробки, у медицині потрібна низка дозволів та сертифікацій", – наголошує Калюжка.