Подходы к технологии дополненной реальности в хирургии.

APPROACHES TO TECHNOLOGY OF AUGMENTED REALITY IN SURGERY

Grigory Volkov

student of the magistracy, Mari State University, Russia, Yoshkar-Ola

Ksenia Volkova

student of the magistracy, Mari State University, Russia, Yoshkar-Ola

Аннотация. В данной статье описана возможность использовать технологии дополненной реальности в лапараскопических операциях. Основными данными, доступными для построения сцены в дополненной реальности, являются предоперационные изображения, интраоперационные неоптические изображения, эндоскопические изображения, оперативные измерения, данные планирования. Предоперационные изображения получают от компьютерного томографа (КТ) или магнитно-резонансного томографа. Интраоперационные неоптические изображения создаются гибридными системами визуализации. Эндоскопические изображения могут быть получены на современных лапароскопических камерах. Оперативные измерения - это данные, полученные в режиме реального времени для специфических аспектов операции. Данные планирования обычно собираются хирургом вручную или при помощи примечаний из интраоперационного руководства.

Abstract. In this article an opportunity to use technologies of augmented reality in laparoscopic operations is described. The specification available to creation of a scene in augmented reality, are the preoperative images, intraoperative not optical images, endoscopic images, expeditious measurements given planning. Preoperative images receive from the computer tomograph (CT) or the magnetic and resonant tomograph. Intraoperative not optical images are framed by the hybrid systems of visualization. Endoscopic images can be received on modern laparoscopic cameras. Expeditious measurements are the data obtained in real time for specific aspects of operation. Data of planning are usually collected with the surgeon manually or by means of notes from the intraoperative management.

Ключевые слова: дополненная реальность; лапараскопические операции; данные для построения сцены; предоперационные изображения; интраоперационные неоптические изображения; эндоскопические изображения; оперативные измерения; данные планирования; компьютерный томограф; магнитно-резонансный томограф; сегментированные структуры; гибридные системы визуализации; интраоперационные изображения; лапароскопические камеры; геометрические координаты; анализ изображений; динамические сцены; режим реального времени.

Keywords: the augmented reality; laparoscopic operations given for creation of a scene; the preoperative images; intraoperative not optical images; endoscopic images; expeditious measurements given planning; the computer tomograph; the magnetic and resonant tomograph; the segmented structures; the hybrid systems of visualization; intraoperative images; laparoscopic cameras; geometrical coordinates; the analysis of images; dynamic scenes; a regimen of real time.

На сегодняшний день появилась возможность использовать технологии дополненной реальности в медицине. Они нашли свое применения в лапараскопических операциях в хирургии. Чтобы до конца определить подходы к данной технологии, необходимо проанализировать наиболее распространенные виды данных, рендеринга и технологий визуализации, доступные сейчас. Основными данными, доступными для построения сцены в дополненной реальности, являются:

•предоперационные изображения;

•интраоперационные неоптические изображения;

•эндоскопические изображения;

•оперативные измерения;

•данные планирования.

Предоперационные изображения получают от компьютерного томографа (КТ) или магнитно-резонансного томографа. Такие снимки имеют высокое разрешение и качественное изображение. Так как такие данные необходимо получать до ведения операции, то снимки чаще всего обрабатываются вручную или с помощью специальных программ автоматически. Этот процесс нужен для усиления или изолирования сегментированные структуры, представляющие интерес, такие как органы, опухоли, кости или сосуды. Для упрощения сегментации сосудистых сетей применяют инъекции контрастного вещества, так как вены и артерии становятся подчеркнутыми на конечных снимках. К стандартным методам сегментации относятся:

•пороговая сегментация;

•активные контуры;

•кластеризация;

•классификаторы.

Более продвинутыми методами принято считать:

•марковские случайные поля;

•искусственная нейронная сеть;

•статистические формы [1].

Интраоперационные неоптические изображения создаются гибридными системами визуализации. Такие изображения обычно получаются более плохого изображения и качества, чем их аналоги, за счет относительной компактности и меньшей инвазивности интраоперационных сканеров. Анатомическое представление пациента с помощью таких данных будет наиболее своевременное, поэтому оно является более точным, чем предоперационные изображения. Но качество интраоперационных изображений вынуждает производить цифровую обработку этих снимков, чтобы улучшить визуальную составляющую обследования. Как и в предоперационных изображениях есть возможность использовать специальных агентов для увеличения контраста соответствующих структур. Таким образом, если необходимые данные видны в интраоперационных изображениях, то такое обследование может справиться с ролью хирургической поддержки, иначе они могут послужить только неким мостом предоперационными данными и эндоскопическим видео.

Эндоскопические изображения на современных лапароскопических камерах могут быть получены в виде Full HD видеосцены (1080р) со скоростью 60 кадров в секунду. Некоторые аппараты способны выдавать изображения с разрешением 2К и 4К (соответственно 1440р и 2160р).

Оперативные измерения - это данные, полученные в режиме реального времени для специфических аспектов операции. Эти данные обычно состоят из частоты сердечных сокращений, цикла дыхания или силы обратной связи лапароскопических инструментов. Помимо этого, оперативные изменения могут включать в себя геометрические координаты от систем слежения, которые нужны для определения конкретных объектов в общем пространстве. Этими объектами могут быть могут быть внутренности пациента, хирургические инструменты иди системы отображения, например, лапароскопическая камера или лапароскопический ультразвуковой датчик. Для обнаружения таких инструментов используются специальные маркеры, прикрепленные у них. Основными технологиями отслеживания являются оптические и электромагнитные датчики. Но сами инструменты отслеживания нуждаются в проведения широких процедур калибровки для соответствия требованиям по точности. [2].

Последним видом данных являются данные планирования. Обычно такие данные собираются хирургом вручную или при помощи примечаний из интраоперационного руководства. Большая часть таких пометок выглядят, как измерения или геометрические фигуры:

•линии разреза;

•края резекции;

•положение инструментов;

•положение троакаров.

Есть возможность получать данные планирования непосредственно во время операции, и сразу обновляться их в реальном времени с помощью анализа изображений для успешного следования за динамической сценой [3].