Технологии визуализации лапароскопической дополненной реальности

Technologies of visualization of laparoscopic augmented reality

Grigory Volkov

master student, Mari State University, Russia, Yoshkar-Ola

Ksenia Volkova

Undergraduate, Faculty of Physics and Mathematics, Mari State University, Russia, Yoshkar-Ola

Аннотация. В данной статье рассмотрены технологии визуали­зации лапароскопической дополненной реальности: проецирование на пациента, «окна дополненной реальности», отображение на пациента, имитация физической прозрачности, отображение «с рук», статисти­ческое видео отображение. Рассмотрены преимущества и недостатки каждого метода.

Abstract. In this article technologies of visualization of laparoscopic augmented reality are considered: projection on the patient, "windows of augmented reality", display to the patient, imitation of a physical transparence, display "from hands", statistical video display. Advantages and shortcomings of each method are considered.

Ключевые слова: технология визуализации; лапароскопическая дополненная реальность; проецирование на пациента; окна дополненной реальности; отображение на пациенте; имитация физической проз­рачности; статистическое отображение; отображение «с рук».

Keywords: projection onto patient; actual reality; optical see-through; minimally invasive surgery; Head-Mounted Display; video see-through; Google Glass; static video display.

Ни для кого не секрет, что за последние годы технологии в области визуализации развились в значительной степени. И дополненная реальность не осталась в стороне, поэтому рассмотрим основные способы отображения в этой сфере.

Первым стоит упомянуть проецирование на пациента или «projection onto patient». Такая форма отображения наиболее оптимально подходит к значению дополненной реальности благодаря использованию «actual reality». В данной ситуации пациент представляет собой некий экран, на которые проецируются анатомические изображения [1]. Применение этого метода для отображения дополненной реальности несет в себе непосредственную пользу для размещения точки входа начала вмешательства или вставки иглы.

Но есть один существенный недостаток. Область видимости проектора в таком проецировании отличается от перспективы, в которой видит хирург. Данное несоответствие влечет за собой расхождение точность в дополненной реальности. К тому же, применяемый в лапароскопической хирургии пневмоперитонеум, который представляет собой введение газа в брюшную полость пациента, заметно ухудшает проецирование, так как поверхность брюшной полости, которая является экраном, и органы, представляющие сцену, отделяются друг от друга. Таким образом, данные метод не рекомендован для проведения лапароскопической операции [2].

Еще одной технологией визуализации будет optical see-through. Также данный метод называют «окнами дополненной реальности». Вид отображения в нем представляется как проекция системы допол­ненной реальности на полупрозрачные поверхности, которыми могут быть полусеребряные зеркала, находящиеся перед сценой. Таким образом, проблема перспективы, возникающая при непосредственном проецировании дополненной реальности, исчезает, так как у хирурга появляется возможность сопрягать дополненную реальность без окклюзии проекции [3].

Однако дополненная реальность, которая отображается на пациенте, ориентирована в первую очередь на первоначальное введение хирурги­ческого инструмента и не подходит для абдоминальной малоинвазивной хирургии (MIS - minimally invasive surgery). К тому же, трехмерное восприятие не обеспечивается окнами дополненной реальности. Исключение составляет использование встроенной видеографии для автостереоскопии или Head-Mounted Display (HMD). Также не так давно стало возможным применение монокулярной оптической прозрачной технологии, такой как проект Google Glass [4].

Также существует технология video see-through. Суть этого подхода заключается в имитации физической прозрачности, которая достигается благодаря отслеживаемому мобильному устройству отображения и подключенной камеры. Так, сцена отображается как видео в режиме реального времени, которое сразу же дополняется. В области цифровой мобильности получила широкое распространение технология отображения «с руки» в связи с большими достижениями в этой области, но данная технология все еще находится на ранней стадии, при этом имеет большие перспективы [5].

Как ни странно, но индустрия видео игр дала возможность для продвижения новых технологий в дополненную реальность, так как вызвала неподдельный интерес у игроков. В свою очередь, это дает толчок для создания более легких устройств дополненной реальности и повышения качества видео. Все это, несомненно, пригодится и в проведение хирургических операций с использование устройств дополненной реальности. Также появилась вероятность того, что в скором времени в операционных появиться HMD и опыт in vitro [6].

Последней рассмотренной технологией будет статистической видеоотображение (static video display). Данный процесс относится к фиксированным цифровым мониторам для видео в реальном времени на хирургической сцене. Для навигации в хирургии монитор остается самой распространённой формой отображения. Большинство подходов к дополненной реальности в малоинвазивных операциях касается того, что виртуальные данные накладываются на эндоскопическое видео, отображаемое на большом мониторе в операционной. Недавно появились мониторы с разрешением 4K и трехмерные дисплеи Full HD. Еще один способ просмотра видеоизображения дополненной реальности обеспе­чивается удаленными консолями для хирургических роботов, таких как Da Vinci2 [7].

Подводя итог, можно сказать, что есть множество вариантов для создания лапароскопической дополненной реальности.

Но стоит учитывать, что не все из них эквивалентны друг другу.

На первом месте, остаются выбор данных, рендеринг и способ отображения. Но успех применения дополненной реальности все еще зависит от точности совмещения разных данным и изображений.