Поддержание точности лапароскопической дополненной реальности с помощью отслеживания камеры и сцены

Maintaining of accuracy of laparoscopic augmented reality by means of tracking of the camera and a scene

Grigory Volkov

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Ksenia Volkova

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Аннотация. В данной статье рассмотрены методы поддержания точности лапароскопической дополненной реальности с помощью отсле­живания камеры и сцены. Они делятся на оптическое и электромагнитное отслеживание. Также рассмотрены преимущества и недостатки данных методов.

Abstract. In this article methods of maintaining of accuracy of laparoscopic augmented reality by means of tracking of the camera and a scene are considered. They are divided into optical and electromagnetic tracking. Advantages and shortcomings of these methods are also considered.

Ключевые слова: поддержание точности; точность лапароско-пической дополненной реальности; отслеживания камеры и сцены; оптическое отслеживание; электромагнитное отслеживание.

Keywords: accuracy maintaining; accuracy of laparoscopic augmented reality; tracking of the camera and scene; optical tracking; electromagnetic tracking.

Проведение операции не может проводиться в статическом поло­жении. Безусловно, хирургу нужно менять угол обзора и перемещать камеру. Такой процесс иногда проходит очень резко. Система дополни­тельной информации будет не точной без надежного отслеживания положения эндоскопа. С такой задачей хорошо справляются поверх­ностные методы в реальном времени. Среди самых популярным методов, основывающихся на дополнительных системах, выходят на первый план оптическая и магнитная технологии [1].

Стандартно практически все оптические системы слежения имеют две выделенные камеры, отслеживающие выделенные маркеры по ранее определенным шаблонам и привязывающиеся к отслежи­ваемому элементу. В режиме реального времени может рассчитываться триангуляция положения маркеров в обоих режимах и их трехмерное расположение в сцене. Шаблон накладывается на определённые части отслеживаемого объекта, что сводит к минимуму нарушения хирурга. Таким образом, гарантируется постоянной видимости камерами. Чтобы определить взаимосвязь между шаблоном и оптическим центром, необходимо провести калибровку, называемую «рука- глаз».

Ключевым отличием в технологиях оптического отслеживания является тип маркера. Некоторые продукты базируются на активных контурах, которые для обнаружения излучают специфические оптические сигналы. Другой вариант использовать пассивные маркеры с определен­ными геометрическими узорами. Однако наиболее популярной техно­логией является инфракрасные отражательные бусины, которые относятся к пассивным маркерам. Как правило, несколько оптических маркеров используются для одновременного отслеживания других объектов в дополнение к лапароскопу или хирургическим инстру­ментам [2].

Такая технология отслеживания обеспечивает субмиллиметровую точность в месте расположения маркеров, но ошибка измерений на конце инструменты имеется. Стоит отметить, что цена отечественного оборудования весьма большая, при этом габариты такого устройства тоже не маленькие. Также калибровка «рука-глаз» для такой системы длительная и утомительная, что сильно сказывается на хирургическом процессе не в лучшую сторону. Более того, поле зрения между' инфракрасными отражателями и камерами должно оставаться ясным в любое время, что ограничивает движения хирурга [3].

Теперь разберем более подробно электромагнитное отслеживание. Суть технологии состоит в том, чтобы отследить одно или несколько небольших проводных датчиков внутри магнитного поля, которое генерируется устройство вблизи хирургического участка. Магнитное поле имеет известную геометрию и быстро изменяется, вызывая ток в датчиках при различных измеряемых напряжениях. Далее полученные данные используются для определения положения датчиков относи­тельно генератора.

Так как датчик имеет маленький размер, при этом магнитное поле должно проходить сквозь ткани, маркеры располагаются в точном месте, отслеживаемом внутри пациента. Такое отслеживание подходит для любых вставленных инструментов с гибким наконечником: лапароскопи­ческие зонды УЗИ или гибкие эндоскопы. Данную технологию можно применить для лапароскопической дополненной реальности на почках и печени. Есть возможность применять электромагнитное отслеживание для облегчения предоперационной калибровки камеры [4].

Однако данная технология не имеет такую точность, как ее оптический аналог, когда речь заходит о точности на уровне маркеров. В хороших условиях точность наконечника отслеживаемого инструмента достигает показателей в миллиметрах совпадений. Действительно, электромагнитное сопровождение очень чувствительно к его окружению, так как другие металлические объекты в операционной искажают магнитное поле [5].

Следующим вариантом для отслеживания будет сама сцена. Сразу стоит оговориться, что лапароскопическая сцена может деформироваться при хирургическом вмешательстве. Для этого есть вполне объяснимые причины: периодические такие, как дыхание и сердечный ритм, непред­сказуемые, т. е. взаимодействие хирурга с тканями. Тем не менее, эти деформации нужно оценить и обновлять. Наиболее распространенный подход при этом - отслеживать ориентиры в эндоскопическом изобра­жении, которые могут быть естественными или искусственными.

Лапароскопическая сцена содержит естественные отличительные черты, такие как края и углы в богатых текстурах. Отслеживание таких данных в реальном времени на сцене обеспечивает информацию о различной динамике.

Для лапароскопической дополненной реальности такие функции могут быть автоматическими или ручными. Некоторые методы отслеживания требуют устойчивости, в то время как другие стремятся к долгосрочной точности. Тем не менее, отсутствие надежных признаков в потенциально значимых частях лапароскопической сцены подра­зумевает неопределенность в отношении их движения и деформации. В таких случаях искусственные ориентиры являются, возможно, лучшим решением.

В отличие от естественных ориентиров, искусственные пред­назначены для облегчения их обнаружения. Данные, полученные на основе таких ориентиров, будут более надежными и долгосрочными. Наиболее распространенный подход состоит в том, чтобы вставлять иглы с цветными головками в ткани, представляющие интерес в лапароскопической сцене [6].

Кроме оптического слежения есть возможность использовать беспроводное отслеживание крошечных электромагнитных транспон­деров, которые находятся в органе. Однако у такого подхода есть существенные недостатки: его инвазивность, расположение и изъятие. Такие метки требуют дополнительных хирургических вмешательств, что увеличивает риск осложнения в значительной степени. Также наличие искусственных маркеров может мешать проведению операции.

Таким образом, отслеживание сцены и реконструкция деформации являются сложными задачами. Естественно, простые или периодические движения в сцене могут быть скомпенсированы с использованием алго­ритмов прогнозирования или выделенного оборудования. С нелинейными деформациями все обстоит намного сложнее. Для решения этой специфической задачи поверхностные методы дополненной реальности имеют преимущество, при условии обеспечения точной и плотной реконструкции по всей сцене в реальном времени. Однако такой метод еще не разработан для лапароскопической дополненной реальности. В связи с этим в последнее время появились новые методы, которые гарантируют идеальное совпадение дополнительной информации и изображения.