Современные методы совмещения в лапароскопической дополненной реальности

The modern methods of combination in laparoscopic augmented reality

Volkov Grigory Alexandrovich

student of the magistracy, Mari State University, Russia, Yoshkar-Ola

Volkova Ksenia Romanovna

student of the magistracy, Mari State University, Russia, Yoshkar-Ola

Аннотация. В данной статье рассмотрены современные методы совмещения лапароскопической дополненной реальности, которые подразделяются на четыре основных подхода: интерактивный, точечный, поверхностный и объемный. Подход, основанный на поверхностях, направлен на полную оценку интраоперационной сцены. Объемный подход нацелен на интраоперационное состояние сцены, который достигается с помощью интервенционного способа визуализации. Интерактивный подход основан на ручном предоставлении данных от эксперта с целью сопряжения предоперационные и лапароскопические изображения. Точечный подход, основанный на точках, может быть автоматическим в виду использования искусственных или естественных ориентиров, которые хорошо отображаются на предоперационных и лапароскопических изображениях.

Abstract. In this article the modern methods of combination of laparoscopic augmented reality which are subdivided into four main approaches are considered: interactive, pointwise, the surface and volume. The approach based on surfaces is directed to the overall estimate of an intraoperative scene. Volume approach is aimed at an intraoperative condition of a scene which is reached by means of an intervention way of visualization. Interactive approach is based on manual providing data from the expert for the purpose of interface preoperative and laparoscopic images. The pointed approach based on points can be automatic in a type of use of artificial or natural reference points which are well displayed on preoperative and laparoscopic images.

Ключевые слова: методы совмещения; лапароскопическая дополненная реальность; поверхностный подход; точечный подход; интраоперационный подход; объемный подход; датчик эндоскопа; лапароскопическое изображение; способ визуализации; интраоперацион­ные изображения; линейное совмещение; трехмерное положение; интер­активный подход; предоперационные данные; модальность визуализации.

Keywords: combination methods; laparoscopic augmented reality; superficial approach; pointed approach; intraoperative approach; volume approach; endoscope sensor; laparoscopic image; way of visualization; intraoperative images; linear combination; three-dimensional situation; interactive approach; preoperative data; visualization modality.

Все современные методы совмещения в лапароскопического дополненной реальности подразделяются на четыре основных подхода: интерактивный, точечный, поверхностный и объемный.

Подход, основанный на поверхностях, направлен, в первую очередь, на полную оценку интраоперационной сцены с помощью поверх­ностного рендеринга, который базируется на лапароскопических изображениях или других датчиках эндоскопе. Далее происходит линейное или нелинейное совмещение соответствующих поверхностей, полученных из предоперационных трехмерных изображений [1].

Объемный подход нацелен на интраоперационное состояние сцены, который достигается с помощью интервенционного способа визуализации. Такой подход необходимо проводить в два совмещения: сначала сопрягаются интраоперационные объемные и предоперационные изображения, затем – лапароскопические и интраоперационные объем­ные изображения [2].

Рассмотрим более подробно первые два подхода. Интерактивный подход основан на ручном предоставлении данных от эксперта с целью сопряжения предоперационные и лапароскопические изобра­жения. Присутствие человека в процессе совещание необходимо для гарантии точности, таким образом, устраняется главная проблема отсутствия кросс-модальности между предоперационной моделью и лапароскопическим изображением.

В качестве примера можно взять линейное совмещение. Оно имеет возможность инициализации вручную и обновления относительно движения камеры. Такое перемещение можно отследить путем выбора анатомических ориентиров. Для ускорения ручного процесса, можно применять стереовизию для совмещения предоперационной модели почки с ее проекцией в обоих случаях [3].

После определения одинаковых ориентиров на представлении и модели можно триангулировать трехмерное положение органа на сцене. Это достигается за счет соответствия в представлении. Дальнейшее вращение задает непосредственно оператор трекболом. При этом время всего процесс занимает всего 40-60 секунд, что является довольно приемлемым, учитывая специфику работы. Однако стоит учитывать тот факт, что ручной интерактивный подход имеет отрицательное влияние на работу хирурга. Чтобы избежать этого, программа должна иметь интуитивно понятный пользовательский интерфейс и достаточный опыт работы с приложением у оператора. Очевидным достоинством этого интерактивного подхода будет простота получения сертификата клинического продукта, как раз за счет отсутствия автоматического подхода.

Точечный подход лапароскопической дополненной реальности предназначен для такого же совмещения, как и интерактивный. Но подход, основанный на точках, может быть автоматическим в виду использования искусственных или естественных ориентиров, которые хорошо отображаются на предоперационных и лапароскопических изображениях.

Так ручной подход базируется на знаниях оператора, с помощью которого происходит идентификация и связывание элементов преодпера­ционных данным с лапароскопическим изображение. Соответственно, такой процесс можно назвать регистрацией модели органа на сцене. Цифровая идентификация способствует автоматическому совмещению, что увеличивает точность сопряжения и уменьшает его время. Можно использовать и анатомические ориентиры, но их бывает трудно идентифицировать. Поэтому к ним могут добавляться выданные маркеры, которые служат искусственными ориентирами [4].

Помимо этого, ориентиры бывают мультимодальными маркерами, которые видны во всех рассмотренных модальностей визуализации. Такие маркеры размещают на коже пациенты до получения предопера­ционных данных. Они остаются на своих местах вплоть до прибытия в операционную, где уже происходит детектирование системой отслеживания.

У точечного подхода есть две существенные проблемы. Во-первых, ограничение наведения маркеров системой отслеживания, обычно основанных на оптических датчиках [4]. Также маркеры могут бази­роваться на электромагнитных датчиках или кинематических измерениях роботизированной руки. Во-вторых, существует несоответствие пред­операционных данных пациенту из-за использования тех самых маркеров на поверхности кожи. Чтобы устранить эту проблему можно опираться на интраоперационные трёхмерные данные и сканирование пациента с проведением пневмоперитонеума и размещением маркеров. Пневмоперитонеум – это процедура закачки газа в брюшную полость.

Вывод можно сформулировать следующим образом: метода, которые базируется на регистрации точек, имели большую популярность в начале создания лапароскопической дополненной реальности. Однако им на смену приходят методы поверхностной регистрации, чем обеспечивают уменьшения интереса к первым.