Объемный подход к лапароскопической дополненной реальности

Volume approach to laparoscopic augmented reality

Grigory Volkov

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Ksenia Volkova

student of the magistracy, physics and mathematics faculty, Mari State University, Russian Federation, Yoshkar-Ola

Аннотация. В данной статье рассматривается объемный подход к лапароскопической дополненной реальности. Основной проблемой этого подхода является совмещение предоперационных и интраопера­ционных трехмерных данных. Кроме интерпретации данных, также имеет место различие в точности относительно параметризации деформации. Но стоит учитывать тот факт, что полученные деформации на модели могут быть нереалистичны. Есть множество разных методов для совмещения предоперационных трехмерных данных для их интра­операционной копии, одним из которых является лапороскопическую дополненную реальность без предоперационных данных.

Abstract. In this article volume approach to laparoscopic augmented reality is considered. The main problem of this approach is combination of preoperative and intraoperative three-dimensional data. Except interpretation of data, the difference in accuracy concerning a deformation parametrization also takes place. But it should be taken into account the fact that the received deformations on model can be not realistic. There is a set of different methods for combination of preoperative three-dimensional data for their intraoperative copy, one of which is laparoscopic augmented reality without preoperative data.

Ключевые слова: дополненная реальность; лапароскопическая операция; объемный подход; интраоперационная система визуализации; предоперационные данные; трехмерные данные, трехмерные модели; параметризация деформации; точность определения деформации.

Keywords: augmented reality; laparoscopic operation; volume approach; intraoperative system of visualization; preoperative data; three-dimensional data; three-dimensional models; deformation parametrization; accuracy of definition of deformation.

Дополненная реальность в лапароскопических операциях – перспек­тивное направление для разработки новых технологий в данной сфере. Этот подход основывается на интраоперационной системе визуализации, кардинально отличающейся от изображения с лапароскопа. Подходы, основанные на объемах, способны продемонстрировать скрытые под поверхностью тела органы.

Первый вопрос, который возникает при использовании объемного подхода – это как совместить предоперационные и интраоперационные трехмерные данные? Полная деформация интересующей области между временем предоперационного сбора данных и интраоперационным состоянием той же самой области и есть основная цель использования дополнительной системы отображения в интраоперативном режиме. Таким образом, появляется возможность нелинейно совместить пред­операционные трехмерные данные. Трехмерное совмещение является общей задачей в этой сфере, поскольку большинство хирургических программных систем для визуализации данных выводит их в виде трехмерных моделей.

Кроме интерпретации данных, также имеет место различие в точности относительно параметризации деформации. Такой подход основывается на деформируемой модели [1]. Модель может быть удлинена или сжата во всех направлениях без ограничения объема, но не имеет возможности инкапсулировать изгиб. Если необходимо применять более сложную деформацию, то могут быть использованы B-сплайновые произвольные модели или TPS, которые требуют более рассеянного соответствия между предоперационными и интраоперацион­ными трехмерными данными.

Но стоит учитывать тот факт, что полученные деформации на модели могут быть нереалистичны. Для устранения этой проблемы можно использовать биомеханические свойства модули Юнга и коэф­фициента Пуассона в тетраэдрической сетке. Но реализм деформации существенно связан с точностью фиксированных свойств и эти свойства индивидуальны для каждого пациента, поэтому специальная модель создается для любого пациента уникальной [2]. Биомеханическое моделирование может существовать в реальном времени, но все, конечно, зависит от реализма полученной модели, сложности моделируемой деформации и потенциальных столкновений с другими моделями.

Стоит обратить внимание на то, что есть множество разных методов для совмещения предоперационных трехмерных данных для их интраоперационной копии. Однако точность определения деформации также продолжает оставаться сложной задачей. Альтернативным вариантом можно отказаться от всех предоперационных данных в пользу интраоперационных.

Рассмотрим более подробно лапороскопическую дополненную реальность без предоперационных данных. В последнее время такой подход становиться возможным благодаря применению сканер в гиб­ридных операционных [3]. Главное условие – это предварительное введение контрастного вещества, так как появляется возможность отобразить сосудистую сеть на трехмерную плоскость. Точность зависит от дополнительного облучения пациента, но только на критических этапах вмешательства. Так достигается компромисс между клиническими благами и радиационной опасностью. Но такой метод требует обширных клинических испытаний.

Из сказанного выше можно сделать следующий вывод, что на данный момент нет универсального решения для интраоперационной визуализации для лапароскопической дополненной реальности. Но даль­нейшее развитие этого направления возможно при уменьшении цены и увеличение качества изображений, скорости обнаружения и инва­зивности. В любом случае, подобного рода интраоперационные данные необходимо совмещать с лапароскопическим изображением. Несмотря на то, что такое изображение отображает ту же сцену, что и интраоперационные трехмерные данные, они все же различны с точки зрения информации. Первым решением совмещения может быть использование одного из основанных точечных подходов, базирую­щихся на искусственных ориентирах и интраоперационной трехмерной визуализации [4]. Также существует еще один подход, при котором, целенаправленно вводя кончик эндоскопа в область сканирования, автоматически определяется положение камеры относительно трех­мерных данных [5]. Последним способом будет 3D-2D-регистрации, основанный на затенении, для дальнейшего улучшения подхода и дости­жения самой современной точности для лапароскопической дополненной реальности [6].

Таким образом, вывод о недостатках объемного подхода к лапароскопическим операциям можно сделать следующий. Слабостью этого метода будет зависимость от дополнительных систем. Использо­вание объемного подхода ограничено в первую очередь использованием гибридных операционных помещений, так как необходимо использовать интраоперационный 3D-сканер. К сожалению, такие устройства стоят огромных денег и не все медицинские учреждения могут позволить себе их приобретение, даже с учетом всей пользы от таких сканеров. Следующей проблемой объемного подхода будет то, что все полученные интраоперационные данные необходимо обрабатывать и рендерить в трехмерные органы. Безусловно, этот процесс очень трудоемок для слабых машин. Но даже если и техническая составляющая позволяет сделать это быстро, то возникает следующая проблема. Многие современные методы для преобразования интраоперационных данных в трехмерные органы основывается на системах отслеживания, необхо­димых для совмещения. Чаще всего оказывается, что такие системы не несут никакой практической значимости. Но есть и другие методы, которые базируются на отслеживание естественных или искусственных ориентиров для триангуляции положения камеры. Но они оказываются инвазивными или не имеют достаточной надежности.