Поверхностные методы лапароскопической AR

Laparoscopic AR surface methods

Grigory Volkov

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Ksenia Volkova

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Аннотация. В данной статье рассмотрены поверхностные методы лапароскопической дополненной реальности (AR). Они делятся на четыре основных процесса: поверхностная реконструкция в лапароскопии; совмещение поверхности; первоначальное линейное совмещение; проверка совмещения. Также рассмотрены преимущества и недостатки поверхностных методов.

Abstract. In this article the superficial methods of laparoscopic augmented reality are considered. They are divided into four basic processes: the superficial reconstruction in laparoscopy; combination of a surface; initial linear combination; combination check. Advantages and shortcomings of the superficial methods are also considered.

Ключевые слова: поверхностные методы; дополненная реальность.

Keywords: superficial methods; augmented reality.

Поверхностные методы, применяемые в лапароскопической дополненной реальности, подразделяются на четыре основных процесса:

1. поверхностная реконструкция в лапароскопии [1];
2. совмещение поверхности;
3. первоначальное линейное совмещение;
4. проверка совмещения.

Реконструкция поверхности необходимого органа, полученного на основе предоперационных трёхмерных данных, выполняется непо­средственно перед вмешательством с использованием ручных или полуавтоматических инструментов сегментации. Для создания поверх­ностной реконструкции из эндоскопического изображения используют пассивные и активные методы. Первые метод базируется на анализе визуальных сигналов в эндоскопическом изображении для вывода топографии сцены. Существуют пять основных алгоритмов для этих методов:

• Structure-from-Motion (SfM);
• Simultaneous Localization and Mapping (SLAM);
• Stereovision;
• Shape-from-Focus (SfF);
• Shape-from-Shading (SfS).

Активные методы отличаются от пассивных тем, что способны обрабатывать визуально сложные лапароскопические сцены без текстуры. Выделяют три алгоритмы активных методов:

• Shape-from-Polarizatio (SfP);
• Structured light;
• Time-of-Flight (ToF).

Необходимо помнить, что все методы, применяемые для поверх­ностной реконструкции, основаны на свете, что, в свою очередь, приводит к калибровке эндоскопической камеры до хирургического вмешательства. Но применение таких методов для дополненной реальности имеет место быть [1].

Следующим процессом является совмещение поверхностей [2]. Такой подход представляет собой плотную или редкую реконструкцию поверхности лапароскопической сцены. Ключевым отличием от преды­дущего процесса будет то, что элемент хирургического интереса частично виден. Поверхностная модель интраоперационной сцены совмещается с объектом, полученным путем сегментации предоперационных трех­мерных данных. Поскольку в лапароскопической хирургии органы часто наблюдаются только частично, полученная поверхность отображается неполно. Полная мобилизация органа тоже до конца не решает проблему, так ка при ее применении становится видна примерно половина поверхности органа. Тем не менее, характерных черт органа не хватает в полной мере, чтобы устранить двойственность совмещения. Существуют два основных этапа в процессе поверхностного совмещения:

1. инициализация посредством линейного совмещения;
2. реконструкции посредством нелинейного совмещения (чаще всего).

Рассмотрим более подробно первоначальное линейное совмещение [3]. Две поверхности могут быть наложены друг на друга вручную, полуавтоматически или полностью автоматически. Первоначально необходимо совместить поверхность предоперационной модели органа и ее интраоперационную реконструкцию. Однако такой подход затра­чивает много времени и чаще всего его стараются не применять в виду повышения риска осложнения из-за увлечения времени хирургического вмешательства. Поэтому для совмещения применяются полуавтомати­ческие методы, наиболее популярным из которых является Iterative Closest Points (ICP) и его вариация. Полностью автоматический подход обеспечивается дескрипторов функций формы (shape feature descriptors).

Последние, что необходимо при применении поверхностных методов, – это проверка совмещения [4]. Она может быть достигнута на основе минимизации расстояния на линейной модели, но более высокую точность дает проверка, основанных на нелинейных методах.

Основные нелинейные модели: B-splines, Thin Plate Splines (TPS), spring-mass system, Coherent Point Drift (CPD) или адаптация ICP с анизотропным скалированием. Метод Finite Elements (FE) применяется для более точной оценки деформации между поверхностями с учетом механики тканей.

Также есть возможность применять биомеханические модели для всего органа. Отсутствие информации о граничных условиях можно компенсировать с помощью определения контуров.

Таким образом, поверхностный подход к лапароскопической допол­ненной реальности имеет очевидные достоинства: методам необходимы только предоперационная модель и анализ эндоскопического изобра­жения. Дополнительные системы слежения не требуются, поскольку расширенная информация о положении камеры обновляется в соот­ветствии с движением эндоскопа [5].

Самым главным недостатком поверхностного подхода является неполнота реконструкции. Так как видна только малая часть органа, реконструированная модель трудно совмещается с предоперационной.

Такой результат будет частично надежным.

Таким образом, деформация невидимой поверхности и внутренних критических структур остается относительно неизвестной, что является проблемой для поддержки. Проверка также является проблемой для поверхностных методов.

В самом деле, несмотря на то, что четкие правила создания фантомов максимально реальны, эксперименты in vitro все еще далеки от условий in vivo, особенно в плане динамики движения органа. Кроме того, более низкая анатомическая сложность в фантомах значительно уменьшает сложность сегментации интраоперационных трехмерных данных.