Поверхностная реконструкция в лапароскопии

The surface reconstruction in a laparoscopy

Grigory Volkov

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Ksenia Volkova

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Аннотация. В данной статье рассматривается поверхностная реконструкция в лапароскопии. Все методы такой реконструкции делятся на пассивные (Structure-from-Motion, Simultaneous Localization and Mapping, Stereovision, Shape-from-Focus, Shape-from-Shading) и активные (Shape-from-Polarizatio, Structured light, Time-of-Flight). Рассматриваются преимущества и недостатки каждого из представленных методов.

Abstract. In this article the surface reconstruction in a laparoscopy is considered. All methods of such reconstruction share on passive (Structure-from-Motion, Simultaneous Localization and Mapping, Stereovision, Shape-from-Focus, Shape-from-Shading) and the fissile (Shape-from-Polarizatio, Structured light, Time-of-Flight). Advantages and shortcomings of each of the presented methods are considered.

Ключевые слова: поверхностная реконструкция; пассивные методы; активные методы; лапароскопия; эндоскопическое оборудование.

Keywords: surface reconstruction; passive methods; active methods; laparoscopy; endoscopic equipment.

Реконструкция построения поверхности является хорошо известной и хорошо документированной темой в компьютерном зрении. По данной тематике выпущено большое количество публикаций. Поверхность необходимого органа строиться из предоперационных трехмерных данных. Выполнять это построение нужно непосредственно перед вмешательством с использованием ручных или полуавтоматических инструментов сегментации. Методы для эндоскопической реконструкции поверхности делятся на пассивные и активные.

Пассивные методы основываются на анализе визуальных сигналов в эндоскопическом изображении, чтобы вывести топографию сцены:

·      Structure-from-Motion (SfM);

·      Simultaneous Localization and Mapping (SLAM);

·      Stereovision;

·      Shape-from-Focus (SfF);

·      Shape-from-Shading (SfS).

Первый метод SfM представляет собой элементы последовательных кадров, который выводит их глубину в зависимости от перемещения. SfM можно совмещать с любыми эндоскопами. Однако работать без движения он не может и требует вычислительной нагрузки для плотной реконструкции. Тем не менее, SfM, по большей части, пред­назначен для недеформируемых сцен, несмотря на попытки применять его и для деформируемых, с использованием шаблона [1].

Следующий метод – SLAM базируется на более разреженном подходе и опирается на неподвижные точки на сцене. К преиму­ществам данного метода относятся меньшие требования к технике и большая надежность, чем SfM. При этом SLAM предъявляет большие требования к инициализации и неподвижности большинства сцен [2].

На данный момент наиболее популярным, среди пассивных методов, для предоставления лапароскопического восприятия глубины является – Stereovision. Также этот метод может быть применен для реконструкции поверхности путем сопоставления признаков между «левыми» и «правыми» изображениями. Основным отличием Stereovision от SfM и SLAM является то, что Stereovision не требует движения для выполнения реконструкции. Однако все еще прослеживается зависимость от насыщенности и точности текстуры для поиска признаков, что может сильно затруднять реконструкцию в лапароскопических сценах [3].

Метод SfF отличается от всех предыдущих тем, что он не параметризирует параллакс для определения глубины, базируется на оптических свойствах линз и резкости элементов в лапароскопическом изображении [4].

Последний метод SfS применяет эффекты затенения (shading) на элементах сцены, чтобы вывести их глубины. SfS лучше работает в областях без текстур в отличие от всех предыдущих методов, но не приспособлен для лапароскопии. SfS ограничен сам по себе, но дает возможность умножать глубинные сигналы в гибридных методах поверхностной реконструкции, такие как stereo/SfS и SfM/SfS [5].

Самое очевидное преимущество пассивных методов реконструкции поверхности заключается в совместимости с обширными эндоскопами. Но проблема их использования заключается в том, что данные методы не были предназначены для лапароскопических сцен изначально, при этом все они адаптированы из алгоритмов компьютерного зрения.

Активные методы являются весьма устойчивыми в лапароскопи­ческих сценах, но проблема их использования заключается в том, что они пока не готовы к клиническому применению, так как их необходимо адаптировать к новому эндоскопическому оборудованию. Существуют следующие активные методы:

·      Shape-from-Polarizatio (SfP);

·      Structured light;

·      Time-of-Flight (ToF).

Первый метод SfP позволяет реконструировать поверхность участка лапароскопической сцены, который освещается поляризованным источником света, находящимся в эндоскопе. Однако этот метод очень обобщенный, к тому же прототип эндоскопа имеет внушительные размеры [6].

Метод Structured light изначально создает изображение, которое оптически проецируются на поверхность лапароскопической сцены, с целью компенсации отсутствия текстуры или сложностей, связанных с этим. Далее для определения патологии необходимо использовать любые пассивные методы, даже SfS. Главный недостаток Structured light – это ограничение разрешающей способности [7].

Последний активный метод ToF предполагает оценку топологии участка с помощью измерения несоответствия между излучаемыми и отраженными оптическими сигналами. Это достигается при исполь­зовании плотной матрицы пульсирующих лазеров или определении фазового интерференционного инфракрасного света. Но его точность будет ниже стереовидения или структурированного света [8].

Отличие пассивных и активных методов заключается в том, что вторые способны обрабатывать визуально более сложные лапароскопи­ческие сцены еще и в отсутствии текстур.

Таким образом все методы поверхностной реконструкции базируются на применении света, следовательно, любой из них, за исклю­чением ToF, нуждается в предварительной калибровке эндоскопической камеры. Для всех методов дополненная реальность должна быть построена на интраоперационных трехмерных данных.