Технологии дополненной реальности в лапароскопической операции. Поверхностный рендеринг для объемной визуализации органов.

TECHNOLOGIES OF AUGMENTED REALITY IN LAPAROSCOPIC OPERATION. SUPERFICIAL RENDERING FOR VOLUME VISUALIZATION OF ORGANS

Grigory Volkov

student of Mari State University, Russia, Yoshkar-Ola

Ksenia Volkova

student of the magistracy, Mari State University, Russia, Yoshkar-Ola

Аннотация. В данной статье рассматриваются технологии дополненной реальности в лапароскопической операции. С помощью специализированной программы хирург может получить трёхмерные модели внутренних органов пациента. Построение такой модели напрямую зависит от данных. Качество построения определяется рендерингом. Для объемной визуализации применяется поверхностный рендеринг в виде: множества полигонов, рендеринга с эффектами затенения (shading), алгоритмов интерполяции.

Abstract. In this article technologies of augmented reality in laparoscopic operation are surveyed. By means of the specialized program the surgeon can receive three-dimensional models of internals of the patient. Creation of such model directly depends on data. The quality of construction is defined by rendering. Superficial rendering in a look is applied to volume visualization: sets of grounds, rendering with effects of shading (shading), interpolation algorithms.

Ключевые слова: дополненная реальность; лапароскопическая операция; поверхностный рендеринг; объемная визуализация; трёхмерные модели внутренних органов; качественное отображение модели; достоверное построение модели; отображение поверхности; алгоритм представления поверхности; множество полигонов; рендеринг с эффектом затемнения; алгоритм интерполяции.

Keywords: augmented reality; laparoscopic operation; superficial rendering; volume visualization; three-dimensional models of internals; high-quality display of model; reliable creation of model; display of a surface; an algorithm of representation of a surface; a set of grounds; rendering with effect of blackout; an interpolation algorithm.

Прогресс не стоит на месте, и технологии, которые еще недавно казались, фантастическими, уже применяются в профессиональных сферах. Так технология дополненной реальности (AR) нашла применение не только в интернет продажах, но и в медицинской сфере. Для проведения лапароскопической операции можно применить возможности дополненной реальности [1].

Суть данной технологии заключается в том, что с помощью специализированной программы хирург перед началом операции может получить трёхмерные модели внутренних органов пациента. На основе очков дополненной реальности происходит виртуальное наложение моделей на расположение реальных органов человека. Таким образом, мы получаем реальную картину, дополненную виртуальными моделями, которые показывают реальное расположение органов. Но возникает проблема, насколько качественным будет отображение этих моделей.

Насколько достоверно будет построена модель, напрямую зависит от данных, на основе которых строятся внутренние органы. Однако это качество определяется хорошим рендерингом. В последние годы применяются два основных метода рендеринга для объемной визуализации:

•поверхностный рендеринг - Indirect Volume Rendering (TVR);

•объемный рендеринг - Direct Volume Rendering (DVR) [2].

Поверхностный рендеринг представляется собой такой вид отображения поверхности, в которой происходит взаимодействие между двумя отдельными структурами, например, легкими и воздухом. Такого рода разделение можно получить на основе ручной или полуавтоматической сегментации. Так как эта задача весьма трудоемкая, ее выполнение должно происходить до проведения операции на этапе предоперационного планирования. Алгоритмы представления поверхностей в данном методе могут быть в виде:

•множества полигонов, которые образуют сетку или каркас, как показано на рисунке 1а;

•рендеринга с эффектами затенения (shading), который основывается на топологии (этот метод, представленный на рисунке 16, необходим для придания реализма и упрощения интерпретации);

•алгоритмов интерполяции, изображенных на рисунке 1в (с помощью этих алгоритмов можно сгладить плохое разрешение данных поверхности для избежание «лестничных артефактов»)

Рисунок 1а. Поверхностный рендеринг сегментированной печени - каркасная визуализация

Рисунок 1б. Поверхностный рендеринг сегментированной печени - гладкая поверхность с затенением (shading)

Рисунок 1в. Поверхностный рендеринг сегментированной печени - интерполяция

Поверхностный рендеринг не имеет возможности отображать все многообразие трехмерных параметров, поэтому не является требовательным к вычислению. Из-за разграничения между структурами не будет составлять труда интерпретировать данный способ рендеринга. Таким образом, поверхностный рендеринг является основным методом визуализации в большинстве приложений дополненной реальности в хирургии [3].