Технологии дополненной реальности в лапароскопической операции. Объемный рендеринг для объемной визуализации органов.

TECHNOLOGIES OF AUGMENTED REALITY IN LAPAROSCOPIC OPERATION. VOLUME RENDERING FOR VOLUME VISUALIZATION OF ORGANS

student of the magistracy, physics and mathematics faculty, Mari State University, Russia, Yoshkar-Ola

Ksenia Volkova

student of the magistracy, Mari State University, Russia, Yoshkar-Ola

Аннотация. В данной статье описывается применение технологии дополненной реальности в лапароскопической операции. Специализированные программы предоставляют возможность хирургу получить трёхмерные модели внутренних органов пациента. Для визуализации моделей органов используется объемный рендеринг. Технология объемного рендеринга заключается в том, что на экране определяется интенсивность пикселя. Цвет и непрозрачность каждого вокселя получается с помощью предварительно заданной и непрерывной передаточной функцией. Воксели рассматриваются не только по интенсивности, но и по их градиенту или по их окрестности.

Abstract. In this article use of technology of augmented reality in laparoscopic operation is described. Specialized programs give an opportunity to the surgeon to receive three-dimensional models of internals of the patient. For visualization of models of organs volume rendering is used. The technology of volume rendering is that on the screen the intensity of pixel is defined. Color and opacity of everyone вокселя turns out by means of previously set and continuous transfer function. A voxel are surveyed not only on intensity, but also on their gradient or on their vicinity.

Ключевые слова: дополненная реальность; лапароскопическая операция; объемный рендеринг; объемная визуализация; трёхмерные модели; замер пересечения лучей; визуализируемая трехмерная поверхность; интенсивность пикселя; суммирование цвета и непрозрачности; каждый воксель; передаточная функция.

Keywords: augmented reality; laparoscopic operation; volume rendering; volume visualization; three-dimensional models; measurement of crossing of beams; the visualized three-dimensional surface; intensity of pixel; summation of color and opacity; everyone vocsel; transfer function.

В последнее время свое распространение начинает получать технология дополненной реальности в хирургии. В частности, для лапароскопических операций, где с помощью специализированных программ хирург имеет возможность получить трёхмерные модели внутренних органов пациента. Для того, чтобы получить наложение виртуальной модели на реальные органы, необходимо использовать очки дополненной реальности вместе со специализированной программой. Основная проблема данного способа проведения операции заключается в том, чтобы качественно отобразить трёхмерные модели внутренних органов.

Достоверность построения модели напрямую зависит от данных, на основе которых строятся внутренние органы. При этом немаловажную роль будет играть и качество рендеринга. Для визуализации моделей органов используются два основных метода:

•поверхностный рендеринг - Indirect Volume Rendering (IVR);

•объемный рендеринг - Direct Volume Rendering (DVR) [1].

Рассмотрим вид рендеринга, который называется объемным. Самым популярным методом создания изображения является ray casting. Суть этого метода заключается в том, что сцена строится на основе замеров пересечения лучей с визуализируемой трехмерной поверхностью. Данный метод может представлять все параметры, которые имеет трехмерная модель.

По этой причине объемный рендеринг довольно требователен к вычислениям.

Метод объемного рендеринга не нуждается во взаимодействии с данными, необходимыми для структурного отображения, поэтому делает подходящим для визуализации трехмерных органов человека. Но самым большим минусов данного метода является отсутствие разграничений между структурами тканей, что в свою очередь делает невозможным измерение объемов.

Технология объемного рендеринга заключается в том, что на экране определяется интенсивность пикселя. Данные параметр получается взвешенным суммированием цвета и непрозрачности.

Также он связан с удалением вдоль луча каждого вокселя. Цвет и непрозрачность каждого вокселя получается из исходного значения интенсивности в данные изображения с помощью предварительно заданной и непрерывной передаточной функцией.

Качество объемного рендеринга во многом связано с формой этой функции (рисунок 1). Функция определяется до сбора данных и может быть не совсем адаптированной, а структуры иногда трудно отличить, даже используя контрастное вещество, поэтому адаптивная инициализация и выбор передаточной функции является популярной темой исследований [2].

Рисунок 1. Объемный рендеринг внутрибрюшной полости

Одно из решений может заключаться в разработке передаточной функции с несколькими измерениями: вокселы рассматриваются не только по интенсивности, но и по их градиенту или по их окрестности. [3].

Если рассматривать объемную визуализацию в целом, то основываясь на выше изложенном описании метода, можно сделать вывод, что объемный рендеринг может отлично подходить для использования трехмерных данных. Объемный рендеринг в лапароскопической AR является отображением в виде плоскостей с имитацией перспективы для лучшей интеграции в хирургическую сцену [4].