Системы интраоперационной навигации с использованием технологии дополненной реальности

The systems of intraoperative navigation with use of technology of augmented reality

Grigory Volkov

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Ksenia Volkova

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Аннотация. В данной статье рассмотрены системы интраоперационной навигации с использованием технологии дополненной реальности. Одной из таких является система интраоперационного УЗИ, а другой – система Uteraug. Также рассмотрен аналог систем цифрового комбинирования изображений в виде системы дополненной реальности с оптическим комбинированием.

Abstract. In this article, the systems of intraoperative navigation with use of technology of augmented reality are considered. One of such is the system of intraoperative ultrasonography, and another – the Uteraug system. The analog of systems of digital combination of images in the form of the system of augmented reality with optical combination is also considered.

Ключевые слова: интраоперационная навигация; дополненная реальность; устройства наблюдения; объект наблюдения; вид реального объекта; виртуальная модель; система позиционирования; система интраоперационного УЗИ; лапароскопические вмешательства.

Keywords: intraoperative navigation; augmented reality; observation devices; subject to observation; type of a real object; virtual model; system of positioning; system of intraoperative ultrasonography; laparoscopic interventions.

Дополненная реальность предоставляет возможность объединения на одном изображении огромного количества информации об анатомии пациента, полученной с различных источников. Таким образом, врач может концентрировать свое внимание, при этом сохраняется его максимальная осведомленность за состоянием оперируемого и ходом вмешательства. Для большей наглядности на рисунке 1 продемонстрирована структурная схема систем дополненной реальности.

Рисунок 1. Структурная схема системы дополненной реальности

Из рисунка 1 видно, что такая система имеет в своем составе устройства наблюдения и объект наблюдения. Дополненная реальность получается благодаря совмещению нескольких изображений, одно из которых вид реального объекта, другое – виртуальная модель, сформированное с помощью рендера. Таким образов второе изображение представляет собой дополняющее отображение. Рендер должен учитывать расположения наблюдателя и объекта, чтобы корректно формировать дополненную реальность. Предоставление такой информации занимается система позиционирования, в которой осуществляется отслеживание координат устройства наблюдения и объекта.

Обратим внимание на уже существующие системы интраоперационной дополненной реальности и выделим в них соответствующие функциональные блоки. Для примера рассмотрим систему интраоперационного УЗИ для лапароскопических вмешательств с использованием дополненной реальности [1], представленную на рисунке 2.

Рисунок 2. Внешний вид системы интраоперационного УЗИ с использованием технология дополненной реальности

На рисунке 2 цифрой 1 обозначен ноутбук для интеграции изображений, 2 – система стереоскопического изображения, 3 –устройство электромагнитного трекинга, 4 – настольный генератор поля, 5 – хирургический стол и 6 – лапароскопический УЗИ. В данной систему устройством наблюдения является стандартный видеолапароскоп. Для визуализации используется жидкокристаллический дисплей лапароскопической системы. Таким образом, процесс проведения лапароскопического вмешательства для хирурга остается практически неизменным. Суть работы такой системы интраоперационной навигации заключается в отслеживании положения ультразвукового датчика и лапароскопической камеры на основе оптической системы навигации. Далее происходит передача всех координат в ноутбук, осуществляющий отрисовку ультразвукового изображения, после чего оно накладывается на видеопоток с лапароскопической камеры.

Основные блоки системы дополненной реальности (рисунок 1) могут быть совмещены в одно устройство. На рисунке 3 приведена система дополненной реальности Uteraug [2].

Рисунок 3.  Внешний вид системы дополненной реальности Uteraug

На рисунке 3 представлена система для проведения лапароскопических вмешательств на органах мочеполовой системы. Цифрой 1 обозначается жидкокристаллический дисплей, 2 – персональный компьютер, 3 – фантом, 4 – макет органа, 5 – лапароскопическая трубка, 6 – видеоэндоскоп. Данная система уникальна тем, что позиционирование осуществляется с помощью персонального компьютера, который получает видео с лапароскопической камеры, для определения координат объекта наблюдения в системе координат камеры. Видеоэндоскоп направляется на необходимый объект. Далее его изображение обрабатывается алгоритмом, выделяющим характерные точки, движение которых можно отслеживать. После этого вычисляется положение объектов относительно лапароскопа.

Описанные выше системы представляют собой группу систем цифрового комбинирования изображений. Исходное и дополняющие изображения имеют цифровой вид, поэтому их объединением занимается персональный компьютер. Такие системы можно использовать для операционного вмешательства, основанного на цифровой камере, как основном источнике информации. К такого рода операциям можно отнести малоинвазивную хирургию с визуальным контролем. Работа хирурга основывается на ограниченном изображении с камеры лапароскопа, которая вводится в тело пациента. Следовательно, повышение информативности данного изображение влияет на качество проводимой операции. Аналогом таких систем будут системы дополненной реальности с оптическим комбинированием. В таких системах совмещение изображения пациента и дополняющего изображения происходит за счет оптических средств. Для этого используются полупрозрачные дисплеи, зеркальные или проекционные устройства.