Статья:

Поддержание точности лапароскопической дополненной реальности с помощью калибровки онлайн-камеры

Конференция: XVI Международная научно-практическая конференция «Научный форум: инновационная наука»

Секция: Медицина и фармацевтика

Выходные данные
Волков Г.А., Волкова К.Р. Поддержание точности лапароскопической дополненной реальности с помощью калибровки онлайн-камеры // Научный форум: Инновационная наука: сб. ст. по материалам XVI междунар. науч.-практ. конф. — № 7(16). — М., Изд. «МЦНО», 2018. — С. 9-12.
Конференция завершена
Мне нравится
на печатьскачать .pdfподелиться

Поддержание точности лапароскопической дополненной реальности с помощью калибровки онлайн-камеры

Волков Григорий Александрович
магистрант, Марийский государственный университет, РФ, г. Йошкар-Ола
Волкова Ксения Романовна
магистрант, Марийский государственный университет, РФ, г. Йошкар-Ола

 

Maintaining of accuracy of laparoscopic augmented reality by means of calibration of the online camera

 

Grigory Volkov

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

Ksenia Volkova

student of the magistracy, Mari State University, Russian Federation, Yoshkar-Ola

 

Аннотация. В данной статье рассмотрены возможности поддер­жания точности лапароскопической дополненной реальности с помощью калибровки онлайн-камеры. Подробно описано, что представляют собой компенсационные настройки камеры. Описаны методы калибровки и самокалибровки. Определены недостатки методов и описаны пути их решения.

Abstract. In this article the possibilities of maintaining of accuracy of laparoscopic augmented reality by means of calibration of the online camera are considered. Explicitly it is described that compensation settings of the camera represent. Methods of calibration and self-calibration are described. Shortcomings of methods are defined and paths of their decision are described.

 

Ключевые слова: лапароскопическая дополненная реальность; точность калибровки; калибровка камеры; самокалибровка; эндоскоп; монокуляр; оптический кабель; компенсационные настройки.

Keywords: laparoscopic augmented reality; accuracy of calibration; calibration of the camera; self-calibration; endoscope; monocular; optical cable; compensation settings.

 

Во время хирургического вмешательства точность дополненной реальности зависит от двух основных факторов: эндоскопического движения камеры и деформации сцены. В реальном времени можно применять только простые линейные совмещения, не имеющие данных из инвазивных интраоперационных сканеров. Но обработка деформации не возможна без сложных нелинейных методов. На практике целесо­образно использовать движение камеры и деформацию сцены.

Рассмотрим подробно, что представляют собой компенсационные настройки камеры. Онлайн-камеру можно настроить таким образом, чтобы обеспечить оптимальное представление для хирурга. Но изменения баланса белого или фокуса не отражаются на точности хирургической дополненной реальности. Но масштабирование уже создаст геометри­ческую деформацию на лапароскопическом изображении, что повлечет за собой новую калибровку камеры. Помимо этого у лапароскопов с разделительной камерой и стержнем могут быть свои специфические параметры.

Очевидно, что методы дополненной реальности калибруются за пределами брюшной полости, и изменение перечисленных параметров влечет за собой повторение калибровки, иначе точность системы упадет критически. Обычно отладка камеры занимает одну минуту, что приемлемо в рамках проведения операции. В противном случае необходимо применять «single-image» подход. Такая функция, как математическое отслеживание изменений настроек камеры, будет весьма полезной во время операции. Но такая отладка должна не только обнаруживать отклонения настроек, но и оценивать и применять их к системе дополнительной информации [1].

Существует несколько способов частичной компенсации изменения одного или нескольких параметров камеры. Можно вынести внутренние параметры из кругового контура, который виден на эндоскопическом изображении, и адаптировать этот процесс под режим реального времени. У этого способа есть один существенный недостаток: применять его можно только к эндоскопам, имеющим монокуляр, при этом у них должно быть ограничено масштабирование [2].

Также можно определить масштаб, отслеживая основные точки на изображении. Основным недостатком этих двух подходов будет то, что им требуется значительное количество времени для предварительной калибровки каждого эндоскопа, но они все же устраняют необходимость в калибровки камеры. Многочисленные последовательные изменения необходимы для точного определения взаимосвязи между параметрами камеры и рассмотренными особенностями эндоскопического изобра­жения [3].

Наиболее известный подход в калибровке онлайн-камеры называется «самокалибровка». Эти алгоритмы могут использовать дополнительные предметы для калибровки, например, шахматную доску. И применять полученные настройки к сценам неизвестной топологии. При этом, процесс самокалибровки остается довольно трудным, тем более когда речь идет о монокулярных устройствах.

Таким образом, наиболее перспективным подходом будет использование калибровочных объектов с известными размерами в хирургических сценах [4].

Предварительная калибровка в сочетании самокалибровкой является более инвазивным, но и более практичным, чем обычная калибровка методом. Однако онлайн-оценка стандартных параметров собственной камеры может быть недостаточной в случае разъемных эндоскопов.

Жёсткие прямые эндоскопы подразделяются на три основных вида: монокулярный 0° угол, монокулярный 30° и бинокулярный (стереоскоп). Первый их них имеет оптическую ось и ось вращения стержня. Однако из-за поворота кабеля уменьшается точность дополнительной инфор­мации, что приводит к некоторым расхождениям. Чтобы решить эту проблему была, можно провести следующую процедуру. Необходимо сделать автоматическую онлайн-калибровку, в которой задействованы трубки квадратного сечения или анализ затенения сцены [5].

С наклонными эндоскопами дела обстоят сложнее. Они требуют более сложной адаптации в процессе расширения информативности. В них изображение имеет свойство менять резкость.

Это происходит из-за вращения оптического кабеля относительно камеры. Для устранения этого эффекта есть ряд методов.

Можно использовать вращающийся энкодер или оптический маркер для определения углового положения скоса по отношению к камере.

Однако эти методы требуют утомительных калибровок и дополни­тельных устройств, что весьма затрудняет хирургическое вмешательство.

Более простой подход состоит из крошечной, но видимой метки на краю объектива эндоскопа, который описывает изображение, но это ограничивает диапазон масштабирования [1].

 

Список литературы:
1. Melo R., Barreto J.P., Falcao G. A new solution for camera calibration and real-time image distortion correction in medical endoscopy–initial technical evaluation // Biomedical Engineering, IEEE Transactions on 59. – 2012. – Pp. 634-644.
2. Lee T.Y., Chang T.S., Wei C.H., Lai S.H., Liu K.C., Wu H.S. Automatic distortion correction of endoscopic images captured with wide-angle zoom lens // Biomedical Engineering, IEEE Transactions on 60. – 2013. – Pp. 2603-2613.
3. Lourenco M., Barreto J.P., Fonseca F., Ferreira H., Duarte R.M., Correia-Pinto J. Continuous zoom calibration by tracking salient points in endoscopic video // Medical Image Computing and Computer-Assisted Intervention – MICCAI 2014. Springer. – 2014. – Pp. 456-463.
4. Allan M., Ourselin S., Thompson S., Hawkes D. Jn., Kelly J., Stoyanov D. Toward detection and localization of instruments in minimally invasive surgery // Biomedical Engineering, IEEE Transactions on 60. – 2013. – Pp. 1050-1058.
5. Bernhardt S., Nicolau S.A., Bartoli A., Agnus V., Soler L., Doignon C. Using shading to register an intraoperative CT scan to a laparoscopic image // Computer-Assisted and Robotic Endoscopy. Springer. – 2015. – Pp. 59-68.