Реализация трекинга для дополненной реальности на мобильных устройствах

Аннотация. В последние годы большую популярность получила технология дополненной реальности, предполагающая использование трекинга. В статье приведен аналитический обзор и сравнение основных методов реализации трекинга для построения дополненной реальности на мобильных устройствах. Рассмотрены алгоритмы реализации оптического трекинга как наиболее эффективного и функционального.

Abstract. In recent years, the technology of augmented reality, involving the use of tracking, has gained great popularity. The article provides an analytical review and comparison of the main methods of tracking realization for the construction of augmented reality on mobile devices. Algorithms of realization of optical tracking as the most effective and functional are considered.

Ключевые слова: дополненная реальность; трекинг; алгоритм; компьютерное зрение; поиск объекта; ключевые особенности изображения; маркер; видеопоток.

Keywords: augmented reality; tracking; algorithm; computer vision; object search; key image features; marker; video stream.

На сегодняшний день стало возможным определение точного положения и движения объекта (например, человека или специального маркера) в пространстве. Это, в первую очередь, связано со стремительным развитием технологии трекинга. Подавляющее большинство существующих и успешно применяемых по специальным назначениям подходов к процессу трекинга не могут быть использованы для построения дополненной реальности (Augmented Reality, AR) на мобильных устройствах, так как требуют наличия специальных инструментов (трекер движения, некоторого количества особым образом расположенных камер или отражателей).

Методологии реализации трекинга на мобильных устройствах

В настоящее время широкое распространение получили три основных подхода, которые рассмотрим далее.

Наклеивание изображений объекта. Данная методология не предполагает, по сути, реализацию трекинга: вместо этого строится коллаж, состоящий из изображений искомого объекта. Фоном может являться статичная заставка либо видеопоток с камеры устройства. У пользователя нет необходимости выполнять предварительные настройки для работы с программным обеспечением, что является преимуществом данного метода. К недостаткам относится тот факт, что изображение на выходе получается нереалистичным, так как ракурс объекта не соответствует его реальному окружению. Также трудности вызывает настройка масштаба, соответствующая действительному, поэтому адекватное восприятие габаритов объекта труднодостижимо. В данной методологии отсутствует возможность осмотра объекта с разных сторон и под разным ракурсом, так как в её основе заложен двумерное представление изображения. А так как один из основных постулатов дополненной реальности — это работа с объектами в трёхмерном пространстве, то данный метод противоречит ему, что значительно снижает его эффективность.

Трекинг на основе датчиков положения и ускорения устройства. При реализации трекинга, имеющего три степени свободы путём наклона мобильного устройства в трёх плоскостях, используется данный подход, с помощью которого он и реализуется. Всё это говорит о том, что данный подход будет иметь существенный минус, а именно объект будет проецироваться в неверном масштабе. При изменении положения мобильного устройства проецируемый объект так же изменяет своё положение. Это происходит словно он приклеился к камере устройства, из-за этого возникают неточности при проецировании в ракурсе объекта, величина которой будет напрямую зависеть от такого параметра как высота, на которой находится устройство. Её можно выставить вручную, но в основном она рассчитывается в зависимости от роста человека.

Оптический трекинг. Методология оптического трекинга имеет более широкий функционал из всех представленных. Его широкий спектр применения обуславливается шестью степенями свободы при реализации трекинга, что позволяет реализовать в полной мере все принципы AR. Это означает, что встраивание объекта дополненной реальности в реальный мир с высокой точностью масштаба и ракурса. Ещё одним серьёзным плюсом будет тот факт, что для реализации данного подхода трекинга необходимо иметь всего лишь одной камеры на мобильном устройстве, которая присутствует уже у подавляющего количества современных смартфонов. Для успешного функционирования методологии необходима высокая степень оптимизации алгоритмов, которая у оптического трекинга есть и это его ещё один плюс, как и использование маркеров в процессе трекинга. Всё это позволяет интерактивно менять частоту кадров. Недостаток оптического трекинга – необходимость наличия маркера для отслеживания. Сравнительный анализ рассмотренных методологий, плюсов и минусов каждой их них, позволяет сделать вывод о том, что метод оптического трекинга более эффективен для реализации ввиду широкого спектра предоставляемого функционала и точности алгоритмов работы.

Основы алгоритмов оптического трекинга. Компьютерная идентификация объектов является фундаментом развития и распространения технологии дополненной реальности. Используя алгоритмы компьютерного зрения достаточно легко выделить ключевые атрибуты изображения (например, границы областей или углы) и распознавать объекты в видеоданных [2].

Алгоритмы компьютерной идентификации в оптическом трекинге применяются для поиска маркеров в видеопотоке. Такими маркерами могут быть различные объекты, например лицо человека или специализированные изображения. Так как видео − это последовательность изображений, то идентификация объекта в видеопотоке − это многократно повторяющийся поиск в большом количестве статичных изображений [4].

После идентификации маркера в видеопотоке, становится возможным построение проекции для позиционирования объектов дополненной реальности. Другими словами, благодаря проекции становится возможным наложение виртуальной модели на видеопоток с точным масштабом и ракурсом. Основные задачи, которые решает оптический трекинг − поиск маркера, идентификация его местоположения в кадре и проекция виртуального объекта на видеопоток или изображение.

Существует достаточно обширная теоретическая база в области поиска объектов и их обработки: это методы контурного анализа, идентификация характерных черт [5], анализ по шаблону [6] и генетические алгоритмы [3].

Для реализации AR-технологии чаще всего используют метод идентификации характерных черт и генетические алгоритмы [1].

Метод идентификации характерных черт на медиа данных направлен на определение абстракций изображения с целью выделения его ключевых особенностей. В качестве особенностей изображения могут выступать изолированные точки, области, кривые, углы, грани [1]. Для поиска маркера обычно используют алгоритмы, выполняющие анализ изображений по контрольным точкам. Контрольной точкой является область изображения, которая отличается от заданного изображения. Что именно понимается под контрольной точкой, зависит от того, какой именно алгоритм применяется.

Для нахождения ключевых точек и их последующего сравнения используют:

• детектор, осуществляющий поиск ключевых точек на изображении;
• дескриптор, описывающий найденные ключевые точки, анализируя их расположение через описание окружения;
• матчер, производящий сравнительный анализ между двумя точками.

Идентификация ключевых точек искомого изображения производится детектором. После чего найденные точки анализируются дескриптором и записываются в базу данных или подготовленный файл. С помощью матчера проверяются соответствия ключевых точек.

Генетические алгоритмы применяются для распознавания заданного объекта в статическом изображении или видеопотоке [1]. Для его успешной работы обязателен процесс обучения алгоритма [3], используя два набора изображений: истинные, которые содержат объект поиска и ошибочные, которые не содержат объект поиска;

Процесс обучения включает в себя прогон огромного количества изображений, как истинных, так и ошибочных. Из каждого изображения выделяются определяющие особенности, после чего по этим особенностям строится статистическая модель, с помощью которой и будет осуществляться процесс поиска объекта.

Одним из отличных примеров успешного применения данного алгоритма является распознавание лиц на видеопотоке [7]. Шаг за шагом, обучая алгоритм, можно добиться высокой вероятности нахождений заданных объектов [3]. Тот факт, что алгоритм необходимо обучать делает его применения крайне проблематичным. Для успешного обучения потребуется построить классификатор для каждого из объектов, что занимает большое количество времени.

Таким образом, можно сделать вывод: для полноценной реализации дополненной реальности на мобильных устройствах целесообразно использовать алгоритмы трекинга, имеющие высокую скорость работы при сохранении качественного отслеживания позиции ключевых точек изображения. Также не стоит забывать о фильтрации определяющих точек для сокращения их количества и отсеивания комбинаций низкого качества, что повышает скорость работы. Благодаря этому можно добиться не только высокой скорости работы алгоритмов, но и высокого качества трекинга маркеров.