ВЫДЕЛЕНИЕ ОБЪЕКТОВ ИЗ ТРАНСПОРТНОГО ПОТОКА МЕТОДОМ ОБНАРУЖЕНИЯ УСТОЙЧИВЫХ ПРИЗНАКОВ ИЗОБРАЖЕНИЯ

В статье авторы кратко рассказывают о модуле распознавания маршрутных номеров автобусов. Одной из первых задач модуля является выделение объектов (автобусов) из видео потока. Авторами предлагается использование метода обнаружения устойчивых признаков изображения (Speeded-Up Robust Features) для решения этой проблемы.

Введение

Задача нахождения соответствий между двумя изображениями сцен или объекта является основной для большинства программ компьютерного зрения. Несмотря на это, задача определения и распознавания объектов до сих пор является не решённой полностью. Во многом успех решения поставленной задачи определяется правильностью выбора подходящего метода и параметров.

Модуль распознавания автобусных номеров

Система распознавания маршрутных номеров создаётся как модуль городской информационной системы, которая решает следующие задачи:

·     контроль и мониторинг маршрутных автобусов;

·     информирование пассажиров о расчётном времени прибытия маршрутного автобуса;

·     предоставление информации о дорожных заторах;

·     независимость системы от технического обеспечения маршрутных автобусов.

Для решения задачи независимости от технического обеспечения было решено рассмотреть возможность построения системы-наблюдателя. Предполагается, что система будет иметь множество наблюдательных пунктов по маршрутам автобусов. Количество наблюдательных пунктов может варьироваться от значимости маршрута и необходимой точности полученных данных о времени прибытия и наличии дорожных заторов. Каждый наблюдательный пункт в режиме реального времени сканирует дорожный поток, выделяет автобусы из общего потока и распознаёт маршрутный номер. Полученная информация передаётся на сервер, задачей которого является обработать информацию, и разослать её на информационное табло маршрута. На основе затраченного времени в пути между двумя наблюдательными устройствами можно делать выводы о существовании дорожного затора на данном промежутке дороги.

Одной из первостепенных задач является выделение объекта автобус из общего транспортного потока. Для решения данной задачи было решено применить метод SURF, поскольку метод является одним из самых быстрых и эффективных методов, а так же поддаётся оптимизации и распараллеливанию. Метод SURF не требователен к незначительным отклонениям (угол обзора, поворот) объектов на изображении и позволяет решать задачу даже при значительном масштабировании. Так же метод реализован во множестве математических библиотек, что позволяет быстро приступить к разработке. Нами был использован метод SURF в рамках библиотеки OpenCV.

Использование метода SURF влечёт ряд возможных проблем:

·     шаблон может содержать малое количество ключевых точек, что будет приводить к ложным срабатываниям;

·     шаблон может содержать большое количество ключевых точек, что будет приводить к большим временным затратам.

·      нахождение двух и больше объектов в кадре;

Определение ключевых точек и дескрипторов

Основой метода SURF являются ключевые точки и дескрипторы. Ключевые точки это точки имеющие некий признак, существенно отличающий их от большинства точек изображения. Дескрипторы и поиск ключевых точек должны обладать инвариантностью.

В статье [1] авторы подробно рассказывают о детекторах и дескрипторах, а также о получение наиболее эффективных параметров с подробным математическим объяснением. Как следует из статьи наиболее точные и эффективные ключевые точки могут быть получены на основе матрицы Гессе. Каждая точка x представлена как x = (x, y) в изображение I, матрица Гессе в x масштаба σ определяется по формуле 1.

                         (1)

Где L_xx(x, σ) это свертка гауссовой производной второго порядка с изображением I в точке x, и по аналогии для L_xy(x, σ) и L_yy(x, σ). Экстремумы гессиана расположены в точках максимального изменения градиента яркости. Для ограничения числа точек выбирается пороговое значение, каждая точка изображения меньше порогового уровня отбрасывается. Гессиан удовлетворяет требованиям инвариантности.

Решение поставленной задачи

Для решения поставленной задачи была использована библиотека OpenCV, содержащая функцию для метода SURF-cvExtractSURF. В качестве шаблона взята передняя часть автобуса, рис 1.

Рисунок 1. Шаблон объекта

На рисунке 2 изображён процесс поиска и выделения ключевых точек, а так же определение пар с шаблоном. На рисунке 3 представлен конечный результат выделения области объекта. В результате работы алгоритма получаем область, содержащую переднюю часть автобуса с номером маршрута.

Рисунок 2. Выбор ключевых точек и определение пар с шаблоном. Слева — видео кадр. Справа — шаблон объекта

Рисунок 3. Результат выделения объекта

SURF метод показал стабильное распознавание объекта автобус в видео кадре. Незначительные изменения ракурса передней части автобуса не влияли на выделение объекта.

Для случая, когда в кадр попадает несколько автобусов, авторами был реализован итеративный метод. При нахождении первой области объекта, область заменяется и повторяется попытка поиска нового объекта на кадре, см. рис. 4.

Рисунок 4. Итеративный метод. Слева — итерация для выделения третьего объекта. Справа — результат выделения объектов

Заключение

В ходе работы авторами был разработан модуль по выделению областей содержащих автобусы из видео кадра. Для решения поставленной задачи был использован метод SURF. С решением поставленной задачи метод SURF справляется, ложные срабатывания не зафиксированы, управление временем обработки возможно путём изменения порогового уровня. Изменение масштаба и поворота объекта не повлияло на стабильность работы метода и его временные затраты. При частичном выходе объекта из кадра, объект перестаёт выделяться. Для нахождения нескольких объектов в кадре был реализован итеративный подход. Итеративный подход увеличивает время обработки кратно количеству объектов в кадре.

На основе проведённой работы ставим перед собой цели по оптимизации описанного модуля, путём подбора наиболее эффективных параметров и пороговых значений, а так же оптимизация работы итеративного метода. Направлением нашей дальнейшей деятельности будет разработка системы распознавания маршрутных номеров на основе выделенных областей в кадре.

Список литературы:

1.            Bay H., Tuytelaars T., & Van Gool L. (2006). SURF: Speeded Up Robust Features (pp. 404—417). Dublin: Proceedings of the 6th European Conference on Computer Vision, Springer LNCS.

2.            Lindeberg T. (1998). Feature detection with automatic scale selection (pp. 79—116). Netherlands: International Journal of Computer Vision, 30(2).

3.            Matas J., Chum O., M., & Pajdla T. (2002). Robust wide baseline stereo from aximally stable extremal regions (pp. 384—393). United Kingdom: British Machine Vision Conference.

4.            Tuytelaars T., & Van Gool L. (2000).Wide baseline stereo based on local, a nely invariant regions (pp. 412—422). United Kingdom: British Machine Vision Conference.