Локализация номерных знаков автомобиля

Алгоритм распознавания номерных знаков автомобиля включает в себя пять ключевых этапов:

• Локализация номера
• Нормализация
• Сегментация
• Распознавание
• Синтаксический анализ[1]

Для каждого этапа существует множество различных вариантов

решения, но особое внимание стоит уделить локализации номерного знака, удачная реализация которой способна значительно увеличить точность распознавания автомобильных номеров. В рамках данной статьи мы рассмотрим четыре метода поиска области содержащей номерной знак на изображении:

1. Контурный анализ
2. Гистограммный анализ
3. Метод Виолы–Джонса
4. Сверточные нейронные сети

Контурный анализ

Основным принципом данного метода, является поиск замкнутого контура на изображении, который бы имел свойства схожие со свойствами номерных знаков, зачастую используется отношение длины к ширине с некоторым допущением, поскольку контур не может с абсолютной точностью обозначить номер, а также несоответствие отношение может быть вызвано пространственными искажениями номерного знака: поворот или искажениями в перспективе. Зачастую обработка изображения производится на преобразованном в полутоновое изображение. Выделяются контуры на изображении, пример выделенных контуров показан на рисунке 1.

Рисунок 1. Выделенные границы

Выделяются замкнутые контуры и производится проверка выбранных областей на соответствие свойствам номерных знаков автомобиля. Исключаются области, имеющие отношение длины к ширине отличную от отношения у номерных знаков. Так же проверяется отношение площади области к общей площади изображения, с целью исключать слишком мелкие детали и слишком крупные области изображения, которые не были исключены при прошлой проверке. Для оставшихся областей принимается гипотеза что один из них является номерным знаком.

Недостатком данного метода является, возможность отсутствия четкого контура на изображении, что существенно снижает точность распознавания, но правильная предварительная подготовка изображения может решить данную проблему.

 Гистограммный анализ

Метод использует предположение, что в области с номером количество контуров имеет большую интенсивность чем в остальной части изображения. Для реализации данного метода вначале полноцветное изображение преобразуется в полутоновое, далее используется методы выделения вертикальной составляющей контуров, обычно это методы Собела, Превитта или Робертса.

Далее производится расчет проекции изображения на ось Y. Далее на изображении производится поиск пика, содержащего максимальное значение из всех значений проекции. Принимается гипотеза о том, что внутри данного пика содержится номерной знак, нижняя и верхняя граница определяется минимумами данного пика. Работа данного метода представлена на рисунке 2.

Рисунок 2. Локализация гистограммным методом

Недостатком данного метода является тем, что автомобиль на изображении должен быть сопоставим с размером кадра. Иначе находящиеся рядом объекты будут вносить лишние контуры, которые будут искажать результаты проекции.

Метод Виолы–Джонса

Метод Виолы–Джонса, изначально созданный для распознавания лиц, на данный момент широко применяется для поиска объектов на изображении.

В основу метода Виолы–Джонса положены: интегральное представление изображения по признакам Хаара, построение классификатора на основе алгоритма адаптивного бустинга и способ комбинирования классификаторов в каскадную структуру [2].

Для того, чтобы производить какие-либо действия с данными, используется интегральное представление изображений [3] в методе Виолы-Джонса. Такое представление используется часто и в других методах, к примеру, в вейвлет-преобразованиях, SURF и многих других разобранных алгоритмах.

Поиск номерного знака осуществляется с помощью окна заданного размера, которое перемещается по изображению и для каждой позиции окна измеряется признак Хаара, состоящий из областей, располагающихся на изображении. Наличие объекта определяется близостью полученного признака Хаара к обученному порогу. Для обеспечения необходимой точности распознавания в методе Виолы-Джонса признаки Хаара объединяются в классификатор, сформированный из примитивов, показанных на рисунке 3.

Рисунок 3.  Примитивы Хаара

Сверточные нейронные сети

На основе сверточных нейронных сетей существует возможность организовать сеть способную выделять объекты на входных изображениях для этого сеть необходимо предварительно обучить на заранее размеченной базе данных. Поскольку свертка изображений, используемая в подобных сетях, сокращает размер данных, то в архитектуре сети необходимо отразить слои сети для того чтобы восстановить их количество, как это показано на рисунке 4.

Рисунок 4. Архитектура сегментирующей сети

Данный метод эффективнее метода Виолы–Джонса поскольку не использует заранее заготовленные маски для выделения интересующих областей изображения.