МОДЕЛЬ НАКОПЛЕНИЯ СТАТИЧЕСКОГО ФОНА С УЧЕТОМ НЕСТАБИЛЬНОСТИ СЦЕНЫ

В данной статье мы, основываясь на существующих подходах, таких как «Real-time detection of abandoned bags using CNN» [1] и «Robust Abandoned Object Detection Using Dual Foregrounds» [2], реализуем собственную модель фона, устойчивую к шумовым движениям и резким изменениям сцены. А в конце проведем сравнительный анализ полученной модели с моделями, чей подход был взят за основу, а также моделью, основанной на нейронных сетях.

Для построения модели фона нередко используется концепция скользящего среднего, в которой видеопоследовательность анализируется по определенному набору кадров. В течение этой последовательности кадров вычисляется скользящее среднее по текущему и предыдущим кадрам, в итоге получая фоновую модель, где любой новый объект, появившийся в текущей последовательности кадров, становится частью переднего плана. 

Таким образом, каждый новый кадр содержит новый объект с фоном, на котором вычисляется абсолютная разница между фоновой моделью (которая является функцией времени) и самим кадром (1):

Так, dst – накопительное изображение с тем же количеством каналов, что и входное изображение; x, y – координаты изображения; src – новый кадр, α – вес входного изображения, который регулирует скорость обновления фона (насколько быстро накопитель фона «забывает» о более ранних изображениях) [1].

Для того, чтобы отделить временно статичные пиксели от фона сцены, одного фонового изображения не достаточно, поэтому используется модель с двумя фонами для получения как долговременного фона, так и кратковременного фонов (рис. 1). Также, исходя из сцены, для каждого накопительного изображения эмпирическим путем подбираются α: в данном случае 0.02 и 0.1 для долговременного и кратковременного, соответственно.

По кратковременному фону строится маска движения – бинаризованное по порогу накопительное изображение (рис. 2).

Рисунок 1. Достоверность моделей долгосрочного и краткосрочного фонов

Рисунок 2. Построение маски движения и ее бинаризация

Вместе с маской движения находится долговременный фон с последующей бинаризацией (рис. 3).

Рисунок 3. Построение долговременного фона и его бинаризация

Затем полученная маска движения вычитается из долговременного фона, в итоге получая устойчивый статический фон (рис. 4) [2].

Рисунок 4. Устойчивый статический фон, полученный в результате накопления двух фонов

Исходя из рис. 4, есть основания полагать, что данная модель не достаточно помехоустойчива. В связи с этим, попробуем реализовать собственную модель, а затем проведем сравнительный анализ, для оценки используя MSE (Mean Squared Error – среднеквадратичная ошибка) и среднее время обработки кадра.

Чтобы сделать систему более помехоустойчивой, в отличие от моделей с двумя фонами, используем три фона, где первые два будут служить для построения долговременного фона, а третий – кратковременного. Такой подход обеспечит дополнительную фильтрацию шумового движения и резких изменениий сцены.

Как и в предыдущем методе, по кратковременному фону строится маска движения с α, равным 0.1, и долговременный фон с α, равным 0.02. Вместе с этим строится еще один долговременный фон с α, равным 0.016 (рис. 5). Тогда разница первых двух накопительных изображений, с учетом исключения из накопления пикселей, содержащихся в маске движения, будет являться устойчивым статическим фоном (рис. 6).

Рисунок 5. Построение второго долговременного фона и его бинаризация

Рисунок 6. Устойчивый статический фон, полученный в результате накопления трех фонов

Теперь перейдем к сравнению. Оно проводилось на CPU на тестовом видео с разрешением 480×640 и средним FPS – 30 к/с. Используемая операционная система: Manjaro Linux, GNOME 43.1. CPU: Intel® Core™ i5-8300H × 8:

Таким образом, была получена модель с лучшей помехоустойчивостью к шумовому движению и незначительным нестабильностям сцены, не уступающая по быстродействию более легковесным моделям, и более тяжеловесным по точности.

Возможные улучшения: блочный адаптивный подбор параметров α.