Разработка алгоритма распределённой обработки видеопотоков для задач обнаружения движущихся объектов в системах подвижного видеонаблюдения

В последние годы всё большую актуальность приобретают задачи компьютерного зрения. Современные методы интеллектуального анализа изображений и распознавания объектов позволяют автоматизировать многие производственные процессы и широко применяются в поисковых системах, торговых предприятиях, мониторинге дорожного трафика, системах контроля качества, криминалистике, научных исследованиях и других сферах человеческой деятельности [4].

Одной из актуальных задач данной области является разработка автоматизированных систем подвижного видеонаблюдения. Для реализации подобных систем применяются беспилотные летательные аппараты, оборудованные камерами наружного видеонаблюдения, информация с которых передаётся на центральный сервер, где производится анализ полученных данных в режиме реального времени [1].

В подобных системах необходимо поддерживать заданную скорость и качество работы при любых условиях. Тем не менее, при возрастании объёма передаваемой информации не все современные компьютеры будут способны выполнять своевременные и точные измерения в связи с ограничениями их вычислительных мощностей. Как следствие, часть кадров будет либо пропущена, что приведёт к возникновению погрешностей и неверным результатам анализа, либо кадры будут обработаны со значительным опозданием, что является недопустимым для систем реального времени. Встаёт вопрос о реализации эффективного алгоритма приёма и анализа потокового видео с большого количества источников, обеспечивающего своевременную и точную обработку поступающей информации.

В качестве основной технологии для распознавания движения, лежащей в основе разрабатываемых алгоритмов, используется JavaCV – надстройка над библиотекой компьютерного зрения OpenCV для языка Java, которая позволяет обращаться к функциям данной библиотеки, написанным на языке C++, а также использовать эти функции внутри технологии Apache Storm.

Для решения поставленной задачи обнаружения и оценки параметров объектов необходимо выполнять совместную обработку нескольких кадров. Входной последовательностью для алгоритма является набор из двух и более кадров, на основе которых составляется разностная маска и определяется наличие движения [3].

Псевдокод разностного алгоритма обработки видео с переменным фоном представлен ниже. Используются следующие обозначения: величина смещения кадра по горизонтали (bw), по вертикали (bh), ограничивающий прямоугольник (r), матрица (E), формирующая изображение шаблона, карта результатов (M), точка максимального соответствия шаблона оригиналу (mPoint), матрица аффинного преобразования (T) и матрица (F), содержащая преобразованный кадр буфера. Матрица E формируется путём выделения области второго кадра буфера, ограниченной прямоугольником r.

На вход алгоритма поступает последовательность кадров (frames). N – размер буфера, который задаётся пользователем. K – число обработанных кадров на заданном такте. Предварительно перед процессом сравнения производится преобразование каждого кадра сглаживающим фильтром, в данном случае – фильтром Гаусса [2]. После преобразования анализируются пары кадров (1,K), где K – порядковый номер кадра в буфере. Затем выполняется поиск участка на первом кадре, максимально соответствующего матрице E. По граничным значениям данного участка строится прямоугольник, затем по четырём парам точек полученного прямоугольника и прямоугольника r вычисляется матрица преобразования. Данное преобразование применяется ко второму кадру и результат заносится в матрицу F.

В конечном итоге формируются три матрицы. Первая (A) содержит результат вычитания текущего кадра из предыдущего, вторая (B) – результат вычитания предыдущего кадра из текущего, а третья (C) – сумму первой и второй матриц. Если число кадров буфера больше двух, разностная маска ищется для каждой пары кадров и в конечном итоге все разности суммируются (D). Обнаружение движущихся объектов выполняется посредством пороговой фильтрации полученного изображения путём отброса всех несущественных пикселей, значение которых не превышает порогового значения (p).

Псевдокод разностного алгоритма:

begin

N, A, B, C, D, p, bw, bh, r, E, F, M, T, mPoint;

K = 1;

while K < N {

           K++;

           r = new Rectangle(bw, bh, frames[K].width – bw, frames[K].height – bh);

E = new Matrix(frames[K], r);

M = matchTemplate(E, frames[0]);

mPoint = M.getMaximum();

T = getAffineTransform(E, Rectangle(mPoint.x, mPoint.y, mPoint.x + r.width, mPoint.y + r.height);

F = warpAffine(frames[K], T);

           A = frames[0] – F;

B = F – frames[0];

           C = A + B;

for (int i = 0; i < C.width; i++) {

                     for (int j = 0; j < C.height; j++) {

                              if (C[i, j] > p)

                                       C[i,j] = 255;

                              else

                                       C[i,j] = 0;

                     }

           }

           D = D + C;

}

if (D != Empty) {

           Захват областей движения;

           Вывод информации о движущихся объектах;

}

end;

На рисунке 1 показан результат обработки кадров из трёх видеофрагментов, на которых проводилось тестирование алгоритма. Левыми частями изображения являются суммы разностных масок пар кадров буфера, на правых – исходный кадр с выделенными областями движения. На заданном наборе тестов алгоритм дал полностью верные результаты.

Рисунок 1. Результаты обработки видео с помощью разностного алгоритма

В рамках эксперимента была разработана топология для реализации параллельного алгоритма с применением технологии распределённых вычислений Apache Storm. Схема топологии представлена на рисунке 4. Каждый считанный кадр исходного видеопотока вместе с некоторым количеством ему предшествующих, равном размеру буфера, передаётся одному из обработчиков, который реализует основную логику алгоритма – сравнение, наложение и разность кадров. Выходными данными обработчика является кадр с выделенными областями движения с присвоенным ему уникальным идентификатором, который передаётся сборщику. В свою очередь, сборщик накапливает полученные от обработчиков кадры в общий буфер, выполняет их сортировку по номеру и периодически выполняет запись кадров из буфера в выходной видеофайл.

Рисунок 2. Схема топологии для реализации параллельной обработки

Исследование проводится на виртуальном кластере с использованием библиотеки программного каркаса Apache Storm для языка программирования Java. Тестирование алгоритма выполняется на виртуальных машинах с четырёхузловой конфигурацией. В качестве источников данных используются видеопотоки длительностью 60 секунд с разрешением 960x540, 1280x720, 1920x1080 пикселей и частотой кадров 24 FPS. Количество обработчиков задаётся пользователем.

Результаты вычислительного эксперимента приведены в таблице 1. Было проведено сравнение по параметрам пропускной способности в зависимости от разрешения видеопотоков. Размер кадрового буфера был взят равным 3.

Как можно видеть, с увеличением параллелизма время обработки снижается экспоненциально. Однако с ростом числа параллельных процессов ускорение не достигает того же порядка. Причиной этого являются накладные расходы на коммуникации, связанные с передачей данных между узлами, занимающие в данном случае около 20% процессорного времени.

Таблица 1.

Результаты обработки видеопотоков

На основании полученных данных по известному общему числу кадров было рассчитано среднее количество кадров, обрабатываемых алгоритмом за одну секунду. Результаты расчётов можно видеть на рисунке 3. График отражает зависимость количества обрабатываемых кадров от числа параллельно выполняемых процессов для видеопотоков с тремя различными разрешениями. Если скорость обработки превышает скорость поступления кадров с источника, отмеченную на графике горизонтальной линией, можно сказать, что для данной конфигурации алгоритм пригоден к использованию в системах реального времени. Таким образом можно сделать вывод о том, что при разделении вычислений как минимум на 6 независимых параллельных процессов применение разработанного алгоритма становится возможным для обработки в реальном времени видеопотоков с разрешением 960x540. Для видео с разрешением 1280x720 количество таких процессов должно составлять не менее 16, а для видео высокой чёткости (1920x1080) – более 40. Следует также учесть, что при увеличении размера кадрового буфера время работы алгоритма будет расти линейно, поэтому в таком случае рекомендуется либо использовать видео более низкого разрешения, либо увеличивать уровень параллелизма.

Рисунок 3. Зависимость скорости обработки кадров от количества параллельных процессов