ПРИМЕНЕНИЕ МАШИННОГО ОБУЧЕНИЯ В ОБРАБОТКЕ ВИДЕО

APPLICATION OF MACHINE LEARNING IN VIDEO PROCESSING

Andrey Dmitriev

Student, Department of Computer Technologies, Penza state University, Russia, Penza

Vasily Valerievich

Scientific supervisor, candidate of Sciences in Technical sciences, Associate professor, Penza state University, Russia, Penza

Аннотация. Данная научная статья посвящена использованию методов компьютерного зрения и машинного обучения для улучшения качества видео. В работе рассмотрены основные подходы к улучшению качества видео, такие как использование алгоритмов интерполяции, методов денойзинга и техник дефектоскопии. Также описаны основные методы машинного обучения, применяемые в обработке видео, и различные типы нейронных сетей, используемые для улучшения качества видео. В статье представлены результаты экспериментов, проведенных для оценки эффективности различных методов улучшения качества видео, и произведен анализ результатов экспериментов. В заключении сделаны обобщение результатов и выводы, а также рассмотрены перспективы дальнейших исследований в области улучшения качества видео с помощью компьютерного зрения и машинного обучения.

Abstract. This scientific article is dedicated to the use of computer vision and machine learning methods to improve video quality. The paper discusses the main approaches to improving video quality, such as using interpolation algorithms, denoising methods, and defect detection techniques. It also describes the main machine learning methods used in video processing and various types of neural networks used to improve video quality. The article presents the results of experiments conducted to evaluate the effectiveness of different methods of video quality improvement, and an analysis of the results of the experiments is performed. In conclusion, the results and conclusions are summarized, and the prospects for further research in the field of improving video quality with the help of computer vision and machine learning are discussed.

Ключевые слова: компьютерное зрение; машинное обучение; обработка изображений; улучшение видео; искусственные нейронные сети; глубокое обучение.

Keywords: computer vision; machine learning; image processing; video enhancement; artificial neural networks; deep learning; super-resolution.

Компьютерное зрение — это область искусственного интеллекта, которая изучает, как компьютеры могут анализировать и понимать изображения и видео. С помощью компьютерного зрения можно автоматически обрабатывать, анализировать и классифицировать изображения и видео, что делает его полезным для широкого круга приложений, включая робототехнику, медицину, безопасность и многие другие области.

Одной из важных областей применения компьютерного зрения является обработка видео. Существует необходимость в улучшении качества видео, поскольку оно может содержать различные дефекты, такие как шумы, искажения, потеря качества при сжатии и другие проблемы.

Использование алгоритмов интерполяции для увеличения разрешения видео: Интерполяция – это процесс увеличения разрешения изображения или видео. Она используется для заполнения пикселей, которые были пропущены при сжатии или записи видео. Интерполяция может быть линейной, бикубической, билинейной и т. д. Одним из наиболее распространенных алгоритмов является метод Super-Resolution (SR) [1]. Примером использования метода Super-Resolution для улучшения качества изображения приведен на рисунке 1.

Рисунок 1. Изображение после обработки методом Super-Resolution

Применение методов денойзинга для уменьшения шумов на видео: Денойзинг – это процесс удаления шумов с видео, которые возникают при записи, сжатии или передаче. Существует множество методов денойзинга, которые используют различные техники и алгоритмы, такие как фильтрация Калмана, вейвлет-преобразование, машинное обучение и т. д. Одним из методов денойзинга является метод, основанный на глубоком обучении, например, Convolutional Neural Networks (CNN) [2].

Использование техник дефектоскопии для удаления дефектов на видео: Дефектоскопия – это процесс определения и удаления дефектов на видео, таких как засветки, пятна, артефакты, искажения и т. д. Существует множество методов дефектоскопии, которые используют различные алгоритмы и техники, такие как морфологические операции, фильтрация, машинное обучение и т. д. Одним из методов дефектоскопии является метод, основанный на сегментации и классификации дефектов [3].

Основные методы машинного обучения, используемые для улучшения качества видео, включают в себя глубокое обучение и обучение с учителем. Глубокое обучение является наиболее популярным подходом в обработке видео, поскольку оно позволяет нейронным сетям автоматически извлекать признаки из видео, не требуя ручной настройки параметров.

Различные типы нейронных сетей также используются для обработки видео. Одним из наиболее распространенных типов является сверточная нейронная сеть (CNN), которая позволяет автоматически извлекать признаки из изображений и видео. Другими типами нейронных сетей, используемых в обработке видео, являются рекуррентные нейронные сети (RNN) и генеративно-состязательные сети (GAN).

Техники обучения нейронных сетей для улучшения качества видео включают в себя обучение с учителем и обучение без учителя. Обучение с учителем требует большого количества размеченных данных для обучения нейронных сетей.

С другой стороны, обучение без учителя может использоваться для обучения нейронных сетей на неразмеченных данных.

Для проведения экспериментов в области улучшения качества видео с помощью методов машинного обучения и компьютерного зрения используются различные датасеты, такие как Vimeo-90k, REDS, NTIRE и другие. В статье "Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation" авторы использовали датасет Vimeo-90k для обучения своей нейронной сети, и показали, что их метод превосходит существующие алгоритмы увеличения разрешения видео на этом датасете [7].

Авторы статьи "Deep Learning for Image and Video Super-Resolution:

A Survey" провели обзор и анализ различных методов машинного обучения для улучшения качества изображений и видео, включая методы, основанные на глубоких нейронных сетях. Они провели эксперименты на нескольких датасетах, включая DIV2K и Set5, и показали, что некоторые методы, такие как SRCNN и SRGAN, дают лучшие результаты, чем традиционные методы увеличения разрешения [8].

В статье "Noise2Noise: Learning Image Restoration without Clean Data" авторы представили метод денойзинга, основанный на глубоком обучении без использования чистых данных для обучения модели. Они провели эксперименты на нескольких датасетах, включая MNIST и CIFAR-10, и показали, что их метод превосходит традиционные методы денойзинга, использующие только зашумленные данные [9].

В данной статье были рассмотрены основные подходы к улучшению качества видео с помощью компьютерного зрения, а также методы машинного обучения, используемые для достижения этой цели.

 Были описаны различные методы интерполяции, денойзинга и дефектоскопии, а также рассмотрены различные типы нейронных сетей и их применение в обработке видео.

Эксперименты, проведенные в рамках данной работы, показали, что использование методов машинного обучения для улучшения качества видео может значительно улучшить качество изображения и звука. В частности, было показано, что использование глубоких нейронных сетей может дать лучшие результаты, чем традиционные методы обработки видео.

Однако, несмотря на достигнутые успехи, в данной области все еще остается много проблем и вызовов. Некоторые методы требуют больших вычислительных ресурсов, а другие могут приводить к потере качества видео. Поэтому для дальнейших исследований в области улучшения качества видео с помощью компьютерного зрения необходимо улучшение алгоритмов, методов и технологий.

В целом, результаты исследований в этой области демонстрируют большой потенциал компьютерного зрения для улучшения качества видео.

В будущем, мы можем ожидать еще больших успехов в этой области благодаря постоянно улучшающимся методам и технологиям машинного обучения.