Разработка алгоритма распознавания материалов объектов в составе роботизированного сортировочного узла

DEVELOPMENT OF AN ALGORITHM FOR THE RECOGNITION OF MATERIALS OF OBJECTS AS PART OF A ROBOTIC SORTING NODE

Ivan Krechetov

Reseacher, Office of scientific research and development, Moscow Polytechnic University, Russia, Moscow

Arkady Skvortsov

Ph.D., Professor, Office of scientific research and development, Moscow Polytechnic University, Russia, Moscow

Исследование финансируется Министерством науки и высшего образования Российской Федерации (Минобрнауки России) по соглаше­нию о предоставлении субсидии #14.586.21.0029 от 28 июля 2016 года. Тема проекта: «Исследование и разработка научно-технических решений в области проведения сортировочных операций в режиме реального времени с объектами, имеющими сложные характеристики, с исполь­зованием высокоэффективных робототехнических средств автома­тизации» (уникальный идентификатор RFMEFI58616X0029).

Аннотация. Целью данной работы является исследование спект­ральных плотностей отраженных сигналов в ближней инфракрасной зоне и разработка системы распознавания типов материалов для использования в составе роботизированного сортировочного узла при выполнении операций над объектами, движущимися на конвейерной ленте. Рассмотрены способы идентификации материала объекта, а также алгоритмы выделения и распознавания объектов посредством обработки данных от системы машинного зрения. Показана высокая точность в 94.12 % идентификации пластиковых полимеров.

Abstract. The purpose of this work is to study the spectral densities of the reflected signals in the near infrared zone and developing a system for recognizing types of materials for use as part of a robotic sorting node when performing operations on objects moving on a conveyor belt. Methods for identifying the material of an object, as well as algorithms for identifying and recognizing objects by processing data from a computer vision system are considered. High accuracy is shown in 94.12% identification of plastic polymers.

Ключевые слова: распознавание материала; система технического зрения; ближняя инфракрасная зона; сортировка мусора.

Keywords: material recognize; machine vision system; NIR; waste sorting.

1. Введение

На рынке в настоящий момент представлены 2 основных типа комплексов по сортировке твердых бытовых отходов: автоматизи­рованные и с использованием ручной сортировки. Разделение на автоматизированные и ручные здесь условное, т. к. в обоих случаях используется ручной труд, но в разных масштабах. Главное отличие – использование ручной сортировки на этапе отбора полезных фракций (бумага/картон, пластик, дерево, текстиль, стекло, металлы), которые могут подвергаться вторичной переработке и представляют ценность с точки зрения получения прибыли и возможности построения бизнеса в сфере сортировки твердых бытовых отходов.

В настоящее время в области роботизированной сортировки сильно продвинулась финская компания ZenRobotics. Эта компания представила систему повторной переработки, которая автоматически сортирует отходы строительства и сноса зданий.

Представленные на рынке линии сортировки имеют идентичную конструкцию: транспортерная лента, на которую подаются распределен­ные в один слой отходы. Над лентой установлена оптическая система, осуществляющая распознавание веществ, из которых состоят элементы отходов. В конце транспортерной ленты установлены воздушные сопла, перемещающие распознанные элементы отходов в разные емкости при помощи потока сжатого воздуха.

Однако у всех подобных систем есть общий недостаток – необхо­димость предварительно дробить поступающие отходы, что повышает количество мелких, несортируемых элементов.

Применение робототехнических манипуляторов позволит сорти­ровать отходы без необходимости их дробления, так как манипулятор, в отличие от пневматической системы, имеет значительно более высокую грузоподъемность при схожей производительности. Целью данной работы является разработка алгоритма распознавания типов материалов для последующей реализации в составе вновь разрабаты­ваемого роботизированного сортировочного узла.

1.1. Описание проблемы

В общем случае оптическая спектрометрия в ближней инфра­красной области основана на использовании излучения с длиной волны от 700 нм до 2500 нм. Однако для задач сортировки отходов этот диапазон ограничивают от 1000 нм до 2000 нм. Молярный коэффициент поглощения вещества для указанных длин волн очень низкий, что обес­печивает преимущество использования данного диапазона – высокую проникающую способность излучения. Как следствие, ИК-спектрометрия может быть использована для определения состава вещества без его специальной подготовки.

В качестве излучателя применяются галогеновые лампы накали­вания или светодиоды, обеспечивающие значительно больший срок службы. В качестве детектирующего приемника используются ПЗС-матрицы и детекторы на основе арсенида галлия-индия.

В данной области наибольшей популярностью пользуется метод спектроскопии. Спектроскопия – наука о взаимодействии электро­магнитного излучения с различными веществами. В этом методе можно выделить несколько основных направлений:

1) оптическая спектроскопия (ОС);

2) инфракрасная спектроскопия (ИКС);

3) ультрафиолетовая спектроскопия (УФС);

4) терагерцовая спектроскопия (ТГцС);

При прохождении инфракрасного излучения через вещество происходит возбуждение молекул. При этом наблюдается понижение интенсивности света, прошедшего через данный объект. Поглощение происходит не во всем спектре облучающего излучения, а только лишь при частотах, энергия которых соответствует энергиям возбуждения колебаний в молекулах. Следовательно, частоты максимального погло­щения ИК-излучения свидетельствуют о наличии в молекулах образца соответствующих функциональных групп.

В статье [1] представлено исследование полимеров в ведущих университетах Великобритании при помощи ИК- и УФ-спектрометрии.

В работе [2] рассмотрена ИК-спектроскопия биологических жидкостей и тканей для выявления изменений в их составе.

В работе [3] авторами представлен комплексный алгоритм клас­сификации углеводородов на основе использования разложения по методу главных компонент в качестве входных данных для нейронной сети на основе радиальных базисных функций, показана точность классификации до 95 %.

В статье [6] авторами была исследована и экспериментально проверена система гибридного датчика для точного определения марки металла в падающем потоке твердых частиц отходов. Система включает инфракрасный и электромагнитный блок вокруг центральной трубки и подсчитывает как общее количество частиц, так и только метал­лические частицы.

Метод частичных наименьших квадратов [4; 9] давно применяется в математической статистике при вычислении модели регрессии при вторичной обработке данных, полученных с использованием метода главных компонент.

При помощи генетических алгоритмов [5] возможно выделение набора признаков (длин волн) для оптимального разделения классов на графике разложения сигнала по главным компонентам.

Повышение устойчивости работы алгоритма распознавания спектра в ближней инфракрасной зоне может быть достигнуто [7] предварительной цифровой обработкой измеренного сигнала для коррекции рассеяния.

В зависимости от количества типов сортируемого пластика может быть использован простейший подход [8] (сортировка ПЭТ (PET) и ПВХ (PVC)) на основе соотношения коэффициентов поглощения в узкой области спектра.

При использовании нейронной сети прямого распространения [10] получена точность распознавания типов пластиков до 95%, распозна­вания не пластиковых материалов – до 80 %. В работе также проводились исследования влияния влажности и температуры на стабильность работы алгоритма.

При спектральной обработке сигналов высокое быстродействие может быть достигнуто за счет сокращения размерности исходных данных, так, оптимальные диапазоны спектра могут быть вычислены с использованием генетических алгоритмов [11].

Нейронная сеть на основе алгоритма адаптивного резонанса [12] показала эффективную работу при классификации нескольких типов пластиков в случае, если границы классов ярко выражены. Для сильно размытых классов ее эффективность оказалась недостаточной.

2. Методика

Для распознавания материала объекта воспользуемся спектро­скопией в ближней ИК-области. Инфракрасная область спектра подразделяется на несколько диапазонов:

1)   область 0,8-2 мкм – ближняя инфракрасная область;

2)   область 2-40 мкм – средняя (фундаментальная) инфракрасная область;

3)   область до 200 мкм – дальняя инфракрасная область.

Поскольку в ближней инфракрасной области наиболее мощное излучение в инфракрасном диапазоне, то этот метод подходит для анализа сложных органических молекул. Источником излучения обычно служит галогенная лампа с вольфрамовой нитью.

Галогенная лампа генерирует полихроматический спектр излучения, которое превращается в монохроматическое излучение одной или нескольких длин волн с использованием вращающегося сменного свето­фильтра. Монохроматическое излучение направляется на поверхность образца с помощью плоского зеркала, попадает на образец, молекулы которого начинают колебаться на определенных частотах и поглощают часть света. Другая часть света отражается. Отраженное излучение собирается параболическим зеркалом, которое перенаправляет его на фотодетектор. Обнаруженное излучение переводится детектором в пропорциональный электрический сигнал, после обработки которого выдаются данные о спектральных характеристиках материалов.

После получения спектра детектируемого объекта проводится первоначальная фильтрация КИХ-фильтром методом скользящего среднего и определения экстремума. Длина волны, соответствующая экстремуму спектральной плотности отраженного сигнала, соответствует определенному виду материала.

2.1. Описание спектрометра

В качестве спектрометра в данной работе использован малогабарит­ный спектрометр DLPNIRnano, производства компании Texas Instruments. В отличие от множества других спектрометров, данная модель построена не на линейном, а на матричном детекторе, т. е. на выходе сенсора полу­чается двумерная картинка. Детектор имеет высокую чувствительность в диапазоне от 900 нм до 1700 нм.

Измерение спектра осуществлялось через приложение DLP NIRscan Nano GUI с последующим сохранением в файлы формата csv (Comma-Separated Values).

2.2. Исходные данные для анализа

Для анализа спектральной плотности отраженного сигнала в ближней инфракрасной зоне были отобраны пробы различных материалов из пластика (HDPE, PP, PET, PS, PVC), бумаги/картона, древесины и текстильных изделий (таблица 1).

Таблица 1.

Пробы

Экспериментальные данные подготовлены посредством произ­ведения измерений отраженного сигнала в ближней инфракрасной зоне при помощи спектрометра DLPNIRNANO компании Texas Instruments.

Для обеспечения надежности измерений производилось много­кратное облучение (до 6 раз) каждого отобранного образца с последую­щим усреднением результата. На рисунке 1 представлены спектральные плотности отраженного сигнала при облучении пробы на различном удалении от приемной головки спектрометра.

Исходными данными для разработки алгоритма распознавания типов материалов является нормализованная спектральная плотность для различных видов материалов (рисунок 1), полученная на основе проведения экспериментов над заранее подготовленными пробами.

Рисунок 1. Нормализованная спектральная плотность поглощения для различных видов материалов

Рисунок 2. Зависимость спектральной плотности поглощения для различных образцов HDPE-пластика при одинаковом удалении от оптической системы БИК-спектрометра

2.3. Определение экстремумов спектральной плотности

Для снижения размера исходной выборки целесообразно произвести отбор участков спектра, обладающих характерными признаками. В случае ближней инфракрасной зоны таковыми признаками являются области (частоты) спектра с наибольшим поглощением, что характерно при детектировании химического состава исследуемого материала.

Вычислим первую и вторую производную по частоте для исходного спектра отраженного сигнала и построим их графики совместно с исходным сигналом (рисунок 3).

Рисунок 3. Предварительный этап работы пикового детектора

Как видно из графика, для области локального экстремума сигнала характерны следующие зависимости:

1)   Изменение знака первой производной (пересечение с нулем),

2)   Пересечение первой производной с нулем сверху характерно для максимума, снизу – для минимума

Рисунок 4. Результат работы пикового детектора

2.4. Выделение информативных признаков

В качестве аргументов для классификации материалов при помощи метода главных компонент воспользуемся значениями частот, соответ­ствующих найденным экстремумам спектральной плотности поглощения в ближней инфракрасной зоне.

Как видно из анализа полученных спектральных плотностей отра­женного сигнала, для всех материалов характерно наличие двух частот и областей вокруг них с характерными отличительными признаками. Однако в силу неоднородности рельефа образцов сканирование произ­водится под произвольным углом падения излучателя, в спектральной плотности присутствуют шумы (ложные экстремумы), наличие которых существенно осложняет дальнейшую обработку и увеличивает число ложных срабатываний пикового детектора.

Для устранения шумов воспользуемся фильтром с использованием скользящего среднего, значение выхода которого определяется следующим соотношением:

                                                                                                      (1)

где:   t – время

n – размер скользящего окна

x – исходный сигнал

Размер скользящего окна также формирует линию задержки (рисунок 5), поэтому для сохранения привязки исходных данных к значениям частоты необходимо сдвинуть полученный сигнал на величину размера скользящего окна.

Рисунок 5. Фильтрация сигналов при помощи скользящего окна

В результате работы пикового детектора для спектральных плот­ностей отраженных сигналов отобранных образцов определены длины волн излучения, соответствующие экстремумам поглощения материала, найденные точки могут быть использованы для сокращения выборки при дальнейшей обработке по методу главных компонент (таблица 2).

Таблица 2.

Ключевые точки спектра

2.5. Распознавание при помощи искусственных нейронных сетей

Воспользуемся аппаратом искусственных нейронных сетей для распознавания сигналов. В качестве архитектуры нейронной сети используется сверточная нейронная сеть со следующими параметрами:

·      Количество слоев – 5

·      Количество входов – 227

·      Количество выходов – 8

·      Количество нейронов – 50

Проведем также исследования влияния количества нейронов скрытого слоя на точность распознавания.

3. Результаты

В результате работы блока распознавания на основе использования нейронных сетей получена следующая матрица ошибок для 50 нейронов скрытого слоя (рисунок 6).

Рисунок 6. Матрица ошибок

Таблица 3.

Вероятность распознавания различных материалов

В ходе экспериментов для определения оптимальных параметров нейронной сети была проведена оценка влияния размерности скрытого слоя (рисунок 8).

Рисунок 7. Влияние размерности скрытого слоя на общую точность распознавания

4. Заключение

Как показали результаты анализа спектральной плотности отраженного сигнала, использованный сенсор обладает достаточной чувствительностью для анализа и распознавания параметров по второй гармонике отраженного сигнала.

Разработанный алгоритм показал точность распознавания 94,12% по критерию «пластик – не пластик», при этом достаточно 10 нейронов в скрытом слое, что является хорошим показателем для обеспечения высокой производительности вычислений в 0.68 мс при использовании процессора Intel Core i7-6700HQ. Вероятность распознавания различных типов пластиков представлена в таблице 3. Как видно из матрицы ошибок, точность распознавания отдельных типов пластиков составляет более 90 %, а вероятность выделения ПВХ (PVC) – 100 %, что положи­тельно сказывается на безопасности дальнейшей вторичной переработки.

Разработанный алгоритм классификации материала предназначен для обработки данных комбинированной системы машинного зрения в составе программно-технических решений в составе экспериментального образца роботизированного сортировочного узла (ЭО РСУ). Разра­батываемый роботизированный сортировочный узел предназначен для дальнейшего применения в задачах автоматизации процессов проведения сортировочных операций с объектами, имеющими несколько (более одной) характеристик (свойств объектов, значимых для их классификации и/или проведения сортировочной операции). В дальнейшем разрабо­танные решения должны найти свое применение, прежде всего при проведении сортировочных операций с компонентами твердых бытовых отходов на стадии технологического цикла мусоросортировки по отбору полезных фракций.