Применение нейронных сетей для анализа тональности текста

В настоящее время приложения, использующие механизмы автоматической обработки и анализа текста, стали практически неотъемлемой частью нашей жизни. Интеллектуальным анализом текста называют направление в искусственном интеллекте, которое основывается на применении методов и приемов обработки естественного языка и машинного обучения.

Важной задачей обработки естественного языка является анализ тональности текста. Сегодня анализ тональности текста находит свое применение в разных областях социологии, маркетинга, журналистики, медицины и психологии, а также криминалистики.

Тональность текста определяют три фактора: субъект тональности, тональная оценка и объект тональности. Субъектом тональности является автор текста, объектом – предмет, о котором высказывается мнение. Тональная оценка может быть представлена в бинарном, тернарном или более детальном виде.

Использование аппарата нейронных сетей является одним из наиболее распространенных методов анализа текста.

Искусственная нейронная сеть ­­–­ это система для обработки и анализа данных, представляющая собой математическую структуру, имитирующую некоторые аспекты работы человеческого мозга. Главной особенностью и преимуществом каждой нейронной сети является способность к обучению, то есть получать результат на основании данных, которые не были представлены в процессе обучения, при котором сеть выявляет зависимости между входными и выходными данными.

Сверточная нейронная сеть – особый вид нейронных сетей прямого распространения (все связи направлены строго от входных нейронов к выходным). Сверточные сети позволяют специализировать нейронные сети для работы с данными, имеющими четко выраженную сеточную топологию, и хорошо масштабировать такие модели к задачам очень большого размера [1, с. 315].

Идея сверточных нейронных сетей заключается в чередовании сверточных, субдискретизирующих и полносвязных слоев.

Слой свертки – основной блок нейронной сети. В этом слое нейрон соединен лишь с ограниченным числом нейронов предыдущего слоя. Выходные сигналы таких нейронов объединяются в карты признаков. Слой свёртки включает в себя для каждого канала свой фильтр, ядро свёртки (небольшая матрица) которого обрабатывает предыдущий слой по фрагментам (суммируя результаты матричного произведения для каждого фрагмента).

Субдискретизирующий слой (пулинга) – слой, выполняющий уменьшение размерности. Таким образом извлекается наиболее важная информация для каждой свертки независимо от её положения в тексте.

Полносвязный слой – слой, в котором каждый нейрон связан со всеми нейронами предыдущего слоя, причем каждая связь имеет свой весовой коэффициент.

Для успешного обучения нейронной сети необходима предварительная нормализация данных. Перед работой текст необходимо разбить на токены – в самом простом случае это просто слова.

После токенизации входные данные должны пройти предварительную обработку. Целью такого процесса является придание тексту более строгой формы.

Для подачи данных на вход сети слова необходимо преобразовать в векторы – численные представления слов, сохраняющие семантическую связь между ними.

В качестве метода векторного представления слов был использован Bag of Words (мешок слов), который представляет собой модель текстов на натуральном языке, в которой каждый документ или текст выглядит как неупорядоченный набор слов без сведений о связях между ними.

Входные данные сети обрабатываются слоями свертки. Далее карта признаков, полученная на выходе каждого фильтра, обрабатывается слоем субдискретизации с определенной функцией уплотнения, т.е. уменьшает размерность сформированной карты признаков. После этого карты признаков, рассчитанные на выходе каждого слоя субдискретизации, объединяются в один общий вектор признаков. Он подаётся на вход скрытому полносвязному слою, а потом поступает на выходной слой нейронной сети, где и рассчитываются итоговые метки классов.

На основе проведенных экспериментов была рассчитана точность определения тональности по следующей формуле:

,

где  – точность определения тональности,  – число экспериментов с правильно определенными тональностями,  – общее число экспериментов.

В таблице 1 представлены результаты исследования зависимости точности определения тональности от числа эпох обучения (итераций по всем примерам из обучающего множества).

Таблица 1

Зависимость точности определения тональности текста от числа эпох

Из таблицы видно, что точность распознавания увеличивается при увеличении числа эпох.

По результатам проведенных исследований можно сделать вывод о хороших классификационных возможностях сверточной нейронной сети. Процент верно распознанных тональностей при различных конфигурациях и параметрах сети и параметрах обучения составляет 91%.