ПРОБЛЕМА «ГАЛЛЮЦИНАЦИЙ» ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ОБРАЗОВАТЕЛЬНЫХ ПРИЛОЖЕНИЯХ И СПОСОБЫ ЕЁ СНИЖЕНИЯ

Введение

Современные образовательные приложения всё чаще используют большие языковые модели (LLM) для генерации учебных заданий, объяснения материала и обратной связи об ошибках учащегося. Генеративный ИИ уже обсуждается как инструмент трансформации образования [3]. Главное преимущество такого подхода — персонализация и мгновенная реакция на ответ. Однако LLM склонны к «галлюцинациям»: они генерируют уверенно звучащие, но фактически или лингвистически неверные утверждения [1, 2, 4]. В образовании эта проблема критична, поскольку учащийся, как правило, не владеет материалом настолько, чтобы заметить ошибку, и неверное правило или ложное исправление может закрепиться в его знаниях. В приложениях для изучения иностранных языков риск усугубляется тем, что модель может выдумывать несуществующие грамматические правила, лексику и идиомы, а также ошибаться в ключах ответов. Целью данного исследования является систематизация видов галлюцинаций в обучающих приложениях и разработка многоуровневой схемы их снижения, пригодной для приложения по изучению иностранных языков.

Основная часть

Сформулирована задача обеспечения достоверности ИИ-генерации в обучающем приложении: необходимо минимизировать долю ответов модели, содержащих ошибки в заданиях, ключах ответов и объяснениях, при сохранении разнообразия заданий, приемлемой задержки ответа и стоимости запроса к модели.

Этап 1 (Классификация галлюцинаций): На основе обзорных материалов [1, 2, 4] и специфики языковых приложений выделены пять типов ошибок: (а) неверный ключ ответа или неоднозначное задание, допускающее несколько правильных вариантов; (б) выдуманные грамматические правила, слова и идиомы; (в) ложные исправления, при которых модель «исправляет» корректное предложение или не замечает реальную ошибку; (г) несоответствие задания заявленному уровню по шкале CEFR; (д) неверное объяснение при верном исправлении. Такая классификация позволяет подбирать метод защиты под конкретный тип ошибки.

Этап 2 (Методы снижения): Для снижения галлюцинаций рассмотрены четыре группы методов. Генерация с опорой на проверенную базу знаний (RAG) [2, 4] ограничивает модель учебными материалами, словарями и грамматическими справочниками. Структурированный вывод (например, в формате JSON) с программной валидацией проверяет формат задания, наличие ключа среди вариантов и принадлежность слов словарю. Проверка вторым проходом, в том числе независимой моделью или сравнением нескольких генераций [2], выявляет несогласованные ответы. Выборочный контроль преподавателем и возможность пользователя сообщить об ошибке [2, 4] замыкают цикл качества. Дополнительно снижают риск низкая температура генерации и разрешение модели отказаться от ответа при недостатке данных.

Схема многоуровневой защиты: Предложен итеративный конвейер, в котором запрос сначала обогащается контекстом из проверенной базы, затем модель формирует задание в структурированном виде, после чего результат проходит программную валидацию и проверку вторым проходом. Задание, не прошедшее проверку, отправляется на повторную генерацию или на ручную проверку, а прошедшее публикуется пользователю. Жалобы пользователей и решения преподавателя пополняют тестовый набор, что позволяет регулярно пересматривать пороги проверки и промпты.

Методика оценки и анализ результатов

Для количественной оценки предлагается сформировать набор не менее 100 учебных заданий и не менее 100 предложений с известными ошибками для выбранного иностранного языка на уровнях от A1 до B2 по шкале CEFR. Результаты работы каждой конфигурации приложения предлагается проверять независимо двумя экспертами-преподавателями с разрешением спорных случаев.

Сравниваются три конфигурации: базовая (один запрос к модели без защитных механизмов), конфигурация с RAG и программной валидацией и полная многоуровневая схема. В качестве метрик используются доля заданий с ошибкой в ключе или формулировке, доля ложных исправлений на корректных предложениях, полнота обнаружения реальных ошибок, а также среднее время ответа и стоимость генерации одного задания. Качественное сравнение рассмотренных методов приведено в таблице.

Таблица 1.

Сравнительная характеристика методов снижения галлюцинаций в обучающих приложениях

Заключение

В ходе исследования рассмотрена проблема галлюцинаций ИИ в образовательных приложениях и предложена многоуровневая схема их снижения применительно к приложению для изучения иностранных языков. На основе анализа литературы показано, что ни один метод по отдельности не устраняет проблему полностью, а достаточная надёжность достигается их комбинацией.

1. Предложена классификация галлюцинаций для языковых обучающих приложений: ошибки ключей и заданий, выдуманные правила и лексика, ложные исправления, несоответствие уровню CEFR, неверные объяснения.

2. Показано, что RAG, валидация структуры и проверка вторым проходом снижают разные типы ошибок и дополняют друг друга.

3. Предложена методика количественной оценки доли ошибочных заданий и ложных исправлений, позволяющая сравнить конфигурации приложения по качеству, задержке и стоимости.

Перспективы дальнейших исследований видятся в проведении описанного эксперимента на прототипе разрабатываемого приложения с привлечением преподавателей-экспертов, в сравнении различных моделей и промптов, а также в использовании журнала жалоб пользователей для непрерывного улучшения проверки качества.