НЕЙРОСЕТЕВЫЕ ГАЛЛЮЦИНАЦИИ: ПРИРОДА ЯВЛЕНИЯ, ПОСЛЕДСТВИЯ И МЕТОДЫ СНИЖЕНИЯ РИСКОВ

NEURAL NETWORK HALLUCINATIONS: NATURE OF THE PHENOMENON, CONSEQUENCES AND RISK MITIGATION METHODS

Ключевые слова: искусственный интеллект, большие языковые модели, галлюцинации, достоверность информации, генерация с дополнением поиском, верификация.

Keywords: artificial intelligence, large language models, hallucinations, information reliability, retrieval-augmented generation, verification.

Большие языковые модели (БЯМ) используются для подготовки текстов, анализа документов, программирования и консультирования пользователей. Национальная стратегия развития искусственного интеллекта определяет развитие этой области как важное направление технологической политики России [5]. Вместе с расширением применения генеративных систем возрастает значение достоверности выдаваемых ими сведений, особенно в профессиональной среде, где ошибка может повлиять на решение или привести к финансовым и репутационным потерям.

Под нейросетевой галлюцинацией понимается ложная, неточная или несуществующая информация, представленная в убедительной форме. Модель может назвать несуществующую научную публикацию, привести неверную дату, исказить содержание документа или сформулировать неподтверждённый вывод. Термин является метафорой: система не воспринимает несуществующие объекты, а генерирует последовательность слов, которая статистически подходит к запросу. Исследователи отмечают, что такая ошибка связана с проблемой эпистемической надёжности: отсутствие намерения обмануть не означает, что ответ достоверен [7, с. 93–98].

Для анализа удобно выделить несколько проявлений галлюцинаций. Фактические ошибки касаются имён, дат, чисел, нормативных требований и характеристик объектов. Ошибки источников возникают, когда модель приводит фиктивную публикацию или искажает библиографические данные реальной работы. Ошибки соответствия контексту появляются при пересказе документа, если система добавляет отсутствующие сведения, меняет числа или не соблюдает инструкцию. Отдельную опасность представляют внутренние противоречия, например когда итог расчёта не совпадает с указанными промежуточными значениями. В прикладных задачах эти типы могут сочетаться.

Главная причина галлюцинаций связана с принципом генерации. Модель последовательно оценивает вероятные следующие фрагменты текста, опираясь на запрос и ранее созданный контекст. Её базовая задача - сформировать связное продолжение, а не самостоятельно установить истинность каждого утверждения. Поэтому грамматически правильный и уверенный ответ не обязательно подтверждён фактами. Если нужных сведений недостаточно, система может заполнить пробел вероятным, но неверным содержанием.

Существенную роль играют данные обучения. Они могут содержать ошибки, противоречия, устаревшие сведения или недостаточно примеров по редким вопросам. Дополнительный риск возникает из-за ограниченности знаний во времени: модель может воспроизвести значение показателя, актуальное ранее, но уже изменившееся. В исследовании российских авторов отмечается, что при отсутствии достаточных сведений языковые модели способны создавать ответы, похожие на экспертные, но не обеспечивать надёжного подтверждения сообщаемых фактов [4, с. 85–97]. Следовательно, вопросы о действующих ставках, сроках, правилах и последних событиях необходимо проверять по актуальным первоисточникам.

Особенно наглядно проблема проявляется при подготовке списка литературы. Библиографическая запись имеет предсказуемую структуру: автор, название, журнал, год, страницы и цифровой идентификатор. Модель может сгенерировать правдоподобное сочетание этих элементов, хотя публикация не существует или указанные реквизиты ей не соответствуют. Поэтому перед включением источника в научную работу следует найти запись в научной электронной библиотеке или на сайте журнала, сверить авторов и название, проверить DOI и, по возможности, открыть полный текст. Само по себе уверенное описание источника моделью доказательством его существования не является.

Уровень риска определяется тяжестью последствий и возможностью обнаружить ошибку. В учебной работе вымышленная ссылка снижает качество исследования; в финансовой аналитике неверное значение показателя искажает расчёты; при работе с нормативными актами опасны устаревшие нормы. При автоматизированной обработке данных ошибка также может перейти в последующие вычисления, что показывает пример оцифровки архивных наблюдений [2, с. 1177–1206]. Чем выше цена ошибки и сложнее её обнаружить, тем строже должен быть контроль.

Генерация с дополнением поиском (RAG) снижает риск ошибок за счёт поиска документов во внешней базе и формирования ответа с опорой на найденный контекст. Это помогает использовать актуальные сведения без обязательного переобучения модели [4, с. 85–97]. Однако качество результата зависит от полноты поиска и релевантности документов, поэтому проверять нужно как ответ, так и его источники.

Другая группа методов связана с автоматическим обнаружением сомнительных ответов. В российском исследовании рассматривается детекция галлюцинаций по внутренним состояниям больших языковых моделей, включая анализ карт внимания и скрытых состояний [1, с. 1282–1305]. Подобные подходы могут помогать отмечать фрагменты, которые требуют дополнительной проверки. Их практическая эффективность, однако, зависит от типа задачи, данных для тестирования и способности метода переноситься на другие модели. Автоматический детектор следует рассматривать как дополнительный сигнал, а не как окончательное подтверждение достоверности.

Риск также снижает ограничение области применения: ассистента, работающего с утверждённой базой документов, проще контролировать, чем универсальную систему. Полезно требовать указания источников и признания недостатка данных. Повторная постановка вопроса может выявить нестабильность ответа, однако совпадение нескольких ответов одной модели не является независимым подтверждением: система способна повторять одну ошибку.

Наиболее важным остаётся организационный контроль. Числа, даты, имена, цитаты, правовые нормы и библиографические записи следует сверять с первоисточниками. В ответственных процессах целесообразно разделять подготовку материала и его проверку, фиксировать использование генеративного ИИ и назначать человека, отвечающего за итоговый результат. ГОСТ Р 59276-2020 описывает общие положения по обеспечению доверия к системам искусственного интеллекта и подчёркивает значимость оценки надёжности таких решений [3]. Для финансового рынка регуляторный подход также предполагает внимание к рискам применения искусственного интеллекта и характеру возможных последствий [6].

Таким образом, нейросетевые галлюцинации являются следствием особенностей генерации и ограничений данных, а не только случайными сбоями. Полностью исключить их одной технической мерой нельзя. Наиболее обоснованный подход объединяет поиск по проверенным источникам, автоматическое выявление сомнительных фрагментов, ограничение области применения и человеческую верификацию.

Список литературы

1. Айсин, Т.Р. Детекция галлюцинаций на основе внутренних состояний больших языковых моделей / Т.Р. Айсин, Т.В. Шамардина // Электронные библиотеки. – 2025. – Т. 28, № 6. – С. 1282⁠–⁠1305. – DOI: 10.26907/1562-5419-2025-28-6-1282-1305.
2. Воробьев, А.В. Программное обеспечение для автоматизированного распознавания и оцифровки архивных данных оптических наблюдений полярных сияний / А.В. Воробьев, А.Н. Лапин, Г.Р. Воробьева // Информатика и автоматизация. – 2023. – Т. 22, № 5. – С. 1177⁠–⁠1206. – DOI: 10.15622/ia.22.5.8.
3. ГОСТ Р 59276-2020. Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения. – Москва: Стандартинформ, 2020.
4. Каширин, И.Ю. Формирование LLM-ориентированных ресурсов знаний на основе генерации дополненной информации // Вестник Рязанского государственного радиотехнического университета. – 2025. – № 94. – С. 85⁠–⁠97. – DOI: 10.21667/1995-4565-2025-94-85-97.
5. О развитии искусственного интеллекта в Российской Федерации: Указ Президента Российской Федерации от 10.10.2019 № 490 (в ред. Указа Президента Российской Федерации от 15.02.2024 № 124). – Текст: электронный // Официальный интернет-портал правовой информации. – URL: http://publication.pravo.gov.ru (дата обращения: 20.10.2026).
6. Применение искусственного интеллекта на финансовом рынке: доклад для общественных консультаций / Банк России. – Москва [Электронный ресурс]. – 2023. – URL: https://cbr.ru/Content/Document/File/156061/Consultation_Paper_03112023.pdf (дата обращения: 20.10.2026).
7. Шевченко, А.А. «Галлюцинации» ИИ как новая форма эпистемической ошибки // Respublica Literaria. – 2025. – Т. 6, № 4. – С. 93⁠–⁠98.