ТЕХНОЛОГИЧЕСКИЕ ОГРАНИЧЕНИЯ ПРИМЕНЕНИЯ ЯЗЫКОВЫХ МОДЕЛЕЙ В ЗАДАЧАХ ФИНАНСОВОГО АНАЛИЗА

Аннотация. В теоретико-обзорном формате рассмотрен корпус технологических ограничений, возникающих при попытке внедрения больших языковых моделей (LLM) в контур финансово-аналитических задач применительно к отчётности российских малых и средних предприятий. По материалам опубликованных исследований выделены пять технологических барьеров — численные галлюцинации, деградация внимания на длинных контекстах, стоимость масштабирования вывода, недетерминированность интерпретаций и потеря релевантности векторного поиска на русскоязычной бухгалтерской лексике — а также сопряжённый с ними регуляторный контур. Материал литературы указывает на необходимость гибридизации LLM-архитектуры с классическими коэффициентными методами. Предложены направления снятия ограничений: дообучение эмбеддера на предметной выборке, введение слоя детерминированной верификации извлечённых числовых значений, построение аудируемого журнала инференса. Систематическая эмпирическая проверка перечисленных гипотез — предмет последующей исследовательской работы.

Ключевые слова: большие языковые модели, LLM, финансовый анализ, RAG, галлюцинации, РСБУ, векторные эмбеддинги, малый и средний бизнес, воспроизводимость, ограничения.

Введение

Разворот индустрии финансовых технологий в сторону генеративных архитектур происходит на фоне недостаточной теоретической проработанности вопроса об их технологических пределах. Литература, посвящённая прикладным успехам таких моделей, значительно опережает литературу об их архитектурных ограничениях.

Массовое внедрение больших языковых моделей в контур анализа бухгалтерской отчётности упирается в противоречие фундаментального характера. Модель, спроектированная под порождение связного текста, применяется для оперирования числами со строгой семантикой — там, где допуск на погрешность формально равен нулю. Обзор Y. Bang и соавторов [4] фиксирует падение точности моделей семейства GPT на границе перехода от нарратива к структурированной таблице. В контексте подхода Дж. Дэвлина и соавторов [7] допущение вероятностного правдоподобия признавалось приемлемым для широкого класса задач обработки естественного языка — финансовый анализ подобного допущения не предусматривает. Различие между двумя близкими значениями выручки — например, 4 850 и 4 950 тыс. руб. — для модели, оптимизированной по правдоподобию текста, различимо слабо; для конечного же пользователя расхождение в два процента способно изменить интерпретацию финансового состояния предприятия. Окончательного ответа на вопрос о снятии этого противоречия через доменное дообучение литература пока не даёт.

Численные галлюцинации как атрибут архитектуры

Феномен галлюцинирования — не побочный эффект, устранимый локальной инженерной правкой. Он вытекает из самого механизма авторегрессионной генерации: следующий токен подбирается по распределению условной вероятности над словарём, и цифры в этом смысле мало отличаются от прилагательных. Ограничителя нет.

Уязвимость LLM в задачах извлечения численных данных из табличной отчётности задокументирована в серии публикаций последних лет. Обзор Y. Bang и соавторов [4] фиксирует падение точности моделей семейства GPT скачком — на границе перехода от свободнотекстовых фактов к структурированным численным сущностям. Наиболее уязвима работа с многозначными числами, где разряды отделены пробелом, а также с отрицательными значениями в скобках — форматами, характерными именно для российских документов, оформленных по РСБУ. Литература фиксирует и обратную симметрию: снижение частоты галлюцинаций достигается только ценой роста задержки ответа и утраты свободы формулировок. Возникает трейд-офф, не разрешимый инженерными настройками.

Ограничение контекстного окна и деградация внимания

Другое ограничение носит физический характер — предельный объём одновременно обрабатываемого документа. Годовой отчётный пакет средней российской компании (Форма 1, Форма 2, Форма 4 плюс пояснительная записка) после токенизации через BPE занимает объём, сопоставимый с полным контекстным окном большинства открытых моделей. Расширение окна до сотен тысяч токенов, как показывают Liu N.F. и соавторы в работе «Lost in the Middle» [1], проблему не снимает: при равномерном распределении «якорных» фактов вдоль длинного контекста точность их извлечения падает нелинейно по мере удаления фрагмента от начала окна. В контексте работы А. Васвани и соавторов [3], заложившей трансформерную архитектуру, эффект — не эмпирическое наблюдение, а математическое следствие softmax-нормализации. Инженерных обходов, устраняющих его без изменения самой архитектуры, литература на данный момент не предлагает.

Стоимость масштабирования вывода

Действующие тарифы облачных провайдеров языковых моделей [6] в сочетании с типовой длиной отчётного пакета формируют статью операционных расходов, сопоставимую с самим чеком за услугу автоматизированного анализа в сегменте МСП. Локальный запуск моделей класса 7B–70B переносит расходы в капитальные затраты: GPU-инфраструктура стоит сотни тысяч рублей единовременно. Квантизация весов до 4-битного представления кратно снижает требования к памяти, однако ухудшает поведение моделей на численных задачах — эффект, отмеченный в обзоре [4]. Возникает парадоксальная ситуация: экономически оправданное решение технически ухудшает результат, а технически корректное — экономически недоступно большинству стартующих проектов.

Потеря релевантности векторного поиска на доменной лексике

Архитектура RAG (Retrieval-Augmented Generation), впервые формализованная в работе P. Lewis и соавторов [5], частично снимает нагрузку с параметрической памяти модели: релевантные фрагменты проверенных источников подмешиваются непосредственно в контекст запроса. Эффективность механизма зависит от качества векторных представлений на этапе поиска. Эмбеддинги, обученные на общедоменных корпусах, теряют разрешающую способность на терминологии российского бухгалтерского учёта: коды строк 1100–4500, аббревиатуры «ДДС», «БДР», «БДДС», обороты со специальным юридическим значением остаются для модели редкими токенами. Мультиязычные модели-эмбеддеры, в частности семейство multilingual-e5 [8], без доменной адаптации демонстрируют качество поиска, заметно уступающее общедоменным результатам. Дообучение эмбеддера на предметной выборке из десятков тысяч пар «запрос — релевантный документ» устраняет разрыв, но в условиях магистерского исследования такой объём труднодостижим. Точечный рост качества после доменной адаптации сопровождается снижением робастности при выходе за пределы обучающего распределения — эффект, известный как out-of-distribution generalization gap.

Недетерминированность и невоспроизводимость вывода

Недетерминированность инференса языковой модели порождает проблему воспроизводимости результата анализа. Одна и та же отчётность, поданная на вход дважды, генерирует две редакции интерпретации с несовпадающими формулировками рисков — что неприемлемо для аудита и защиты решений перед контролирующими органами. Установка температуры генерации в ноль частично снижает разброс, однако не устраняет его: недетерминированность возникает и на уровне порядка суммирования в параллельных вычислениях с плавающей точкой. Существующие протоколы «воспроизводимого инференса» требуют одновременной фиксации версии модели, хэша весов, порядка операций и seed — набора условий, редко выдерживаемого в промышленной эксплуатации и нередко не поддерживаемого самим провайдером API.

Регуляторный контур

Технологический контур ограничений замыкается регуляторным. Национальная стратегия развития искусственного интеллекта на период до 2030 года [2] задаёт общий контур допустимости автоматизированных систем поддержки решений, однако не содержит критериев верификации вывода языковых моделей применительно к финансовым задачам. Практика заполнила эту лакуну самостоятельно: вывод системы, снабжённый оговоркой «результат имеет информационно-справочный характер», формально выпадает из-под определения «финансовой консультации», однако для конечного пользователя воспринимается именно как таковая. Возникает асимметрия между регуляторным статусом документа и его функциональной ролью в принятии решения — не в пользу пользователя.

Обобщение

Проведённый анализ фиксирует пять технологических ограничений и сопряжённый с ними регуляторный контур. Численные галлюцинации; деградация внимания на длинных контекстах; стоимость масштабирования, обгоняющая маржу; недетерминированность вывода; потеря релевантности векторного поиска на русскоязычной бухгалтерской лексике — в совокупности они превращают LLM-подход в инструмент, требующий обязательной гибридизации с классическими коэффициентными методами. Автономное применение языковой модели в качестве конечного аналитического ядра на данном этапе не оправдано.

Литература оставляет три направления, по которым перечисленные ограничения могут быть частично сняты. Первое — дообучение эмбеддера на русскоязычной финансовой выборке; такое дообучение восстанавливает разрешающую способность векторного поиска. Второе — введение слоя детерминированной верификации численных извлечений, работающего в паре с LLM и отсекающего расхождения с исходной таблицей на этапе постобработки. Третье направление, представляющееся ключевым для регуляторной защиты, — построение аудируемого журнала инференса с фиксацией версии модели, seed и порядка операций. Практическая проработка перечисленных направлений составляет предмет отдельного исследования; для формирования обучающих выборок применимы открытые данные Росстата [9].