Статья:

ПРОБЛЕМА КАТАСТРОФИЧЕСКОГО ЗАБЫВАНИЯ В НЕЙРОННЫХ СЕТЯХ: ОГРАНИЧЕНИЯ СУЩЕСТВУЮЩИХ МЕТОДОВ И ПУТИ ИХ ПРЕОДОЛЕНИЯ

Конференция: CCCLXIV Студенческая международная научно-практическая конференция «Молодежный научный форум»

Секция: Технические науки

Выходные данные
Костов Е.А. ПРОБЛЕМА КАТАСТРОФИЧЕСКОГО ЗАБЫВАНИЯ В НЕЙРОННЫХ СЕТЯХ: ОГРАНИЧЕНИЯ СУЩЕСТВУЮЩИХ МЕТОДОВ И ПУТИ ИХ ПРЕОДОЛЕНИЯ // Молодежный научный форум: электр. сб. ст. по мат. CCCLXIV междунар. студ. науч.-практ. конф. № 38(364). URL: https://nauchforum.ru/archive/MNF_interdisciplinarity/38(364).pdf (дата обращения: 21.11.2026)
Лауреаты определены. Конференция завершена
Эта статья набрала 0 голосов
Мне нравится
Дипломы
лауреатов
Сертификаты
участников
Дипломы
лауреатов
Сертификаты
участников
на печатьскачать .pdfподелиться

ПРОБЛЕМА КАТАСТРОФИЧЕСКОГО ЗАБЫВАНИЯ В НЕЙРОННЫХ СЕТЯХ: ОГРАНИЧЕНИЯ СУЩЕСТВУЮЩИХ МЕТОДОВ И ПУТИ ИХ ПРЕОДОЛЕНИЯ

Костов Егор Андреевич
студент, Уфимский филиал Федерального государственного образовательного бюджетного учреждения высшего образования «Финансовый университет при Правительстве Российской Федерации», г. Уфа, Российская Федерация

 

CATASTROPHIC FORGETTING IN NEURAL NETWORKS: LIMITATIONS OF EXISTING METHODS AND WAYS TO OVERCOME THEM

 

Kostov Egor Andreevich

Student, Ufa Branch of the Financial University under the Government of the Russian Federation, Ufa, Russian Federation

 

Аннотация. Цель статьи — проанализировать феномен катастрофического забывания в нейронных сетях, выявить ограничения существующих методов его предотвращения и систематизировать подходы, позволяющие сохранять ранее приобретённые знания при обучении новым задачам. Методология основана на анализе российских и зарубежных публикаций, а также на сопоставлении экспериментальных результатов, приведённых в этих работах. Показано, что при последовательном дообучении нейронные сети склонны утрачивать информацию о предыдущих задачах, что особенно критично для систем, функционирующих в условиях непрерывного поступления данных. Сделан вывод, что наиболее эффективным является сочетание методов регуляризации, повторного воспроизведения данных и архитектурных решений, изолирующих параметры для разных задач.

Abstract. Purpose. To analyse the phenomenon of catastrophic forgetting in neural networks, identify the limitations of existing methods for its prevention, and summarise approaches that allow retaining previously acquired knowledge when learning new tasks. Methods. Analysis of Russian and international publications and comparison of the experimental results they report. Results. It is shown that during sequential fine-tuning, neural networks tend to lose information about previous tasks, which is especially critical for systems operating under conditions of continuous data influx. Conclusion. The most effective approach is a combination of regularisation methods, data replay, and architectural solutions that isolate parameters for different tasks.

 

Ключевые слова: нейронные сети; глубокое обучение; катастрофическое забывание; непрерывное обучение; регуляризация; эластичное закрепление весов; повтор данных.

Keywords: neural networks; deep learning; catastrophic forgetting; continual learning; regularisation; elastic weight consolidation; data replay.

 

Обучение нейронной сети на одной задаче редко вызывает затруднения при наличии достаточного объёма данных. Однако на практике модели всё чаще сталкиваются с необходимостью последовательного освоения новых задач или адаптации к меняющимся условиям без потери ранее полученных навыков. В системах рекомендаций, автономных агентах, медицинских диагностических комплексах и промышленных системах мониторинга данные поступают постепенно, и модель должна обновлять свои знания, не разрушая уже усвоенные закономерности. Национальная стратегия развития искусственного интеллекта подчёркивает важность создания надёжных и адаптивных систем ИИ [1]. Именно здесь проявляется одна из фундаментальных проблем глубокого обучения — катастрофическое забывание.

Катастрофическим забыванием (catastrophic forgetting) называют резкую утрату моделью ранее приобретённых знаний при обучении на новой задаче или при поступлении новых данных. В отличие от человека, который способен интегрировать новую информацию в существующую картину мира, нейронная сеть при градиентном обновлении весов склонна перезаписывать те параметры, которые были важны для предыдущих задач, поскольку новые данные не содержат сигнала, указывающего на необходимость их сохранения. Проблема особенно остро стоит для больших языковых моделей и систем, работающих в режиме непрерывного обучения.

Первое и, пожалуй, главное ограничение существующих подходов связано с природой самого градиентного обучения. Когда сеть оптимизируется на новых данных, функция потерь учитывает только текущую задачу. Параметры, критически важные для старых задач, могут изменяться в произвольном направлении, если это снижает ошибку на новых примерах. Исследования показывают, что даже при дообучении крупных языковых моделей под конкретные нужды они нередко заметно теряют качество в прежних областях знаний [5]. Это означает, что простое дообучение не может рассматриваться как надёжный способ расширения возможностей модели без специальных мер защиты.

Второе ограничение касается методов регуляризации, которые пытаются ограничить изменение важных весов. Наиболее известным представителем этого класса является метод эластичного закрепления весов (EWC), предложенный Киркпатриком и соавторами. Идея состоит в том, чтобы штрафовать изменения тех параметров, которые имели высокую важность для предыдущих задач, оцениваемую через информационную матрицу Фишера. Сравнение EWC и более простого метода ослабления скоростей весов (WVA) показало, что EWC лучше подходит там, где требуется полное сохранение выученных навыков, тогда как WVA предпочтителен при жёстких вычислительных ограничениях или когда важнее переиспользовать представления, а не сохранять все навыки в точности [5]. Однако у EWC есть существенный недостаток: он требует хранения информации о важности параметров для каждой предыдущей задачи, что при большом числе задач приводит к росту затрат памяти. Кроме того, метод плохо масштабируется на модели с сотнями миллиардов параметров.

Третье ограничение связано с методами повторного воспроизведения данных (replay). Подход заключается в том, чтобы при обучении на новой задаче подмешивать к новым данным небольшую долю примеров из старых задач, напоминая модели о прежних закономерностях. Этот метод интуитивно понятен и часто демонстрирует высокую эффективность. Однако его практическая применимость ограничена необходимостью хранить часть исходных данных. Во многих сценариях — например, в медицинских приложениях или системах, работающих с персональными данными, — сохранение старых примеров может быть запрещено политиками конфиденциальности или законодательством. Кроме того, при непрерывном поступлении данных объём хранилища для повторения растёт неограниченно, если не применять специальные стратегии отбора наиболее репрезентативных примеров.

Четвёртое ограничение касается архитектурных методов, которые пытаются изолировать параметры для разных задач. Например, подход Progressive Neural Networks предполагает выделение отдельной подсети для каждой новой задачи с сохранением предыдущих подсетей в замороженном состоянии. Это гарантирует отсутствие забывания, но приводит к линейному росту числа параметров с каждой новой задачей, что делает метод непригодным для долгосрочного непрерывного обучения. Более сбалансированные архитектуры, такие как адаптеры или низкоранговые модификации (LoRA), позволяют добавлять небольшие обучаемые блоки для новых задач, сохраняя исходные веса неизменными. Однако при большом числе задач количество таких блоков также становится значительным, а их взаимодействие требует дополнительной координации.

Ограничения основных подходов и способы их преодоления сведены в таблице 1.

Таблица 1.

Ограничения методов борьбы с катастрофическим забыванием и способы их преодоления

Подход

Основное ограничение

Способ повышения эффективности

Регуляризация (EWC)

Рост затрат памяти при большом числе задач; плохая масштабируемость

Приближённая оценка важности параметров; разреженные представления

Повтор данных (Replay)

Необходимость хранения старых данных; конфликты с конфиденциальностью

Генерация псевдо-примеров; отбор наиболее репрезентативных образцов

Архитектурная изоляция

Линейный рост параметров; сложность координации

Параметрически-эффективные модули (адаптеры, LoRA); динамическая маршрутизация

Непрерывное обучение без забвения

Требует сложных мета-алгоритмов; нестабильность

Гибридные схемы, сочетающие регуляризацию и краткосрочный replay

 

Начинать борьбу с катастрофическим забыванием имеет смысл с оценки того, насколько строги требования к сохранению старых знаний. Если модель предназначена исключительно для целевой задачи и старые данные больше не актуальны, забывание не является проблемой. Если же система должна сохранять работоспособность в широком спектре задач, необходимо выбирать стратегию защиты. При наличии возможности хранить хотя бы небольшую часть старых данных наиболее простым и надёжным решением является их повторное использование при обучении. Если хранение данных невозможно, следует рассмотреть методы регуляризации, такие как EWC, или архитектурные решения на основе адаптеров.

Для больших языковых моделей, где полное дообучение сопряжено с высокими затратами, перспективным направлением является сочетание параметрически-эффективных методов с механизмами защиты от забывания. Например, при использовании LoRA можно замораживать исходные веса модели и обучать лишь небольшие низкоранговые матрицы для каждой новой задачи. Поскольку исходные веса остаются неизменными, базовая модель сохраняет все свои первоначальные способности, а новые задачи осваиваются через добавленные модули. Однако при этом возникает вопрос о том, как обеспечить согласованность между различными модулями и предотвратить интерференцию при их совместном использовании.

Отдельного внимания заслуживает проблема оценки забывания. Не существует единой метрики, которая позволяла бы количественно измерить степень утраты знаний. Разные исследователи используют разные наборы тестов и разные определения «сохранности» навыка. Это затрудняет сравнение методов и выработку рекомендаций. В некоторых работах предлагается оценивать забывание как разность между качеством модели на старой задаче сразу после её обучения и после обучения на последующих задачах. Однако такой подход чувствителен к выбору порядка задач и не учитывает возможность частичного сохранения знаний.

Итак, катастрофическое забывание остаётся одной из центральных нерешённых проблем нейронных сетей. Существующие методы — регуляризация, повтор данных, архитектурная изоляция — имеют существенные ограничения, и ни один из них не является универсальным. Наиболее обоснованным выглядит комбинированный подход, сочетающий предварительную оценку важности старых знаний, использование параметрически-эффективных модулей для новых задач и, где это допустимо, ограниченное повторное воспроизведение данных. Для больших моделей перспективно сочетание LoRA с механизмами динамической маршрутизации, позволяющими выбирать нужный модуль в зависимости от контекста. Дальнейшие исследования должны быть направлены на разработку более эффективных метрик забывания и на создание гибридных схем, способных обеспечить стабильное непрерывное обучение без неограниченного роста ресурсов.

 

Список литературы:
1. О развитии искусственного интеллекта в Российской Федерации : Указ Президента Российской Федерации от 10.10.2019 № 490 (в ред. Указа Президента Российской Федерации от 15.02.2024 № 124). – Текст : электронный // Официальный интернет-портал правовой информации. – URL: http://publication.pravo.gov.ru (дата обращения: 10.10.2026).
2. Куталев, А. А. Современные методы преодоления катастрофической забывчивости нейронных сетей и экспериментальная проверка вопросов их структуры / А. А. Куталев, А. А. Лапина // Компьютерные исследования и моделирование. – 2023. – Т. 15, № 1. – С. 45–56. – DOI 10.20537/2076-7633-2023-15-1-45-56.
3. Kirkpatrick, J. Overcoming catastrophic forgetting in neural networks / J. Kirkpatrick, R. Pascanu, N. Rabinowitz [et al.] // Proceedings of the National Academy of Sciences. – 2017. – Vol. 114, No. 13. – P. 3521–3526. – DOI 10.1073/pnas.1611835114.
4. Антонов, И. В. Применение больших языковых моделей для интеллектуального поиска и извлечения информации в корпоративных информационных системах / И. В. Антонов, Ю. В. Бруттан // Компьютерные исследования и моделирование. – 2025. – Т. 17, № 5. – С. 871–888. – DOI 10.20537/2076-7633-2025-17-5-871-888.
5. Hu, E. J. LoRA: Low-Rank Adaptation of Large Language Models / E. J. Hu, Y. Shen, P. Wallis [et al.] // International Conference on Learning Representations (ICLR). – 2022. – arXiv:2106.09685.
6. Татарникова, Т. М. Оптимизация моделей дистилляции знаний для языковых моделей / Т. М. Татарникова, Н. С. Мокрецов // Научно-технический вестник информационных технологий, механики и оптики. – 2025. – Т. 25, № 4. – С. 737–743. – DOI 10.17586/2226-1494-2025-25-4-737-743.