ПРОБЛЕМА ПЕРЕНОСА ЗНАНИЙ МЕЖДУ НЕЙРОННЫМИ СЕТЯМИ: ОГРАНИЧЕНИЯ СУЩЕСТВУЮЩИХ ПОДХОДОВ И МЕТОДЫ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ

KNOWLEDGE TRANSFER BETWEEN NEURAL NETWORKS: LIMITATIONS OF EXISTING APPROACHES AND METHODS FOR IMPROVING EFFICIENCY

Ключевые слова: нейронные сети, глубокое обучение, перенос обучения, дообучение, доменная адаптация, катастрофическое забывание, дистилляция знаний.

Keywords: neural networks, deep learning, transfer learning, fine-tuning, domain adaptation, catastrophic forgetting, knowledge distillation.

Обучение глубокой нейронной сети с нуля требует больших объёмов размеченных данных и значительных вычислительных ресурсов. В медицине, промышленности или геофизике собрать сотни тысяч размеченных примеров часто нереально, поэтому готовые обученные модели всё чаще переносят на новые задачи. Национальная стратегия развития искусственного интеллекта относит повышение доступности технологий ИИ, в том числе для организаций с ограниченными ресурсами, к приоритетным направлениям [4]. Перенос знаний делает глубокое обучение доступнее, но у него есть ограничения, которые нередко недооценивают.

Переносом обучения (transfer learning) называют использование данных или знаний, полученных в одной (исходной) области, для облегчения обучения в другой, целевой. Чаще всего встречаются четыре варианта. В первом обученная сеть служит экстрактором признаков: свёрточные слои замораживают, а заново обучают только классификатор. Во втором, при дообучении (fine-tuning), веса всей сети или её части продолжают меняться на данных целевой задачи. Третий вариант – доменная адаптация, когда задача остаётся прежней, а распределение входных данных меняется. В четвёртом, при дистилляции знаний, крупная модель-учитель передаёт знания компактной модели-ученику. Предобученные модели дают прочную основу, но при нехватке данных их эффективная адаптация требует целенаправленных методов. На практике при дообучении нижние слои обычно фиксируют, а верхние перенастраивают.

Первое и, пожалуй, главное ограничение – зависимость результата от сходства доменов. Если домены сильно различаются, знания источника могут не улучшить, а ухудшить качество на целевой задаче; такое явление называют отрицательным переносом, а одним из способов борьбы с ним считают предварительную оценку сходства областей. Показателен недавний пример с русскоязычными языковыми моделями. В сравнении 26 моделей в задаче ответов на вопросы по корпоративным документам дообучение на русскоязычных текстах дало неоднозначный результат: Saiga-Mistral-7B по всем показателям уступила исходной Mistral-7B, Vikhr-Gemma-2B-it заметно проиграла своему прототипу, а Kolibri-Vikhr-Mistral и Vikhr-Llama3.1-8B-it лишь немного улучшили показатели исходных моделей [1, с. 884–885]. Если же домены близки, а данных мало, выигрыш заметен: VGG-16, предобученная на ImageNet, при распознавании жестов по 2160 изображениям показала среднюю точность около 98,75 % против 93,98 % у сети, обученной с нуля [5, с. 159–169]. Архитектуры, созданные для ImageNet, применяют и в узких областях: классификация полярных сияний по снимкам камер всего неба на базе ResNet50 даёт точность 96 % [6].

Второе ограничение – катастрофическое забывание. При дообучении на новой задаче веса сети смещаются, и модель утрачивает часть прежних умений. Если нужна только целевая задача, это не страшно, но во многих системах старые навыки нужно сохранять, пока данные поступают постепенно. Проблема остаётся острой и для больших языковых моделей: при настройке под конкретные нужды они нередко заметно теряют качество в прежних областях знаний. Сравнение двух современных способов защиты от забывания, эластичного закрепления весов (EWC) и ослабления скоростей весов (WVA), показало, что EWC лучше подходит там, где нужно полностью сохранить выученные навыки, а WVA – при сильно ограниченных вычислительных ресурсах или когда важнее переиспользовать представления, чем точно сохранить все навыки [3].

Третье ограничение связано с данными целевой задачи. Перенос особенно полезен, когда размеченных данных в целевой области мало или нет совсем, но результат зависит и от качества этих данных. Если размеченных примеров почти нет, модель подстраивается под случайные особенности малой выборки и переобучается. Поэтому для дообучения при ограниченных данных выделяют отдельный набор методов: параметрически-эффективные, доменную и межъязыковую адаптацию, меры против катастрофического забывания.

Четвёртое ограничение – вычислительная стоимость. Полное дообучение требует GPU- или TPU-кластеров, а для моделей масштаба Llama 70B даже частичное дообучение может занимать недели или месяцы [2, с. 874]. Кроме того, для каждой новой задачи приходится хранить отдельную копию модели. У дистилляции своя трудность: если ученик намного меньше учителя, он не может воспроизвести его поведение полностью, а при генерации длинных последовательностей ошибки ученика накапливаются от шага к шагу [6]. Ограничения и пути их преодоления сведены в таблице 1.

Начинать имеет смысл с оценки того, насколько целевая область близка к исходной. Если сходство высокое, а данных мало, достаточно заморозить почти всю сеть и обучить только последние слои. Если данных больше или домен заметно отличается, размораживают больше слоёв, причём нижним слоям задают меньший темп обучения, чем верхним: общие признаки сохраняются, а специфичные успевают перестроиться. При очень низком сходстве стоит вообще отказаться от переноса, а перед его выбором полезно сравнить результат с обучением с нуля хотя бы на небольшой модели.

Когда различаются распределения данных, применяют доменную адаптацию. В последние годы активно развивается адаптация без доступа к исходным данным (source-free): при ней используют только обученную на источнике модель и неразмеченные данные целевой области, что важно при ограничениях конфиденциальности. Размеченные целевые данные для этого не нужны, поэтому метод удобен там, где разметка дорога.

Против катастрофического забывания используют регуляризацию и повтор данных. Метод эластичного закрепления весов (EWC) ограничивает изменение параметров, важных для прежней задачи [3]. Более простой вариант – подмешивать к новым данным небольшую долю примеров из старой задачи, хотя для этого придётся хранить часть прежних данных. Для больших языковых моделей разработаны и отдельные подходы непрерывного дообучения .

Проблему стоимости решают параметрически-эффективные методы дообучения (PEFT): в них изменяется лишь малая доля параметров модели, а остальные остаются замороженными . Самый известный пример – низкоранговая адаптация (LoRA): исходные веса замораживаются, а обучаются только небольшие матрицы низкого ранга, добавленные к слоям. Для каждой задачи достаточно хранить эти матрицы, а не копию всей модели. В одной из работ LoRA объединили с дистилляцией, при которой учитель вмешивается в генерацию ученика, если их распределения заметно расходятся [6]. По данным авторов, такое сочетание сохраняет около 97 % качества полного дообучения, сокращая число обучаемых параметров на 99 %, а затраты памяти GPU на 75 %.

Дистилляция полезна и сама по себе, когда нужно перенести возможности большой модели в компактную для работы на слабом оборудовании. Ученик учится имитировать выходное распределение учителя, то есть его «мягкие» метки. Разрыв в ёмкости остаётся одним из главных препятствий, а снизить его помогает контроль расхождения распределений учителя и ученика [6].

Итак, перенос знаний между нейронными сетями нельзя считать универсальным способом сократить затраты на обучение. Его эффективность определяется близостью задач, объёмом и качеством целевых данных и выбранной стратегией дообучения. Существующие подходы ограничены отрицательным переносом, катастрофическим забыванием, потребностью в разметке и высокой стоимостью работы с большими моделями, и ни один метод не снимает все эти ограничения сразу. Поэтому наиболее обоснованным выглядит сочетание предварительной оценки сходства доменов, послойной настройки темпа обучения, доменной адаптации, регуляризации против забывания, а для крупных моделей – LoRA и дистилляции знаний.

Список литературы

1. Антонов, И.В. Применение больших языковых моделей для интеллектуального поиска и извлечения информации в корпоративных информационных системах / И.В. Антонов, Ю.В. Бруттан // Компьютерные исследования и моделирование. – 2025. – Т. 17, № 5. – С. 871⁠–⁠888. – DOI: 10.20537/2076-7633-2025-17-5-871-888.
2. Воробьев, А.В. Подход к автоматической классификации полярных сияний по данным наблюдений камер всего неба / А.В. Воробьев, А.Н. Лапин, Г.Р. Воробьева // Геомагнетизм и аэрономия. – 2025. – Т. 65, № 5. – С. 728⁠–⁠738. – DOI: 10.7868/S3034502225050153.
3. Куталев, А.А. Современные методы преодоления катастрофической забывчивости нейронных сетей и экспериментальная проверка вопросов их структуры / А.А. Куталев, А.А. Лапина // Компьютерные исследования и моделирование. – 2023. – Т. 15, № 1. – С. 45⁠–⁠56. – DOI: 10.20537/2076-7633-2023-15-1-45-56.
4. О развитии искусственного интеллекта в Российской Федерации: Указ Президента Российской Федерации от 10.10.2019 № 490 (в ред. Указа Президента Российской Федерации от 15.02.2024 № 124). – Текст: электронный // Официальный интернет-портал правовой информации. – URL: http://publication.pravo.gov.ru (дата обращения: 10.10.2026).
5. Сатыбалдина, Д.Ж. Применение трансфера обучения нейронных сетей для классификации изображений / Д.Ж. Сатыбалдина, К.А. Калымова, Д.М. Сыдыков // Вестник КазНПУ им. Абая. Серия: Физико-математические науки. – 2023. – № 1 (81). – С. 159⁠–⁠169. – DOI: 10.51889/2959⁠–⁠5894.2023.81.1.018.
6. Татарникова, Т.М. Оптимизация моделей дистилляции знаний для языковых моделей / Т.М. Татарникова, Н.С. Мокрецов // Научно-технический вестник информационных технологий, механики и оптики. – 2025. – Т. 25, № 4. – С. 737⁠–⁠743. – DOI: 10.17586/2226-1494-2025-25-4-737-743.