ПРИМЕНЕНИЕ ГИБРИДНОЙ АРХИТЕКТУРЫ U-NET ДЛЯ КЛАССИФИКАЦИИ ДИНАМИКИ СОСТОЯНИЯ ПАЦИЕНТОВ С ГЛИОМАМИ ПО ДАННЫМ ЛОНГИТЮДНЫХ МРТ-ИССЛЕДОВАНИЙ

Точная оценка динамики глиом головного мозга в ответ на проводимую терапию остается крайне важной, но методологически сложной задачей нейроонкологии. В ответ на этот вызов, активно внедряются радиомические методы исследования, однако классический пайплайн имеет фундаментальное ограничение. Агрегация трехмерных данных опухоли в одномерные скалярные признаки неизбежно приводит к потере пространственного контекста и топологической информации о взаимном расположении зон некроза [1, c. 751].

Альтернативой выступает глубокое обучение, в частности, использование сверточных нейронных сетей. Особый потенциал для оценки агрессивности глиом представляет мультимодальный подход, предполагающий одновременную обработку нескольких импульсных последовательностей магнитно-резонансной томографии (МРТ), а также табличные данные, отражающие динамику изменения размеров опухоли [2, c. 66].

Целью работы является анализ эффективности работы нейросетевой модели на базе U-Net для задачи трехклассовой классификации динамики глиом на основании парных снимков.

Мультимодальная нейронная сеть представляет собой архитектуру, способную одновременно обрабатывать разнородные данные, а именно структурированные радиомические признаки, изъятые текстурные признаки, флаги диагноза и неструктурированные МРТ-изображения 4х каналов. Модель предназначена для оценки преимущества использования сырых изображений по сравнению с использованием только извлечённых признаков. Для данной задачи был использован датасет BRATS, а также отфильтрован и нормализован [3]. На нём и проходило последующие модели U-Net, выбор которой обусловлен её высокой точностью и адаптивностью к медицинским изображениям [4, с. 203].

Архитектура модели включает два основных компонента: ветвь обработки изображений и ветвь обработки табличных данных. Она представляет собой полносвязную сеть, принимающую на вход радиомические признаки и клинические метаданные.

Объединение признаков происходит на уровне полносвязных слоёв. Полученное объединённое представление проходит через дополнительные слои с функцией активации ReLU и регуляризацией Dropout для предотвращения переобучения. Завершающие слои архитектуры включают две независимые головы: голову классификации с функцией активации Softmax для трёх классов и голову регрессии с линейной активацией для прогноза изменения объёма.

Обучение мультимодальной модели производится с использованием функции потерь. Результаты обучения указаны в таблице.

Таблица 1.

Результаты предсказания мультимодальной модели U-net

В ходе экспериментов была зафиксирована специфическая динамика процесса обучения. На рисунке 1, анализ кривых потерь показал, что модель достигла стадии насыщения уже на 7-й эпохе.

Рисунок 1. График кривых потерь мультимодальной U-net

Визуализация результатов мультимодальной модели в виде матрицы ошибок показывает, что наилучшая точность достигнута в классе «Прогрессия». Стоит отметить, матрица выявляет проблему класса «Стабильно». Из-за малого объема выборки, модель не смогла выработать четкие критерии, распределив ошибки практически равномерно между остальными классами. Матрица ошибок представлена на рисунке 2.

Рисунок 2. Матрицы ошибок мультимодальной U-net

Мультимодальная архитектура быстро извлекла ключевые корреляции между визуальными признаками опухоли и табличными данными.

Класс «Прогрессия» продемонстрировал наилучшие результаты (F1-Score = 0,800, Precision = 78 %). Высокие значения Precision и Recall свидетельствуют о том, что мультимодальный подход эффективно выявляет агрессивную динамику заболевания. Возможно, это происходит за счет комбинации текстурных изменений на снимках и клинических маркеров. Класс «Регрессия» также показал стабильно высокие. Класс «Стабильно» наименее удовлетворительный (F1-Score = 0,444, Precision = 68 %). Низкий показатель Recall (0,375) обусловлен малым количеством примеров данного класса в выборке.

В заключении, стоит отметить, проведённое исследование подтвердило эффективность мультимодального подхода к оценке динамики глиом. Объединение визуальных признаков МРТ и  клинических данных позволяет модели достигать высоких показателей точности при выявлении класса «Прогрессия» (F1 = 0,800). Быстрая сходимость модели свидетельствует о высокой информативности подобранного набора признаков. Основным ограничением работы является дисбаланс классов и относительно небольшая выборка из 350 пациентов. Перспективным направлением является применение методов аугментации для миноритарных классов.