СЕМАНТИЧЕСКОЕ КОДИРОВАНИЕ ЛИЦЕВЫХ ОРИЕНТИРОВ ДЛЯ ДИФФЕРЕНЦИРУЕМОЙ РЕГИСТРАЦИИ В ТРАНСПОРТНЫХ ВИДЕОСИСТЕМАХ

Аннотация. Рассматривается представление лицевых ориентиров на входе контроллера дифференцируемой регистрации. Цель работы - определить условия согласованной передачи координат, анатомических меток и порядка точек в гибридной CNN–SSM-модели. Формализовано объединение координатной проекции с обучаемыми эмбеддингами 68 анатомических позиций. Различены идентификатор точки, принадлежность к группе и место в последовательности. Показано, что семантическая метка сохраняет свое значение при изменении координат, однако сама по себе не обеспечивает инвариантность рекуррентного контроллера к перестановкам. Определены требования к нормировке координат, преобразованию схем разметки и обработке недостоверных ориентиров. Получена согласованная схема интерфейсов и предложены проверки, отделяющие ошибки представления данных от свойств обученного контроллера. Работа развивает архитектурную часть диссертационного исследования; повышение точности распознавания на транспортных видеоданных в ней не утверждается.

Ключевые слова: регистрация лиц; ключевые точки; семантическое кодирование; модели пространства состояний; дифференцируемое выравнивание; транспортные видеосистемы.

1. Введение

Видеоподсистемы транспортной инфраструктуры получают изображения лиц при различных ракурсах, освещении и частичных перекрытиях. Геометрическая регистрация должна привести наблюдение к представлению, пригодному для последующего сравнения лиц. В архитектуре автора [1] координаты ориентиров передаются контроллеру на основе модели пространства состояний, который формирует шесть параметров аффинного преобразования. Такой подход связывает геометрическое выравнивание с признаковой обработкой изображения.

Spatial Transformer Networks [3] задают общую схему из локализатора, генератора сетки и дифференцируемого сэмплера. Выбор представления на входе локализатора остается отдельной задачей. Для лица координатная пара не полностью описывает роль точки: одинаковое положение в нормированной области может соответствовать разным анатомическим позициям в разных наблюдениях. Поэтому в контроллере целесообразно сохранять связь координаты с конкретным элементом принятой разметки.

В отличие от последовательности видеокадров, вход рассматриваемой SSM представляет ориентиры одного лица. Порядок обхода здесь задается схемой кодирования. В Mamba [2] селективность связана с содержанием входного токена; в исследуемой архитектурной постановке часть параметров определяется фиксированной меткой ориентира. Цель статьи - явно описать этот интерфейс и установить, какие свойства обеспечивает семантическое представление, а какие требуют отдельной проверки модели.

2. Координаты, метки и последовательность

Пусть голова ориентиров выдает  нормированных координат . Каждой точке сопоставляется метка , однозначно связанная с анатомической позицией. Вектор  выбирается из обучаемой таблицы эмбеддингов. Входное представление имеет вид

Координатная и семантическая части несут разные сведения. Первая изменяется вслед за положением ориентира. Вторая указывает, какое место в разметке занимает точка, и при зафиксированных весах не меняется из-за координатного шума. Если две точки имеют одинаковые координаты, их векторы  различаются при различных эмбеддингах. При этом последующая проекция может уменьшить такое различие: наличие таблицы меток не означает, что обученная сеть обязательно использует всю содержащуюся в ней информацию.

Следует различать три понятия. Метка  определяет конкретный ориентир. Группа объединяет несколько меток для интерпретации или инициализации. Номер шага  задает место обработки в последовательности. В принятой 68-точечной схеме используются четыре группы: контур - индексы 0–16, брови и нос - 17–35, глаза - 36–47, рот - 48–67. Это 17, 19, 12 и 20 точек соответственно. Четыре группы не заменяют таблицу из 68 индивидуальных эмбеддингов.

Смешение этих уровней приводит к разным ошибкам. Перестановка только координат при неизменных метках нарушает анатомическое соответствие. Совместная перестановка пар  сохраняет соответствие, но меняет порядок рекуррентной обработки. Замена индивидуальных меток групповыми уменьшает различимость точек внутри одной области. Эти операции должны рассматриваться как разные изменения входного представления.

3. Включение представления в контроллер

Для пояснения роли меток рассмотрим рекуррентное ядро

Здесь черта обозначает фактические дискретные матрицы, а не исходные параметры непрерывной системы. В типообусловленной схеме шаг дискретизации может задаваться положительной функцией эмбеддинга, например

Положительность шага не является самостоятельным доказательством устойчивости выбранной дискретизации. Для вывода о затухании требуется анализ фактических матриц перехода и их произведений. Аналогично неизменность метки при координатном шуме означает неизменность только тех параметров, которые вычисляются исключительно из этой метки. Дополнительные входозависимые гейты и нормировки сохраняют собственную чувствительность к координатам.

Формула (2) описывает роль семантического условия, но не заменяет спецификацию полного программного блока. В архитектуре размерность токена равна 512, а параметр размерности внутреннего состояния SSM равен 16. Последний выходной токен и внутреннее состояние - разные объекты. При реализации выходной головы необходимо явно указать, какой из них подается на линейные слои, и проверить размерности соответствующих тензоров.

На выходе контроллера формируется . Сэмплер использует обратное отображение узла выходной сетки в исходную признаковую карту:

После интерполяции выровненная карта поступает в голову распознавания. Ошибка конечной задачи может распространяться к параметрам контроллера через координаты выборки. Этот градиентный путь обеспечивает возможность совместной настройки, однако сам факт его существования не доказывает повышения качества регистрации.

4. Согласование интерфейсов и проверка корректности

Каждое звено конвейера должно сохранять однозначную связь между каналом головы ориентиров, координатой и меткой. Основные требования приведены в таблице 1. Такой контроль проводится до интерпретации результатов обучения: ошибка соглашений может давать внешне правдоподобную, но анатомически неверную последовательность.

Таблица 1.

Интерфейсы передачи геометрической информации

Отдельная задача возникает при использовании разных схем разметки. Набор WFLW, введенный в работе [4], содержит 98 ориентиров. Переход к 68 входам контроллера должен задаваться явной картой соответствия: для каждой целевой точки указывается исходный индекс или правило получения координаты. Выбор первых 68 индексов не устанавливает семантического соответствия. Необходимо также определить, какие координаты считаются видимыми и как обрабатываются неоднозначные точки контура.

При горизонтальном отражении изображения недостаточно заменить знак горизонтальной координаты. Требуется согласованно переставить метки левой и правой сторон по принятому соглашению. Аналогично после обрезки или изменения масштаба координаты должны пересчитываться в систему нового входа. Эти преобразования следует выполнять одной процедурой для изображения, координат и анатомических идентификаторов, сохраняя параметры аугментации.

Недостоверный ориентир нельзя молча удалить из фиксированной последовательности: это сдвигает позиции последующих точек. Возможный интерфейс расширяется маской достоверности, но ее действие на обновление состояния должно быть определено отдельно. Маска может управлять вкладом координаты либо сигнализировать о недопустимом входе. В данной статье такая обработка рассматривается как требование к дальнейшей реализации, а не как уже проверенная устойчивость к окклюзии.

Минимальная проверка включает три контролируемых изменения: координатный шум при фиксированных метках, неверное сопоставление меток и совместную перестановку пар. Первый опыт характеризует реакцию на ошибку локализации, второй выявляет использование семантики, третий оценивает зависимость от порядка. Сравнения выполняются при одинаковых весах, данных и правилах нормировки. Заранее ожидать инвариантности к третьему изменению нельзя, поскольку рекурсия в общем случае зависит от порядка входа.

5. Заключение

Семантическое кодирование позволяет явно передать контроллеру принадлежность координаты к анатомической позиции. Для согласованной реализации необходимо раздельно задать 68 индивидуальных меток, четыре интерпретационные группы и порядок рекуррентного обхода. Полученное описание интерфейсов охватывает размерности токенов, преобразование схем разметки, геометрические аугментации и передачу аффинного выхода сэмплеру.

Практический результат состоит в наборе условий и проверок, позволяющих отделить ошибки кодирования от поведения обученной модели. Представление само по себе не гарантирует устойчивость к перестановкам, пропуску точек или ухудшению изображения. Подтверждение таких свойств требует отдельного эксперимента на реализованном контроллере и данных целевой видеосистемы.