МЕТОДЫ РЕТРОСПЕКТИВНОГО АНАЛИЗА ДОСТОВЕРНОСТИ ПОКАЗАНИЙ ДАТЧИКОВ В СИСТЕМАХ МОНИТОРИНГА

THE TITLE OF SCIENTIFIC PAPER

Yarovikov Yuriy Valeryevich

Master’s degree, Omsk State Transport University (Omsk State University of Railway Engineering), Russia, Omsk

Аннотация. Рассматриваются методы ретроспективной диагностики достоверности показаний датчиков в системах промышленного мониторинга. Предложен структурированный алгоритм верификации, основанный на последовательном применении процедур поиска пропусков, детектирования застывших сигналов, контроля диапазона измерений и статистической фильтрации выбросов с последующей кросс-валидацией. Приведены критерии выбора пороговых значений и ограничения применимости каждого метода. Показана достаточность предложенного подхода для первичного аудита измерительных каналов.

Abstract. Methods for retrospective diagnostics of sensor reading reliability in industrial monitoring systems are considered. A structured verification algorithm is proposed, based on the sequential application of procedures for gap detection, frozen signal detection, measurement range control, and statistical outlier filtering followed by cross-validation. Criteria for selecting threshold values and limitations of the applicability of each method are provided. The sufficiency of the proposed approach for the primary audit of measurement channels is demonstrated.

Ключевые слова: ретроспективный анализ, достоверность измерений, качество данных, отказ датчика, пропуски данных, фильтрация выбросов, системы мониторинга.

Keywords: retrospective analysis, measurement reliability, data quality, sensor failure, missing data, outlier filtering, and monitoring systems.

1. Введение.

С точки зрения системного анализа, совокупность измерительных каналов промышленного объекта рассматривается как сложная система с избыточностью, элементы которой (датчики) связаны функциональными и статистическими корреляциями. Задача ретроспективной диагностики ставится как задача восстановления вектора состояния системы (достоверность/недостоверность) по зашумленным и неполным данным. Современные системы промышленного и инженерного мониторинга характеризуются высокой частотой поступления данных, генерируемых тысячами измерительных преобразователей. Получаемая информация служит основой для решения задач автоматического управления, функционирования систем аварийной защиты и прогнозирования технического состояния объектов [5]. Вместе с тем измерительные каналы подвержены различным видам метрологических и аппаратных отказов, которые не всегда сопровождаются явным прекращением передачи сигнала. К числу типовых нарушений относятся: полный отказ, сопровождающийся пропуском данных, «замирание» сигнала, при котором регистрируется статичное значение на протяжении длительного интервала времени, генерация аномальных выбросов, постепенная деградация характеристик (дрейф).

Для корректного изложения материала необходимо разграничить следующие ключевые понятия.

Под работоспособностью измерительного канала понимается способность канала выполнять функцию передачи данных в установленные сроки независимо от их смыслового содержания, данная характеристика определяется отсутствием длительных пропусков и эффектов «замирания».

Достоверность измерений – характеристика качества измерений, отражающая степень доверия к их результатам и определяемая вероятностью того, что действительное значение измеряемой величины находится в границах, установленных с учётом паспортной точности средства измерения (РМГ 29-2013, ГОСТ Р 8.596-2002).

Качество данных представляет собой интегральную характеристику, объединяющую работоспособность, достоверность и полноту информации на всём анализируемом интервале.

Отказ датчика – событие, при котором измерительный канал не выполняет целевую функцию, что выражается либо в прекращении передачи данных, либо в выдаче информации, непригодной для использования в контуре управления.

Специфика проблемы заключается в том, что формальное присутствие регистрируемого сигнала в архиве не является достаточным условием достоверности измерений. Как показано в практических обзорах [7], неисправный канал способен имитировать штатную работу, непрерывно транслируя постоянное, но физически некорректное значение, или демонстрировать перемежающиеся сбои, при которых данные появляются эпизодически, но утрачивают точность.

В рамках настоящего исследования под ретроспективным анализом понимается совокупность методов обработки накопленных архивных данных, направленных на решение двух основных диагностических задач:

- определение состояния работоспособности канала измерения в ретроспективе;

- верификация измерительной информации (оценка степени согласованности показаний с физическими закономерностями и данными смежных датчиков).

Целью данной статьи является систематизация вычислительно простых методов ретроспективной диагностики, ориентированных на применение начинающими специалистами для оперативного анализа качества данных в системах мониторинга.

2. Структура исходных данных

Первичной информационной единицей анализа выступает временной ряд — последовательность показаний датчика с соответствующими временными метками. Минимально необходимый набор атрибутов включает: отметку времени (с равномерным или неравномерным шагом дискретизации), идентификатор измерительного канала (тег, место установки) и зарегистрированное значение измеряемой величины (температура, давление, виброскорость и т.д.).

Дополнительную ценность для анализа представляют: паспортный технический диапазон датчика (минимальное/максимальное допустимое значение), сведения о пространственно-коррелированных (соседних) датчиках, метки времени проведения калибровок и ремонтных работ.

Для формализации задачи введём обозначения: пусть D_i(t) – данные i-го датчика в момент времени t. Состояние датчика описывается бинарной переменной S_i(t) ∈ {0, 1}, где 0 соответствует неисправному состоянию, 1 — исправному. Такая модель является сознательным упрощением, допустимым на этапе первичной диагностики. Для задач, требующих оценки частичной деградации характеристик (например, постепенного дрейфа), необходимо введение непрерывной метрики достоверности, что составляет предмет дальнейших исследований. Цель анализа в рамках данной модели – найти наиболее вероятное значение S_i(t) на всём рассматриваемом интервале.

Структура типового лога данных представлена в таблице 1.

Таблица 1.

Фрагмент архива измерений

Подобные данные поддаются выгрузке из стандартных систем диспетчерского управления и сбора данных (SCADA), специализированных баз временных рядов (InfluxDB), платформ интернета вещей (ThingsBoard) или из файлов формата CSV [1, 6]..

3. Методы оценки состояния работоспособности канала

Данная группа методов направлена на решение вопроса о самом факте функционирования датчика без оценки точности его показаний.

3.1. Идентификация пропусков данных

Пропуск определяется как отсутствие измерения в ожидаемый момент времени согласно установленному периоду опроса. Алгоритм анализа реализуется в четыре этапа:

А) выборка данных целевого датчика за анализируемый период;

Б) построение эталонной временной сетки с заданным шагом;

В) выявление расхождений между реальными метками и эталонной сеткой;

Г) выделение интервалов, длительность непрерывного пропуска на которых превышает критический порог.

Канал считается неактивным на выявленном интервале. Критический порог пропусков выбирается исходя из допустимого времени отсутствия данных для конкретного технологического процесса, общепринятой практикой является установка порога в диапазоне от 3 до 10 периодов опроса в зависимости от критичности измеряемого параметра [2].

3.2. Выявление эффекта «замирания» сигнала.

Данный вид отказа характеризуется сохранением передачи данных при отсутствии динамики измеряемой величины. Метод основан на подсчёте длины серий идентичных последовательных значений. Если продолжительность серии превышает установленный порог, фиксируется факт зависания [7].

Порог застывания определяется экспериментально как максимальная длительность постоянства сигнала при заведомо нормальной динамике объекта. Для нестационарных процессов типовым значением является интервал от 30 минут до нескольких часов. При анализе квазистационарных объектов (например, термостатируемых объёмов) требуется адаптивное увеличение порога или учёт допустимого диапазона флуктуаций, что составляет ограничение применимости данного метода.

Например, в условиях работающего цеха температура в течение суток объективно колеблется из-за смены режимов оборудования, открытия ворот, циклов включения/выключения вентиляции. Даже в периоды простоя наблюдаются флуктуации в пределах десятых долей градуса, регистрируемые исправными датчиками с дискретностью 0,1 °C. Если же датчик на протяжении, например, двух часов непрерывно выдаёт значение 23,0 °C при нулевой дисперсии, в то время как соседние каналы фиксируют колебания 22,7–23,3 °C, то это является надёжным признаком «замирания» сигнала.

3.3. Контроль соблюдения границ технического диапазона

Каждое средство измерения характеризуется паспортным рабочим диапазоном, определяемым заводом-изготовителем и зафиксированным в эксплуатационной документации. Регистрация значений, выходящих за его пределы (отрицательное абсолютное давление, температура в помещении, превышающая +100 °C, и т.п.), однозначно интерпретируется как признак неисправности измерительного канала или грубой ошибки передачи данных [3]. Ограничение метода: он не выявляет деградацию внутри допустимого диапазона.

4. Визуальные методы диагностики

Графическое представление данных является эффективным инструментом первичного анализа, позволяя эксперту быстро идентифицировать аномалии, трудноразличимые в табличной форме.

4.1. График временного ряда (сырой сигнал)

Построение графика зависимости «время – значение» позволяет идентифицировать плоские участки (зависание), резкие пики (выбросы), разрывы линии (пропуски), а также аномально низкую или высокую амплитуду шума.

4.2. Сравнительный анализ коррелированных каналов

При наличии пространственной избыточности (два и более датчика, измеряющих одну физическую величину в одной зоне) совмещение их графиков является высокоинформативным методом. Согласованное поведение кривых подтверждает достоверность, тогда как резкое расхождение трендов (один сигнал убывает, другой возрастает) служит индикатором отказа одного из каналов [5]. Ограничение: метод требует доказанного наличия корреляции между каналами, что должно быть подтверждено на эталонных интервалах.

4.3. Тепловая карта доступности

Данный метод реализуется построением двумерной матрицы, где строки соответствуют идентификаторам датчиков, столбцы — временным интервалам, а цветовая индикация отражает наличие или отсутствие данных. Тепловые карты обеспечивают наглядное представление о периодах массовой потери данных и позволяют выявлять систематические проблемы сбора информации [1].

5. Статистические правила оценки достоверности.

Оценка достоверности данных в рамках ретроспективного анализа выполняется путём контроля границ физического диапазона и статистической фильтрации выбросов. При наличии пространственно-коррелированных измерительных каналов дополнительно применяется кросс-валидация с групповой медианой. При отсутствии таковых, но наличии независимых контрольных измерений (например, эпизодическая калибровка, контрольная заправка резервуара) достоверность подтверждается сопоставлением с их результатами. В наиболее сложном случае, одиночный датчик без внешнего эталона, возможности ретроспективной верификации ограничены контролем диапазона и статистической фильтрацией, которые позволяют отсечь грубые ошибки, но не гарантируют обнаружения систематической погрешности, не выходящей за паспортные границы.

Приведенные ниже подходы базируются на элементарных статистических операциях и не требуют глубоких знаний теории вероятностей.

5.1. Правило «трех сигм» для фильтрации выбросов.

На интервале квазистационарного режима рассчитываются выборочное среднее (x_ср) и стандартное отклонение (σ). Значения, выходящие за границы интервала x_ср±3σ, классифицируются как статистические выбросы и подлежат исключению из анализа или дополнительной проверке [2].

Порог в три стандартных отклонения обосновывается предположением о нормальном распределении флуктуаций на стационарном участке: при выполнении данной гипотезы вероятность выхода за границы x_ср±3σ составляет менее 0,3 %. Ограничение применимости: метод даёт ложные срабатывания при наличии тренда или сезонности без предварительного удаления нестационарной составляющей.

5.2. Робастный подход на основе медианного фильтра.

Для подавления одиночных импульсных помех эффективен метод скользящей медианы. В пределах окна заданной ширины (например, пять последовательных отсчётов) определяется медианное значение. Если текущий отсчёт отклоняется от медианы окна на величину, превышающую установленный порог, он маркируется как вероятный сбой [3]. Порог отклонения обычно задаётся в долях межквартильного размаха или стандартного отклонения, определённого на эталонном участке. Ограничение: метод неэффективен при серийных (сгруппированных) выбросах, занимающих значительную часть окна.

5.3. Кросс-валидация по группе соседних датчиков (метод голосования).

При наличии избыточных измерений одной физической величины принимается гипотеза, что истинное значение наиболее близко к медиане показаний группы. Систематическое отклонение показаний конкретного датчика от групповой медианы на величину, превышающую допустимый порог, является критерием для признания канала недостоверным. Порог кросс-валидации задаётся как доля от паспортного диапазона измерений (типовое значение 2–5 %) или как величина расширенной неопределённости канала. Ограничение: метод требует пространственной корреляции датчиков и репрезентативного размера группы (не менее трёх каналов).

6. Комплексный алгоритм верификации измерительной информации

Обобщая рассмотренные методы, предлагается следующий структурированный алгоритм ретроспективной диагностики, включающий шесть последовательных этапов.

Этап 1. Загрузка и предобработка данных. Выгрузка архива измерений из SCADA или базы временных рядов, выделение индивидуальных временных рядов D_i(t) по каждому измерительному каналу, проверка и унификация временных меток.

Этап 2. Проверка работоспособности. Применение алгоритмов поиска пропусков (п. 3.1) и выявления застывших значений (п. 3.2) ко всему интервалу наблюдения. Формирование бинарной маски работоспособности M_раб_i(t): значение 1 присваивается интервалам, на которых канал передавал данные и демонстрировал динамику, значение 0 – интервалам пропусков и застываний. Здесь пропусками будет считаться полное отсутствие измеренных величин, что может быть, например, при обрыве проводов датчика. Интервалы застывания должны определяться индивидуально зависят от выполняемой датчиком функции.

Этап 3. Контроль физического диапазона. Для интервалов, где M_раб_i(t) = 1, выполняется проверка попадания измеренных значений в паспортный диапазон (п. 3.3). Значения, выходящие за границы, помечаются как недостоверные.

Этап 4. Статистическая фильтрация выбросов. К данным, прошедшим контроль диапазона, применяются правило «трёх сигм» (п. 5.1) и медианный фильтр (п. 5.2). Выявленные выбросы маркируются.

Этап 5. Кросс-валидация. Для каналов, имеющих пространственно-коррелированных соседей, выполняется сравнение с групповой медианой (п. 5.3). Каналы с систематическим отклонением помечаются как недостоверные.

Этап 6. Формирование итоговой маски и выработка решения. По совокупности результатов этапов 2–5 формируется итоговая маска достоверности S_i(t). На основе маски вырабатывается решение: замена датчика, внеочередная калибровка или проверка линии связи.

7. Инструментальные средства реализации.

Сравнительная характеристика инструментов, пригодных для реализации описанных методов, приведена в таблице 2.

Таблица 2.

Инструменты анализа

Для первичного ознакомления и разовых проверок допустимо использование табличных процессоров, тогда как для регулярного мониторинга целесообразно применение специализированных программных сред [1, 6].

8. Сравнительный анализ методов.

Правило «трёх сигм» (п. 5.1) и медианный фильтр (п. 5.2) работают корректно только на стационарных или квазистационарных интервалах. Если в данных присутствует выраженный тренд (рост или падение), то:

- выборочное среднее теряет смысл как оценка центра распределения;

- стандартное отклонение завышается за счёт трендовой составляющей;

- правило «трёх сигм» либо пропускает реальные выбросы (если σ переоценено), либо даёт массу ложных срабатываний (если тренд не удалён).

В таблице 3 представлена сводная характеристика рассмотренных методов с оценкой сложности их применения.

Таблица 3.

Сопоставление методов анализа

Все представленные методы не требуют специальной математической подготовки и могут быть освоены инженерами-практиками.

8. Практический пример: диагностика системы контроля температуры

В качестве иллюстрации рассмотрен цеховой объект, оснащённый пятью датчиками температуры (T1...T5) с периодом опроса 10 минут. Анализируемый интервал 30 суток. На середине интервала задокументирована замена датчика T3.

Результаты поэтапного применения предложенного алгоритма:

А) Поиск пропусков: зафиксирован перерыв в передаче данных от датчика T2 продолжительностью 6 часов. Канал признан неактивным на данном интервале.

Б) Выявление застывших значений: датчик T5 на протяжении 2 суток транслировал константное значение 23,0 °C, что не соответствует динамике цехового процесса. Зафиксирован эффект «замирания».

В) Контроль диапазона: в архиве датчика T1 обнаружены значения –50 °C, выходящие за границы физически реализуемого диапазона. Данный случай является однозначным критерием неисправности, не требующим дополнительной проверки. Вывод: датчик T1 недостоверен.

Г) Статистическая фильтрация: к данным датчика T4, прошедшим контроль диапазона и признанным работоспособными, применено правило «трёх сигм». На одном из интервалов продолжительностью около 40 минут зафиксированы значения, формально классифицируемые как выбросы. Однако синхронный анализ коррелированного датчика T3 (до момента его замены) показал аналогичную динамику, что свидетельствует о реальном переходном процессе, а не об отказе. Например, ворота были открыты на продолжительное время, или была отключена вентиляция. Данный случай иллюстрирует ограничение изолированного применения статистических методов и необходимость совместного анализа коррелированных каналов для снижения вероятности ложных заключений. С учётом кросс-валидации показания T4 на данном интервале признаны достоверными.

Д) Сравнительный анализ: при сопоставлении каналов T3 и T4 (размещены в одной технологической зоне) выявлено, что до момента замены их показания были синхронизированы. После замены T3 регистрирует значения систематически выше на 2 °C относительно T4. Поскольку датчик T4 не подвергался вмешательству, принимается гипотеза о смещении характеристики нового датчика T3. При этом величина расхождения (2 °C) близка к пороговому значению, что делает ситуацию пограничной. Рекомендуемым действием, помимо замены, является внеочередная калибровка T3 для уточнения метрологических характеристик.

Итоговая оценка состояния системы сведена в таблицу 4.

Таблица 4.

Результаты диагностики

На основе полученных результатов формулируется управляющее решение: произвести замену измерительных преобразователей T1 и T5, выполнить проверку линии связи канала T2, назначить внеочередную калибровку датчика T3 с последующим контролем смещения. Полученные результаты анализа являются информационной основой для подсистемы поддержки принятия решений в АСУ ТП.

9. Заключение

Проведённый обзор подтверждает, что задача ретроспективного анализа достоверности показаний может эффективно решаться с применением вычислительно простых методов. Комбинация алгоритмов поиска пропусков, детектирования застывших значений, контроля физического диапазона, визуального сравнения, элементарных статистических критериев и кросс-валидации позволяет надёжно идентифицировать периоды неработоспособности измерительных каналов и факты передачи некорректных данных. Предложенный шестиэтапный алгоритм обеспечивает структурированный подход к верификации, позволяющий последовательно отсеивать различные классы аномалий и формировать обоснованные управляющие решения. Данные методы легко поддаются автоматизации в средах Python (Pandas), InfluxDB+Grafana или табличных процессорах, что делает их доступными для широкого круга инженеров [1, 3].

Следует отметить ограничения предложенного подхода: бинарная модель состояния датчика не отражает частичную деградацию характеристик, методы не предназначены для выявления медленного дрейфа метрологических характеристик, при котором погрешность изменяется плавно, статистические критерии чувствительны к нестационарности анализируемых процессов, что требует предварительного выделения квазистационарных участков. Диагностика трендовой деградации требует привлечения более сложного аппарата регрессионного анализа.

В качестве направления дальнейших исследований планируется расширение подхода методами обнаружения низкочастотного дрейфа и включение вероятностных (байесовских) методов для оценки рисков отказа измерительных каналов в условиях неполных данных, а также переход от бинарной модели к непрерывной метрике достоверности.