МЕТОДИКА АПРИОРНОЙ ОЦЕНКИ ДОСТОВЕРНОСТИ НАУЧНО-ТЕХНОЛОГИЧЕСКИХ ПРОГНОЗОВ И РЕЗУЛЬТАТЫ ЕЕ АПРОБАЦИИ

METHODOLOGY FOR A PRIORI ASSESSMENT OF THE RELIABILITY OF SCIENTIFIC AND TECHNOLOGICAL FORECASTS AND THE RESULTS OF ITS TESTING

Kuslin Sergey Sergeevich

Applicant, Head of Department, Forecasting Center FSUE "VNII "Center", Russia, Moscow

Аннотация. В статье рассмотрен методический подход к априорной оценке достоверности научно-технологических прогнозов. Проведен анализ существующих подходов к оценке достоверности результатов научно-технологического прогнозирования и предложена методика ее расчета, а также приведен пример апробации разработанной методики.

Abstract. This article examines a methodological approach to a priori assessment of the reliability of scientific and technological forecasts. It analyzes existing approaches to assessing the reliability of scientific and technological forecasting results, proposes a calculation method, and provides an example of testing the developed method.

Ключевые слова: качество прогноза, верификация, показатель качества, достоверность.

Keywords: forecast quality, verification, quality indicator, reliability.

В условиях ускорения научно-технического прогресса и возрастающей сложности прогнозируемых систем проблема оценки достоверности научно-технологических прогнозов приобретает особую значимость. Результаты прогнозных исследований служат основой для принятия стратегических решений на государственном, отраслевом и корпоративном уровнях, однако существующие подходы к оценке их достоверности зачастую фрагментарны и не объективны.

В данной работе предложена методика априорной оценки достоверности научно-технологических прогнозов, базирующаяся на интервальном подходе и эмпирической частоте попаданий прогнозных значений в заданный доверительный интервал. В работе предлагается формализованный аппарат расчета вероятности реализации доверительного интервала, учитывающий как статистические характеристики ретроспективных данных, так и требования к точности прогнозирования. Предложенная методика позволяет преодолеть ограничения существующих подходов и может быть использована для отбора наиболее обоснованных прогнозных сценариев при формировании приоритетов научно-технической политики.

Анализ основных методических подходов к оценке достоверности научно-технологических прогнозов

Если результат научно-технологического прогнозирования рассматривать как информацию о состоянии объекта прогнозирования в будущем, то авторами работы [1] утверждается, что достоверность данной информации может быть охарактеризована величиной, изменяющейся обратно пропорционально вероятности возникновения ошибки. При таком утверждении методический подход к оценке достоверности научно-технологических прогнозов заключается в расчете данной величины:

где P – достоверность научно-технологического прогноза;

 – вероятность возникновения ошибки, вычисляемая на основе ретроспективных данных как доля прогнозов, не соответствующих фактическим значениям, где N – общее количество прогнозов;

m – количество точных совпадений прогнозного и фактического значения исследуемой переменной.

Данный методический подход имеет существенный недостаток, заключающийся в математической некорректности использования критерия точного совпадения для непрерывных случайных величин. Поскольку вероятность точного равенства  стремится нулю, то и  эмпирическая частота совпадений m при увеличении объема выборки N стремится к нулю, а расчетное значение достоверности (P) – к единице. Таким образом, величина, изменяющаяся обратно пропорционально вероятности возникновения ошибки в данном случае, перестает отражать реальную достоверность научно-технологических прогнозов.

В работах [2, 3] под термином «достоверность прогноза» понимается оценка вероятности осуществления прогноза для заданного доверительного интервала. Графическая интерпретация данного понятия достоверности представлена на рисунке 1, где вероятность попадания значения ЗПП в  характеризуется площадью фигуры А, ограниченной функцией нормального распределения и осью абсцисс, и равна единице. Геометрически, вероятность попадания значения ЗПП в интервал а (b) равна площади фигуры под графиком функции нормального распределения, опирающейся на участок равный ширине интервала а (b). Для наглядной визуализации ширина интервала a (b) выбрана таким образом, чтобы она совпадала со значениями [-2σ;2σ] ([-1σ;1σ]) на оси абсцисс, эмпирического правила трех сигм.

Площади фигур на рисунке 1 отражают:

• фигуры В – вероятность прогноза для доверительного интервала a (0,954);
• фигуры С – вероятность прогноза для доверительного интервала b (0,680).

Методический подход к оценке достоверности научно-технологических прогнозов в данном случае заключается в вычислении вероятности:

где  –значение точечного прогноза в момент времени t;

 – доверительный интервал прогноза;

1–α – доверительная вероятность (или уровень достоверности), где α – уровень значимости.

Рисунок 1. Графическая интерпретация достоверности научно-технологических прогнозов

Методический подход расчета вероятности реализации доверительного интервала на основании t-критерия Стьюдента, который применяется когда объем выборки невелик (при n < 30), детально представлен в работе [4], где данный подход разобран на наглядном практическом примере, иллюстрирующем последовательность вычислений и интерпретацию полученных результатов.

Ключевой недостаток методического подхода, предложенного в работе [4], заключается в математической некорректности используемого аппарата оценки достоверности прогноза применительно к задачам с высокой дискретностью исходных данных.

В частности, при расчете вероятности реализации доверительного интервала, характеризующей достоверность прогноза, стандартная ошибка оценки значащей переменной прогнозирования (ЗПП) вычисляется по формуле (3):

где S_e – стандартная ошибка оценки ЗПП;

 – фактическое i-е значение ЗПП;

 – прогнозное i-е значение ЗПП;

n – количество наблюдений.

Структура данной формулы такова, что знаменатель подкоренного выражения содержит величину n – 2, что накладывает жесткое и не всегда выполнимое условие на репрезентативность выборки: расчет стандартной ошибки Se становится принципиально возможным только при наличии трех и более фактических значений ЗПП (n ≥ 3). При n = 2 знаменатель обращается в ноль, что делает операцию деления невозможной и приводит к вычислительной ошибке. В случае же, когда n = 1 подкоренное выражение становится отрицательным, что делает вычисление стандартной ошибки принципиально невыполнимым.

Данное ограничение вступает в прямое противоречие с природой долгосрочных научно-технологических прогнозов, период упреждения которых составляет два года и более. Для таких прогнозов характерен дефицит ретроспективных количественных данных: экспертные оценки даются на редкие временные точки (например, раз в несколько лет), а количество предшествующих фактических значений ЗПП, как правило, минимально. Это делает невозможным корректное вычисление стандартной ошибки по формуле (3) и, следовательно, ставит под сомнение эффективность данного подхода.

Ситуация, иллюстрирующая данную проблему, представлена в таблице 1 на примере условных прогнозных оценок, где число доступных фактических значений заведомо недостаточно для применения формулы (3). Таким образом, метод, представленный в работе [4] не может быть применен для количественной оценки достоверности прогнозов с длительным периодом упреждения, так как его вычислительная база требует статистически полной выборки, недоступной в условиях редких экспертных оценок.

Таблица 1.

Пример научно-технологического прогноза, к которому неприменим подход, предложенный в работе [1]

Применение данного подхода к примеру, представленному в таблице 1 требует накопления минимум трех фактических значений ЗПП (за 2026, 2031 и 2036 годы), что делает возможной оценку достоверности прогноза лишь к 2037 году. Столь значительная временная задержка нивелирует практическую ценность результатов для лица, принимающего решения в 2026 году – в момент разработки прогноза.

В целях обеспечения применения методического подхода, представленного в работе [4] для оценки достоверности долгосрочных научно-технологических прогнозов, предлагается расчет S_e выполнять не основываясь на фактических значениях ЗПП, а относительно эталонной функции, выбор которой производить из шести основных конкурирующих моделей (линейная, полиномиальная второй степени, экспоненциальная, степенная, логарифмическая и логистическая), построение каждой из которых осуществлять методом наименьших квадратов, причем эталонную функцию определять таким образом, чтобы сумма квадратов ошибок (SSE) была минимальной:

где  – i-е значение исследуемой переменной полученное в результате применения эталонной функции;

 – сумма квадратов ошибок эталонной функции;

m – количество основных моделей, из которых выбирается эталонная функция.

Для демонстрации работоспособности предложенного доработанного методического подхода рассмотрим алгоритм оценки достоверности научно-технологических прогнозов на условном примере, в котором объектом прогнозирования уровня отдельного результата развития техники является система связи пятого поколения (5G), значащей переменной прогнозирования служит максимальная скорость передачи данных (Гбит/с), горизонт прогнозирования составляет 10 лет с периодами упреждения в 2 года.

Допустим, что для рассматриваемого примера на основе ретроспективных данных и с применением некоторого метода прогнозирования получены результаты, приведенные в таблице 2.

Необходимо оценить достоверность попадания прогнозного значения ЗПП в доверительный интервал [149, 177] на период упреждения 10 лет.

Таблица 2.

Исходные данные для оценки достоверности прогноза

Алгоритм решения

Шаг 1. На основании исходных данных, представленных в таблице 2, путем применения метода наименьших квадратов были получены уравнения шести конкурирующих моделей и для каждой вычислена сумма квадратов ошибок (SSE). Результаты сведены в таблицу 3.

Таблица 3.

Результаты расчета основных конкурирующих функций

Сравнив результаты расчета SSE в качестве эталонной функции выбрана экспоненциальная, чья SSE является минимальной и составляет 18,12. Результаты расчета значений исследуемой переменной, полученные при применении эталонной функции сведены в таблицу 4.

Таблица 4.

Результаты расчета значений исследуемой переменной, полученные при применении эталонной функции

Наглядная визуализация результатов построения графиков основных конкурирующих функций представлена на рисунке 2.

Шаг 2. Применяя формулу 5 определим стандартную ошибку оценки ЗПП:

Шаг 3.  – критерий Стьюдента для ЗПП определяется в соответствии с выражением [5]:

где  – ширина доверительного интервала.

Для рассматриваемого примера:

;

 .

Рисунок 2. Наглядная визуализация результатов построения графиков основных конкурирующих функций

Шаг 4. По данным таблицы 5 определяется вероятность осуществления прогноза.

Таблица 5.

Критерии Стьюдента

Достоверность прогноза, при которой максимальная скорость передачи данных системы связи пятого поколения попадет в интервал [149, 177] Гбит/с на периоде упреждения 10 лет составляет 0,90.

Шаг 5. Вербальное описание достоверности научно-технологических прогнозов производится в соответствии с вербально-числовой шкалой (таблица 6).

Таблица 6.

Вербально-числовая шкала оценки достоверности научно-технологических прогнозов и показателей их качества

Из таблицы 6 видно, что достоверность научно-технологического прогноза равная 0,90 соответствует высокому уровню.

Заключение

Разработанная в рамках настоящего исследования методика априорной оценки достоверности научно-технологических прогнозов позволяет преодолеть ключевой недостаток методического подхода, предложенного в работе [4], заключающийся в математической некорректности используемого аппарата оценки достоверности прогноза применительно к задачам с высокой дискретностью исходных данных.

Кроме того, полученные в ходе разработки теоретические и практические результаты закладывают основу для дальнейшего совершенствования системы стратегического планирования. Предложенная методика в перспективе станет базовой и неотъемлемой частью доработанного метода оценки качества научно-технологических прогнозов, предложенного авторами работы [4]. Интеграция данной методики в общий контур управления позволит перейти от эпизодической проверки качества научно-технологических прогнозов к системному мониторингу, что обеспечит требуемый уровень стратегического планирования.