Использование байесовского метода для задач прогнозирования

Аннотация. Предмет. Предлагается постановка и метод решения некоторой достаточно общей задачи прогнозирования на основе анализа эмпирической информации, которая может быть представлена либо набором высказываний экспертов, либо таблицей экспериментальных данных (выборкой), либо экспертными высказываниями и таблицей данных одновременно.

При этом допускается, что информация различных экспертов несогласованная. Для решения рассматриваемой задачи предлагается реализация байесовского подхода, использующая слабые ограничения на класс распределений. Эффективность метода иллюстрируется на примерах.

Цели. Целью данной работы является реализация на практике использование байесовского метода для задач прогнозирования.

Методология. Для достижения поставленной цели используем методы логического, статистического анализа.

Результаты. Чтобы распространить байесовский подход на случай, когда эмпирическая информация представлена экспертными суждениями, предлагается статистическая интерпретация экспертной информации.

При этом предполагается, что экспертная информация представлена высказываниями нескольких экспертов.

Допускается, что высказывания различных экспертов могут быть несогласованные и, в частности, быть противоречащими друг другу в той или иной степени, совпадающими, частично совпадающими, дополнительными.

Одним из достоинств предлагаемой в работе реализации байесовского подхода к решению поставленной задачи является использование слабых гипотез относительно распределений.

Выводы. Заметим, однако, что непосредственная реализация байесовского алгоритма приводит к большому объему вычислений.

В связи с этим был разработан некоторый эвристический алгоритм принятия решения на основе несогласованной информации экспертов.

Данный алгоритм, имея вполне приемлемую трудоемкость, позволяет получить результаты, с хорошей точностью приближающие ответ, получаемый при непосредственном применении соотношения.

Ключевые слова: прогнозирования, байесовский метод, экспериментальные данные, алгоритм

Рассмотрим следующую задачу прогнозирования. Пусть имеется генеральная совокупность объектов Γ, для которой определена произвольная вероятностная мера P(Γ).

Каждый объект a ∈ Γ может быть охарактеризован значениями переменных X1, ..., Xn, а также значениями, так называемых целевых (прогнозируемых) переменных Y1, ..., Ym, то есть каждому a ∈ Γ путем проведения измерений могут быть сопоставлены значения x1, ..., xn; y1, ..., ym переменных X1, ..., Xn; Y1, ..., Ym. Данные переменные могут быть произвольных типов (вещественные, целые, порядковые, номинальные, бинарные).

Рассматриваемая задача состоит в том, чтобы для произвольного объекта a из Γ по известным значениям переменных X1, ..., Xn предсказать значения переменных Y1, ..., Ym на основе анализа имеющейся эмпирической информации.

Заметим, что задачи построения решающей функции распознавания и регрессионной функции являются частным случаем рассматриваемой задачи. Обозначим через DXj – множество допустимых значений переменной Xj , DYj – множество допустимых значений переменной Yj , DX def = Qn j=1 DXj , DY def = Qm j=1 DYj , D def = DX × DY . Тогда x = (x1, ..., xn) может рассматриваться как точка в пространстве DX, y = (y1, ..., ym) – точка в пространстве DY , z = (x1, ..., xn; y1, ..., ym) будет обозначать точку в пространстве D.

Заметим, что пространство D в общем случае является разнотипным и может быть разложено в прямое произведение непрерывного Dc и дискретного Dd подпространств. Поскольку значения всех переменных могут быть измерены для любого a ∈ Γ, то существует отображение из Γ в D, которым (учитывая существование меры P(Γ)) в пространстве D определяется вероятностная мера P(D). Введем в пространстве D меру µ следующим образом.

Поскольку любая область E дискретно непрерывного пространства D может быть представлена как E = |E Sd| j=1 Ej c × {z j d }, где Ed – проекция E на Dd, z j d – точка из Ed, Ej c – соответствующая z j d область в Dc, то меру произвольной подобласти E естественно положить равной µ(E) def = | P Ed| j=1 µ(Ej c ), где µ(Ej c ) – лебегова мера множества Ej c . Предположим, что отображение Γ → D таково, что существует ρ(z) – плотность меры P(D) относительно меры µ, т. е. для любого измеримого подмножества E пространства D выполняется P(E) = = R E ρ(z) dµ def = R E ρ(z) dz. Введем обозначение g(z) ≡ g(x, y) def = ρ( y /x) = ρ(z) R DX ρ(z) dx . Доклады РАН. Том 357. №1. 1997. С 29–32. 2 (Доклады РАН) Лбов Г. С., Неделько В. М. Таким образом, ρ( y/x) представляет собой условную плотность распределения в пространстве DY при условии, что значения переменных X1, ..., Xn равны x = (x1, ..., xn). Под задачей прогнозирования будем понимать восстановление условной плотности ρ( y/x) на основе эмпирической информации, то есть построение некоторой оценки g(z) функции g(z).

Для удобства дальнейших обозначений введем множество C, элементы которого будем называть стратегиями природы и обозначать c.

При этом каждой из всевозможных плотностей ρ( y/x), то есть каждой функции g(z) поставим во взаимно-однозначное соответствие некоторую c ∈ C. В дальнейшем вместо g(z) будем записывать gc(z). В отличие от известных подходов к решению задач восстановления распределений на основе выборки предлагаемый в данной работе метод ориентирован на использование эмпирической информации как в виде таблицы экспериментальных данных, так и в виде набора высказываний, полученных от многих экспертов.

Формально высказывание эксперта может быть представлено в виде следующей тройки: Bi = hE i , {(V i k , βi k )|k = 1, li}, γii, где i = 1, N (N – число высказываний, полученных от экспертов). При этом Ei ⊆ DX, V i k ⊂ DY , при k 6= l V i k T V i l =; β i k ∈ [0, 1], P li k=1 β i k 6 1, γi ∈ [0, 1].

Данное высказывание может быть проинтерпретировано следующим образом: "Если x(a) – некоторая (сответствующая объекту a) точка из DX, то вероятность того, что y(a) будет находиться в области V i 1 равна β i 1 , вероятность попадания y(a) в V i 2 равна β i 2 , . . . ".

Число γi отражает уверенность эксперта в истинности сделанного утверждения (подробнее интерпретацию уверенности см. [2]). Такого вида высказывание несет в себе информацию о функции g(z).

Действительно, ∀x ∈ Ei , βi k ' R V i k g(x, y) dy. Знак ' означает, что β i k — это лишь экспертная оценка соответствующей вероятности, а не ее истинное значение. Заметим, однако, что смысл высказывания имеет для нас значение лишь с точки зрения его влияния на зависимость вероятности появления данного высказывания от стратегии c.

Предположим, что для каждой стратегии c нам известна P( Bi /c) – условная вероятность появления высказывания Bi .

Тогда, поскольку эксперты делают высказывания независимо, то P( B/c) = = Q N i=1 P( Bi /c). Здесь B = {Bi |i = 1, N} – множество всех высказываний, представленных экспертами.

Если помимо экспертной информации мы имеем и обычную таблицу экспериментальных данных, т. е. B = {Bi |i = 1, N} S {vk|k = 1, M}, где vk = = z(ak) – вектор значений переменных, измеренных для объекта ak, случайным образом выбранного из Γ, то P( B/c) = Q N i=1 P( Bi /c) . Q M k=1 P( vk /c).

При этом P( vk /c) = gc(z(ak)) f(z(ak)), где f(z) – некоторая функция, не зависящая от c (в дальнейшем при подстановке в формулу Байеса f(z(ak)) сократится).

В прилагаемых примерах иллюстрируется случай, когда имеется только одна бинарная целевая переменная Y с множеством значений {0, 1}.

В этом случае вместо gc(z) достаточно рассматривать gc(x, 0) – условную вероятность P( y(a)=0/x(a)=x), поскольку gc(x, 1) = 1 − gc(x, 0). Высказывания экспертов в этом случае можно привести к виду: Bi = hEi ,({0}, βi ), γii. Здесь V i = {0}. Если экспертом использовалась область V i = {1}, то ее можно заменить на {0}, заменив также β i на 1 − β i . Высказывание теперь можно записать в более простом виде hEi , βi , γii, где Ei ⊆ DX, β i – предполагаемое экспертом значение функции g(x, 0) при x ∈ Ei , γi – уверенность в правильности оценки. Получаемую в результате применения (1) оценку g ∗ (x, 0) будем записывать также в форме набора высказываний, которые будут иметь вид: hE˜ l , β˜ li, где E˜ l ⊆ DX, g ∗ (x, 0) = β˜ l , при x ∈ E˜ l ; l = 1, N˜, где N˜ – число областей постоянства функции g ∗ (x, 0) в пространстве DX.

Пример 1. Пусть исходная информация представлена единственным высказыванием: 1) h E, 0.9, 0.8 i. Применяя соотношение (1), получаем: 1) h E, 0.86 i. Видим, что β˜ оказалась не равной β, а сдвинутой к 0.5 (т. е. в сторону меньшей определенности). Это вполне оправдано, поскольку уверенность эксперта (как и доверие, ему) не абсолютна.

Пример 2. Пусть даны два одинаковых высказывания двух экспертов: 1) h E, 0.9, 0.8 i; 2) h E, 0.9, 0.8 i. В результате получим: 1) h E, 0.89 i. Оценка β˜ уже гораздо ближе к β1 (или к β2), чем в первом случае. Это означает, что степень доверия двум экспертам, независимо подтверждающим мнения друг друга, выше, чем доверие высказыванию одного эксперта.

Пример 3. Дана информация: 1) h {a, b}, 0.9, 0.8 i; 2) h {b, c}, 0.1, 0.8 i; 3) h {c, d}, 0.9, 0.8 i. В данном примере пространство DX состоит из значений {a, b, c, d} единственной номинальной переменной X. Результат согласования: 1) h (x = a), 0.8 i; 2) h (x = b), 0.72 i; 3) h (x = c), 0.72 i; 4) h (x = d), 0.8 i. Результат представляется интуитивно вполне оправданным. Действительно, поскольку высказывания противоречат друг другу, то оценки для g(x, 0) значительно сдвинуты к 0.5.

Далее, ввиду того, что второй эксперт противоречит одновременно как первому так и третьему, то доверие его утверждению относительно ниже.

Этим, в частности, объясняется, например, то, что для точки b решение ближе к оценкам первого эксперта, чем второго.