О состоятельности последовательности непараметрических оценок регрессии

Consistency of nonparametric estimators sequence

Ekaterina Mangalova

postgraduate student, Siberian State Aerospace University, Russia, Krasnoyarsk

Аннотация. Приводится формализация алгоритма последовательного построения непараметрических оценок Надарая-Ватсона. Доказывается состоятельность последовательности оценок с уменьшающимися параметрами размытости.

Abstract. Algorithm based on nonparametric Nadaraya-Watson estimator sequence is described. In case of decreasing bandwidths, theorem about consistency of nonparametric estimators sequence is proved.

Ключевые слова: непараметрическая регрессия; состоятельность; ансамбль.

Keywords: nonparametric estimator; consistency; ensemble.

Постановка задачи восстановления регрессии. Задача восстановления регрессии может быть записана следующим образом [1]. Имеется множество наблюдений: , где каждое наблюдение представимо набором переменных:  где x¹, x²,…, x^m  – независимые переменные, значения которых известны и на основании которых определяется значение переменной y. Требуется восстановить зависимость между входными переменными x¹, x²,…, x^m  и зависимой переменной y.

В работе [2] предложена процедура решения поставленной задачи при помощи последовательности оценок регрессии Надарая-Ватсона.

Алгоритм последовательного построения непараметрических оценок Надарая-Ватсона. Идея построения последовательности непараметрических оценок состоит в улучшении некоторой базовой оценки регрессии за счет последовательного добавления непараметрических оценок невязок.

Последовательностью нулевого уровня  является непараметрическая оценка

,

где  – параметры размытости, которые выбираются достаточно большими, чтобы оценка существовала во всем признаковом пространстве.

Каждая следующая оценка дополняет текущую последовательность , основываясь на невязке между выходом объекта y и :

На параметры размытости  накладывается условие: как минимум одна компонента  должна быть меньше соответствующей компоненты .

Построение последовательности происходит до тех пор, пока уменьшается значение среднеквадратического отклонения выхода модели от выхода объекта.

Состоятельность последовательности непараметрических оценок. Рассмотрим задачу оценивания  по выборке независимых синхронных измерений случайных величин  при известной плотности вероятности .

Теорема. Пусть:

а)  в области определения ограничены и непрерывны вместе со своими производными до второго порядка включительно, а также 

б) ядерная функция  удовлетворяет следующим условиям:

в) на последовательность коэффициентов размытости накладывается условие: 

Тогда ансамбля непараметрических оценок 

обладает свойством состоятельности:.

Доказательство. 1. Рассмотрим ансамбль, состоящий из двух моделей:

,

где ,  - эквивалентно выборочному среднему.

Представим дисперсию в следующем виде:

Вычислим среднеквадратическое отклонение:

Найдем :

Сделаем замену переменных :

Т.к. 

.

2. Покажем, что свойство состоятельности не нарушится при добавлении в последовательность промежуточной модели с параметром размытости :

,

.

  Вычислим среднеквадратическое отклонение:

Докажем, что оба слагаемых равны нулю:

где 

Проведя замену переменных и применяя преобразования, аналогичные использованным в п. 1, получаем:

Аналогично и для второго слагаемого:

Проведя замену переменных и применяя преобразования, аналогичные использованным в п. 1, получаем:

Таким же образом может быть показано, что добавление любого количества промежуточных моделей не нарушает свойства состоятельности.

3. Свойство состоятельности не нарушится при добавлении в последовательность оценки с параметром размытости :

.

Далее доказательство аналогично приведенному в п.1.

Таким образом, последовательность непараметрических оценок, как и непараметрическая оценка Надарая-Ватсона, является состоятельной.