Дисперсия остатков

Материал из MachineLearning.

Версия от 02:19, 30 января 2009; Tatira (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Качество модели линейной регрессии связано с адекватностью (соответствием) модели наблюдаемым данным. Проверка адекватности модели регрессии проводится на основе анализа регрессионных остатков, в частности, на основе анализа дисперсии остатков.

Описание метода

Основными показателями качества линейной регрессионной модели являются:

Среднеквадратичная ошибка уравнения регрессии $S^2,$ равная

$S^2 = \frac{RSS}{n-k}, \;\;$ где $RSS = \sum\limits_{i=1}^n(y_i-\hat y_i)^2$ - остаточная сумма квадратов.

Среднеквадратичное отклонение результата $\sigma^2:$

$\sigma^2 = \frac{\sum\limits_{i=1}^n(y_i - \bar y)}{n-1}, \;\;$ где $\bar y = \frac1n \sum\limits_{i=1}^n y_i.$

Для оценки дисперсии шума $\sigma^2$ предварительно проводится серия наблюдений над случайной величиной $y$ при фиксированной величине $x$ . В итоге получаем выборку $\tilde y = (\tilde y_1, \cdots, \tilde y_m),$ где $m$ - число наблюдений. Тогда

$\sigma^2 = \frac{\sum\limits_{i=1}^n(\tilde y_i - \bar{\tilde y})}{n-1}, \;\;$ где $\bar{\tilde y} = \frac1n \sum\limits_{i=1}^n \tilde y_i.$

В качестве статистики критерия берется отношение

$F = \frac{S^2}{\sigma^2} \; \sim \; F_{n-k-1,m}$

которое имеет распределение Фишера с $n-k-1$ и $m$ степенями свободы.

Если $F > F_{n-k-1,m,\alpha},$ где $F_\alpha$ - $\alpha$ -квантиль распределения Фишера, то ошибка в модели регрессии признается статистически значимой.
В противном случае модель признается адекватной, и дисперсию $S^2$ можно использовать в качестве несмещенной оценки для $\sigma^2.$