Критерий Диболда-Мариано
Материал из MachineLearning.
(Различия между версиями)
| Строка 1: | Строка 1: | ||
{{TOCright}} | {{TOCright}} | ||
| - | '''Критерий Диболда-Мариано''' (Diebold-Mariano test) | + | '''Критерий Диболда-Мариано''' (Diebold-Mariano test) — статистический тест, позволяющий сравнивать качество прогнозов [[Временной_ряд|временного ряда]] двух предсказательных моделей. Впервые был представлен в работе Диболда и Мариано в 1995 году, где был приведен небольшой обзор тестов такого рода. Этот тест является устойчивым к различным отклонениям от стандартных предположенный о свойствах ошибок прогнозирования. А именно предполагается, что ошибки прогнозирования могут не удовлетворять классическим критериям, т.е. могут не быть нормальными, иметь ненулевой средний уровень, а также быть серийно и одновременно коррелированными. |
==Описание== | ==Описание== | ||
Пусть | Пусть | ||
| - | <tex>\{y_t\}_{t=1}^T</tex>, <tex>\{y_{At}\}_{t=1}^T</tex> | + | <tex>\{y_t\}_{t=1}^T</tex>, <tex>\{y_{At}\}_{t=1}^T</tex> — прогнозные значения модели A, |
| - | <tex>\{y_{Bt}\}_{t=1}^T</tex> | + | <tex>\{y_{Bt}\}_{t=1}^T</tex> — прогнозные значения модели B, |
| - | <tex>\{e_{At}\}_{t=1}^T</tex> и <tex>\{e_{Bt}\}_{t=1}^T</tex> | + | <tex>\{e_{At}\}_{t=1}^T</tex> и <tex>\{e_{Bt}\}_{t=1}^T</tex> — остатки прогнозов обеих моделей, |
| - | <tex>g(e)</tex> | + | <tex>g(e)</tex> — функция потерь, |
<tex>d_{t} = g(e_{At}) - g(e_{Bt}), t=1...T</tex>. | <tex>d_{t} = g(e_{At}) - g(e_{Bt}), t=1...T</tex>. | ||
| - | Если <tex>\{d_{t}\}_{t=1}^T</tex> является слабостационарным временным рядом, то можно показать, что <tex>\sqrt T(\bar d - \mu) \stackrel{d}{\longrightarrow} N(0, f)</tex>, где <tex>\bar d =\frac1T \sum_1^{T} d_t</tex>, <tex>\mu</tex> | + | Если <tex>\{d_{t}\}_{t=1}^T</tex> является слабостационарным временным рядом, то можно показать, что <tex>\sqrt T(\bar d - \mu) \stackrel{d}{\longrightarrow} N(0, f)</tex>, где <tex>\bar d =\frac1T \sum_1^{T} d_t</tex>, <tex>\mu</tex> — неизвестное матожидание процесса, <tex>f</tex> — его дисперсия. Проверямая в критерии гипотеза <tex>H_0</tex>: <tex>\mathbf{E}d=0</tex>, альтернатива (двусторонняя): <tex>\mathbf{E}d\neq0</tex>. Вычисляемая статистика: <tex>S=\frac{\bar d}{\sqrt{(\bar f / T)}}</tex>, где <tex>\bar f = \sum_{t=-\infty}^{t=\infty}\gamma_d(\tau)</tex>, где <tex>\gamma_d(\tau)</tex> — автоковариация <tex>d</tex> порядка <tex>\tau</tex>. Гипотезе <tex>H_0</tex> соответствует <tex>: S \sim N(0, 1)</tex>. |
==Дополнительно== | ==Дополнительно== | ||
| - | Рассмотренный способ проверки гипотезы о совпадении | + | Рассмотренный способ проверки гипотезы о совпадении качества прогнозов, основанных на различных моделях, является надежным для широкого класса функций потерь. В частности, функции потерь не обязаны быть квадратическими или симметричными и непрерывными. Помимо этого, отметим еще раз, что ошибки прогнозирования могут не быть гауссовскими, а также могут иметь ненулевой средний уровень и быть коррелированными (как серийно, так и одновременно). Последнее допущение особенно важно, поскольку сравниваемые прогнозы являются прогнозами одного и того же временного ряда и основаны на довольно сильно совпадающих информационных множествах, вследствие чего ошибки прогнозирования могут быть сильно одновременно коррелированными. Однако ошибки прогнозирования в общем случае являются серийно коррелированными, и предложенный тест позволяет учитывать и эту особенность. Также возможны модификации критерия для односторонних альтернатив и для коротких временных рядов. |
| - | + | ||
| - | Также возможны модификации критерия для односторонних альтернатив и для коротких временных рядов. | + | |
| - | + | ||
==Программные реализации== | ==Программные реализации== | ||
| - | + | * [http://www.mathworks.com/matlabcentral/fileexchange/33979-diebold-mariano-test-statistic для Matlab]. | |
| - | * | + | * Для R есть функция dm.test из пакета [http://cran.r-project.org/web/packages/forecast/forecast.pdf forecast]. |
| - | * | + | |
| - | + | ||
== Ссылки == | == Ссылки == | ||
<references /> | <references /> | ||
* [http://www.mathworks.com/help/econ/autocorrelation-and-partial-autocorrelation.html Autocorrelation and Partial Autocorrelation]. MATLAB R2013b Documentation | * [http://www.mathworks.com/help/econ/autocorrelation-and-partial-autocorrelation.html Autocorrelation and Partial Autocorrelation]. MATLAB R2013b Documentation | ||
| - | |||
* [http://www.machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29 Статистический анализ данных (курс лекций, К.В. Воронцов)] | * [http://www.machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29 Статистический анализ данных (курс лекций, К.В. Воронцов)] | ||
| - | * | + | * K. Bouman. Quantitative methods in international finance and macroeconomics. Econometric Institute, 2011. Lecture FEM21004-11 |
| - | + | ||
[[Категория:Регрессионный анализ]] | [[Категория:Регрессионный анализ]] | ||
[[Категория:Анализ временных рядов]] | [[Категория:Анализ временных рядов]] | ||
Версия 19:00, 23 января 2014
|
Критерий Диболда-Мариано (Diebold-Mariano test) — статистический тест, позволяющий сравнивать качество прогнозов временного ряда двух предсказательных моделей. Впервые был представлен в работе Диболда и Мариано в 1995 году, где был приведен небольшой обзор тестов такого рода. Этот тест является устойчивым к различным отклонениям от стандартных предположенный о свойствах ошибок прогнозирования. А именно предполагается, что ошибки прогнозирования могут не удовлетворять классическим критериям, т.е. могут не быть нормальными, иметь ненулевой средний уровень, а также быть серийно и одновременно коррелированными.
Описание
Пусть
,
— прогнозные значения модели A,
— прогнозные значения модели B,
и
— остатки прогнозов обеих моделей,
— функция потерь,
.
Если является слабостационарным временным рядом, то можно показать, что
, где
,
— неизвестное матожидание процесса,
— его дисперсия. Проверямая в критерии гипотеза
:
, альтернатива (двусторонняя):
. Вычисляемая статистика:
, где
, где
— автоковариация
порядка
. Гипотезе
соответствует
.
Дополнительно
Рассмотренный способ проверки гипотезы о совпадении качества прогнозов, основанных на различных моделях, является надежным для широкого класса функций потерь. В частности, функции потерь не обязаны быть квадратическими или симметричными и непрерывными. Помимо этого, отметим еще раз, что ошибки прогнозирования могут не быть гауссовскими, а также могут иметь ненулевой средний уровень и быть коррелированными (как серийно, так и одновременно). Последнее допущение особенно важно, поскольку сравниваемые прогнозы являются прогнозами одного и того же временного ряда и основаны на довольно сильно совпадающих информационных множествах, вследствие чего ошибки прогнозирования могут быть сильно одновременно коррелированными. Однако ошибки прогнозирования в общем случае являются серийно коррелированными, и предложенный тест позволяет учитывать и эту особенность. Также возможны модификации критерия для односторонних альтернатив и для коротких временных рядов.
Программные реализации
- для Matlab.
- Для R есть функция dm.test из пакета forecast.
Ссылки
- Autocorrelation and Partial Autocorrelation. MATLAB R2013b Documentation
- Статистический анализ данных (курс лекций, К.В. Воронцов)
- K. Bouman. Quantitative methods in international finance and macroeconomics. Econometric Institute, 2011. Lecture FEM21004-11
