Участник:Slimper/Песочница
Материал из MachineLearning.
| Строка 1: | Строка 1: | ||
| - | '''Критерий Ван дер Вардена''' —   | + | '''Критерий Ван-дер-Вардена''' — [[непараметрический статистический критерий]], используемый для оценки различий между двумя [[выборка]]ми по признаку, измеренному в количественной  [[шкала измерения|шкале]]. Критерий является ранговым, поэтому он инвариантен по отношению   | 
| - | [[  | + | к любому монотонному преобразованию шкалы измерения.  | 
| - | + | ||
| - | ==  | + | == Примеры задач ==  | 
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | '''Пример 1.'''  | |
| - | + | Первая выборка — это пациенты, которых лечили препаратом А.  | |
| - | + | Вторая выборка — пациенты, которых лечили препаратом Б.  | |
| - | + | Значения в выборках — это некоторая характеристика эффективности лечения (уровень метаболита в крови, температура через три дня после начала лечения, срок выздоровления, число койко-дней, и т.д.)  | |
| + | Требуется выяснить, имеется ли значимое различие эффективности препаратов А и Б, или различия являются чисто случайными и объясняются «естественной» дисперсией выбранной характеристики.  | ||
| - | + | '''Пример 2.'''  | |
| - | + | Первая выборка — это поля, обработанные агротехническим методом А.  | |
| - | + | Вторая выборка — поля, обработанные агротехническим методом Б.  | |
| - | + | Значения в выборках — это урожайность.   | |
| - | + | Требуется выяснить, является ли один из методов эффективнее другого, или различия урожайности обусловлены случайными факторами.   | |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | '''Пример 3.'''  | |
| + | Первая выборка — это дни, когда в супермаркете проходила промо-акция типа А (красные ценники со скидкой).  | ||
| + | Вторая выборка — дни промо-акции типа Б (каждая пятая пачка бесплатно).  | ||
| + | Значения в выборках — это показатель эффективности промо-акции (объём продаж, либо выручка в рублях).   | ||
| + | Требуется выяснить, какой из типов промо-акции более эффективен.   | ||
| - | + | == Описание критерия ==  | |
| - | + | Заданы две выборки <tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>.  | |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | '''Дополнительные предположения:'''   | |
| - | + | * обе выборки [[простая выборка|простые]], объединённая выборка [[независимая выборка|независима]];   | |
| - | + | * выборки взяты из неизвестных непрерывных распределений <tex>F(x)</tex> и <tex>G(y)</tex> соответственно.  | |
| - | + | ||
| - | + | ||
| - | *[[  | + | |
| - | + | ||
| - | *  | + | |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | '''  | + | '''[[Нулевая гипотеза]]''' <tex>H_0:\; F(x) = G(y)</tex>.  | 
| - | + | ||
| - | <tex>  | + | |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | '''Статистика критерия:'''  | |
| - | + | # Построить общий [[вариационный ряд]] объединённой выборки <tex>x^{(1)} \leq \cdots \leq x^{(m+n)}</tex> и найти ранги <tex>r(x_i),\; r(y_i)</tex> всех элементов обеих выборок в общем вариационном ряду.  | |
| - | + | # Вычислить суммарные ранги обеих выборок и статистику Манна-Уитни  <tex>U</tex>:  | |
| - | + | ::<tex>R_x = \sum_{i=1}^m r(x_i);\;\;\;\; U_x = mn + \frac12m(m+1) - R_x;</tex>  | |
| - | + | ::<tex>R_y = \sum_{i=1}^n r(y_i);\;\;\;\; U_y = mn + \frac12n(n+1) - R_y;</tex>  | |
| - | + | ::<tex>U = \min\left\{U_x,U_y\right\}.</tex>  | |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | ==   | + | Замечание: менее рациональный способ вычисления статистик Манна-Уитни <tex>U_x,\: U_y</tex>:  | 
| - | {{  | + | ::<tex>U_x = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i < y_j\right];</tex>  | 
| + | ::<tex>U_y = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i > y_j\right].</tex>  | ||
| + | |||
| + | '''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):  | ||
| + | |||
| + | |||
| + | * против альтернативы <tex>H_1:\; \mathbb{P} \{ x<y \} \neq 1/2</tex>  | ||
| + | ::если <tex> U \notin \left[ U_{\alpha/2},\, U_{1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;  | ||
| + | |||
| + | * против альтернативы <tex>H'_1:\; \mathbb{P} \{ x<y \} > 1/2</tex>  | ||
| + | ::если <tex> U_x > U_{1-\alpha} </tex>, то нулевая гипотеза отвергается;  | ||
| + | |||
| + | * против альтернативы <tex>H''_1:\; \mathbb{P} \{ x<y \} < 1/2</tex>  | ||
| + | ::если <tex> U_y > U_{1-\alpha} </tex>, то нулевая гипотеза отвергается;  | ||
| + | где  | ||
| + | <tex> U_{\alpha} </tex> есть <tex>\alpha</tex>-[[квантиль]] табличного распределения Уилкоксона-Манна-Уитни с параметрами <tex>m,\,n</tex>.  | ||
| + | |||
| + | '''Асимптотический критерий''':  | ||
| + | нормированная и центрированная статистика Манна-Уитни  | ||
| + | ::<tex>\tilde U = \frac{U-\frac12mn}{\sqrt{\frac1{12}mn(m+n+1)}}</tex>   | ||
| + | асимптотически имеет стандартное нормальное распределение при <tex>m,\,n > 8</tex>.   | ||
| + | |||
| + | == Свойства и границы применимости U-критерия ==  | ||
| + | |||
| + | Иногда ошибочно считают, что U-критерий проверяет нулевую [[гипотеза однородности|гипотезу однородности]]   | ||
| + | <tex>H_{00}:\; F(x)=G(y)</tex>, то есть что две выборки взяты из одного и того же распределения.  | ||
| + | U-критерий не является состоятельным против общей альтернативы   | ||
| + | <tex>H_1:\; F(x) \neq G(y)</tex>.  | ||
| + | Это означает, что гипотеза однородности будет приниматься чаще, чем она на самом деле верна.   | ||
| + | Существуют ситуации, когда гипотеза <tex>H_{0}</tex> верна, а более сильная гипотеза однородности <tex>H_{00}</tex> не верна [Орлов].  | ||
| + | Для проверки [[гипотеза однородности|однородности]] существуют более мощные критерии, в частности, [[критерий Смирнова]] или [[критерий Лемана-Розенблатта]].   | ||
| + | |||
| + | Иногда ошибочно считают, что U-критерий проверяет нулевую гипотезу равенства медиан в двух выборках.   | ||
| + | Существуют распределения, для которых гипотеза <tex>H_{0}</tex> верна, но их медианы различны.   | ||
| + | |||
| + | U-критерий можно применять для проверки [[гипотеза сдвига|гипотезы сдвига]] в качестве альтернативной   | ||
| + | <tex>H_{1}:\; F(x)=G(x+r)</tex>, где <tex>r</tex> — некоторая константа, отличная от нуля.    | ||
| + | При этой альтернативе U-критерий является [[состоятельный критерий|состоятельным]].   | ||
| + | Его целесообразно применять, если одним и тем же прибором проводятся две серии измерений двух значений некоторой физической величины. При этом функция распределения <tex>G(x)</tex> описывает погрешности измерения одного значения, а <tex>G(x+r)</tex> — другого. Однако во многих приложениях (в частности, эконометрических) нет особых оснований предполагать, что распределение второй выборки лишь сдвигается, но не меняется каким-либо иным образом.   | ||
| + | |||
| + | U-критерий является непараметрическим аналогом [[Критерий Стьюдента|критерия Стьюдента]].  | ||
| + | Если [[нормальная выборка|выборки нормальные]], то для проверки гипотезы сдвига предпочтительно применить более мощный критерий Стьюдента.  | ||
| + | |||
| + | == История ==  | ||
| + | Критерий был предложен Ван-дер-Варденом в 1953 году   | ||
== Литература ==  | == Литература ==  | ||
| + | # ''ван дер Варден Б.Л.'' Математическая статистика/Пер.с нем. — М.:  Иностранная литература,1960 — 450 c.  | ||
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.  | # ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.  | ||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| + | == См. также ==   | ||
| + | * [[Проверка статистических гипотез]] — о методологии проверки статистических гипотез.   | ||
| + | * [[Статистика (функция выборки)]]  | ||
| + | * [[Критерий Стьюдента]]  | ||
== Ссылки ==   | == Ссылки ==   | ||
| - | |||
| - | |||
| + | [[Категория:Статистические тесты]]  | ||
| + | [[Категория:Непараметрические статистические тесты]]  | ||
{{Задание|Slimper|Vokov|08 января 2010}}  | {{Задание|Slimper|Vokov|08 января 2010}}  | ||
Версия 09:35, 6 января 2010
Критерий Ван-дер-Вардена — непараметрический статистический критерий, используемый для оценки различий между двумя выборками по признаку, измеренному в количественной шкале. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
Содержание | 
Примеры задач
Пример 1. Первая выборка — это пациенты, которых лечили препаратом А. Вторая выборка — пациенты, которых лечили препаратом Б. Значения в выборках — это некоторая характеристика эффективности лечения (уровень метаболита в крови, температура через три дня после начала лечения, срок выздоровления, число койко-дней, и т.д.) Требуется выяснить, имеется ли значимое различие эффективности препаратов А и Б, или различия являются чисто случайными и объясняются «естественной» дисперсией выбранной характеристики.
Пример 2. Первая выборка — это поля, обработанные агротехническим методом А. Вторая выборка — поля, обработанные агротехническим методом Б. Значения в выборках — это урожайность. Требуется выяснить, является ли один из методов эффективнее другого, или различия урожайности обусловлены случайными факторами.
Пример 3. Первая выборка — это дни, когда в супермаркете проходила промо-акция типа А (красные ценники со скидкой). Вторая выборка — дни промо-акции типа Б (каждая пятая пачка бесплатно). Значения в выборках — это показатель эффективности промо-акции (объём продаж, либо выручка в рублях). Требуется выяснить, какой из типов промо-акции более эффективен.
Описание критерия
Заданы две выборки .
Дополнительные предположения:
- обе выборки простые, объединённая выборка независима;
 -  выборки взяты из неизвестных непрерывных распределений 
и
соответственно.
 
Статистика критерия:
-  Построить общий вариационный ряд объединённой выборки 
и найти ранги
всех элементов обеих выборок в общем вариационном ряду.
 -  Вычислить суммарные ранги обеих выборок и статистику Манна-Уитни  
:
 
Замечание: менее рациональный способ вычисления статистик Манна-Уитни :
Критерий (при уровне значимости ):
-  против альтернативы 
 
- если 
, то нулевая гипотеза отвергается;
 
- если 
 
-  против альтернативы 
 
- если 
, то нулевая гипотеза отвергается;
 
- если 
 
-  против альтернативы 
 
- если 
, то нулевая гипотеза отвергается;
 
- если 
 
где
 есть 
-квантиль табличного распределения Уилкоксона-Манна-Уитни с параметрами 
.
Асимптотический критерий: нормированная и центрированная статистика Манна-Уитни
асимптотически имеет стандартное нормальное распределение при . 
Свойства и границы применимости U-критерия
Иногда ошибочно считают, что U-критерий проверяет нулевую гипотезу однородности 
, то есть что две выборки взяты из одного и того же распределения.
U-критерий не является состоятельным против общей альтернативы 
.
Это означает, что гипотеза однородности будет приниматься чаще, чем она на самом деле верна. 
Существуют ситуации, когда гипотеза 
 верна, а более сильная гипотеза однородности 
 не верна [Орлов].
Для проверки однородности существуют более мощные критерии, в частности, критерий Смирнова или критерий Лемана-Розенблатта. 
Иногда ошибочно считают, что U-критерий проверяет нулевую гипотезу равенства медиан в двух выборках. 
Существуют распределения, для которых гипотеза  верна, но их медианы различны. 
U-критерий можно применять для проверки гипотезы сдвига в качестве альтернативной 
, где 
 — некоторая константа, отличная от нуля.  
При этой альтернативе U-критерий является состоятельным. 
Его целесообразно применять, если одним и тем же прибором проводятся две серии измерений двух значений некоторой физической величины. При этом функция распределения 
 описывает погрешности измерения одного значения, а 
 — другого. Однако во многих приложениях (в частности, эконометрических) нет особых оснований предполагать, что распределение второй выборки лишь сдвигается, но не меняется каким-либо иным образом. 
U-критерий является непараметрическим аналогом критерия Стьюдента. Если выборки нормальные, то для проверки гипотезы сдвига предпочтительно применить более мощный критерий Стьюдента.
История
Критерий был предложен Ван-дер-Варденом в 1953 году
Литература
- ван дер Варден Б.Л. Математическая статистика/Пер.с нем. — М.: Иностранная литература,1960 — 450 c.
 - Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.
 
См. также
- Проверка статистических гипотез — о методологии проверки статистических гипотез.
 - Статистика (функция выборки)
 - Критерий Стьюдента
 
Ссылки
|   |  Данная статья является непроверенным учебным заданием.
 До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.  | 

