Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона?
Установлено, что двухвыборочный критерий Вилкоксона (Манна-Уитни) предназначен для проверки гипотезы H0 : P(X < Y) = 1/2, где X - случайная величина, распределенная как элементы первой выборки, а Y - второй. Разобраны три примера.
В прикладной математической статистике часто рассматривают вероятностную модель двух независимых выборок числовых результатов наблюдений. Первая выборка описывается набором m случайных величин X1, X2, ... , Xm, имеющих одну и ту же функцию распределения F(x), а вторая выборка - набором n случайных величин Y1, Y2, ... , Yn, имеющих одну и ту же функцию распределения G(x), причем все эти m+n случайных величин X1, X2, ... , Xm, Y1, Y2, ... , Yn независимы в совокупности. Без ограничения общности можно считать, что m # n, в противном случае выборки можно поменять местами. Обычно предполагается, что функции F(x) и G(x) непрерывны и строго возрастают. Из непрерывности этих функций следует, что с вероятностью 1 все m+n результатов наблюдений различны. В реальных статистических данных иногда встречаются совпадения, но сам факт их наличия - свидетельство нарушений предпосылок только что описанной базовой математической модели.
Статистика S двухвыборочного критерия Вилкоксона определяется следующим образом. Все элементы объединенной выборки X1, X2, ..., Xm, Y1, Y2, ... , Yn упорядочиваются в порядке возрастания. Элементы первой выборки X1, X2, ..., Xm занимают в общем вариационном ряду места с номерами R1, R2, ..., Rm, другими словами, имеют ранги R1, R2, ..., Rm . Тогда
S = R1 + R2 + ... + Rm .
Статистика U Манна-Уитни определяется как число пар (Xi, Yj) таких, что Xi < Yj , среди всех mn пар, в которых первый элемент - из первой выборки, а второй - из второй. Как известно [1, с.160],
U = mn + m(m+1)/2 - S .
Поскольку S и U линейно связаны, то часто говорят о критерии Вилкоксона (Манна-Уитни). Не будем обсуждать здесь вопросы истории и терминологии, относящиеся к S и U.
Критерий Вилкоксона - один из самых известных инструментов непараметрической статистики (наряду со статистиками типа Колмогорова-Смирнова и коэффициентами ранговой корреляции). Свойствам этого критерия и таблицам его критических значений уделяется место во многих монографиях по математической и прикладной статистике (см., например, [1-3]).
Однако в литературе имеются и неточные утверждения относительно возможностей критерия Вилкоксона. Так, одни полагают, что с его помощью можно обнаружить различие между функциями распределения F(x) и G(x). По мнению других, этот критерий нацелен на проверку равенства медиан распределений, соответствующих выборкам. И то, и другое, строго говоря, неверно. Настоящая статья написана, чтобы внести ясность в рассматриваемый вопрос.
Ссылки на публикации с неточными и ошибочными утверждениями не приводим по нескольким причинам. Во-первых, таких публикаций слишком много. Во-вторых, некоторые из них после исключения ошибок представляют ценность для практически работающего статистика. В-третьих, зачем создавать рекламу плохим книгам. И т.п.
Введем некоторые обозначения. Пусть F-1(t) - функция, обратная к функции распределения F(x). Она определена на отрезке [0;1]. Положим L(t) = G(F-1(t)). Поскольку F(x) непрерывна и строго возрастает, то F-1(t) и L(t) обладают теми же свойствами. Важную роль в дальнейшем изложении будет играть величина a = P(X < Y) . Как нетрудно показать,
a = P(X < Y) = .
Введем также
b2 = - (1 -a)2 , g2 = - a2 .
Тогда математические ожидания и дисперсии статистик Вилкоксона и Манна-Уитни согласно [1, с.160] выражаются через введенные величины:
E(U) = mna , E(S) = mn + m(m+1)/2 - E(U) = mn(1- a) + m(m+1)/2,
D(S) = D(U) = mn [ (n - 1) b2 + (m - 1) g2 + a(1 -a) ] . (1)
Когда объемы обеих выборок безгранично растут, распределения статистик Вилкоксона и Манна-Уитни являются асимптотически нормальными (см., например, [1, гл.5 и 6]) с параметрами, задаваемыми формулами (1) .
Если выборки полностью однородны, т.е. их функции распределения совпадают, справедлива гипотеза
H0: F(x) = G(x) при всех x, (2)
то L(t) = t и a= 1/2. Подставляя в формулы (1), получаем, что
E(S) = m(m+n+1)/2, D(S) = mn(m+n+1)/ 12 (3) .
Следовательно, распределение нормированной и центрированной статистики Вилкоксона
T = ( S - m(m+n+1)/2) (mn(m+n+1)/ 12 ) - 1/2 (4)
при росте объемов выборок приближается к стандартному нормальному распределению (с математическим ожиданием 0 и дисперсией 1).
Правила принятия решений и таблица критических значений для критерия Вилкоксона строятся в предположении справедливости гипотезы полной однородности, описываемой формулой (2). А что будет, если эта гипотеза неверна? Другими словами, какова мощность критерия Вилкоксона?
Пусть объемы выборок достаточно велики, так что можно пользоваться асимптотической нормальностью статистики Вилкоксона. Тогда в соответствии с формулами (1) статистика T будет асимптотически нормальна с параметрами
E(T) = ( 12mn ) 1/2 (1/2 - a) (m+n+1) - 1/2 ,
D(T) = 12 [(n - 1) b2 + (m - 1) g2 + a(1 -a) ] (m+n+1) - 1 . (5)
Из формул (5) видно большое значение гипотезы
H01: a = P(X < Y) = 1/2 . (6)
Если эта гипотеза неверна, то, поскольку m # n, справедлива оценка
u E(T) u $ ( 12m n (2n+1) - 1) 1/2 u 1/2 - au ,
а потому u E(T) u безгранично растет при росте объемов выборок. В то же время, поскольку
b2 # # 1, g2 # # 1, a(1 -a)#1/4,
то
D(T) # 12 [(n - 1) + (m - 1) + 1/4] (m+n+1) - 1 # 12. (7)
Следовательно, вероятность отклонения гипотезы H01 , когда она неверна, т.е. мощность критерия Вилкоксона как критерия проверки гипотезы (6), стремится к 1 при возрастании объемов выборок, т.е. критерий Вилкоксона является состоятельным для этой гипотезы при альтернативе
АH01: a = P(X < Y) ё 1/2 . (8) .
Если же гипотеза (6) верна, то статистика T асимптотически нормальна с математическим ожиданием 0 и дисперсией, определяемой формулой
D(T) = 12 [(n - 1) b2 + (m - 1) g2 + 1/4 ] (m+n+1) - 1 . (9)
Гипотеза (6) является сложной, дисперсия (9), как показывают приводимые ниже примеры, в зависимости от значений b2 и g2 может быть как больше 1, так и меньше 1, но согласно неравенству (7) никогда не превосходит 12.
Приведем пример двух функций распределения F(x) и G(x) таких, что гипотеза (6) выполнена, а гипотеза (2) - нет. Поскольку
a = P(X < Y) = т F(x)dG(x) , 1 - a = P(Y < X) = т G(x)dF(x) (10) ,
и a = 1/2 в случае справедливости гипотезы (2), то для выполнения условия (6) необходимо и достаточно, чтобы
_т (F(x) - G(x)) dF(x) = 0 (11) ,
а потому естественно в качестве F(x) рассмотреть функцию равномерного распределения на интервале (-1 ; 1). Тогда формула (11) переходит в условие
_т (F(x) - G(x)) dF(x) = - 1/2 т (G(x) - (x + 1)/2 ) dx = 0 (11) .
Это условие выполняется, если функция (G(x) - (x + 1)/2 ) является нечетной.
Пример 1. Пусть функции распределения F(x) и G(x) сосредоточены на интервале (-1 ; 1), на котором
F(x) = (x + 1)/2 , G(x) = ( x + 1 + 1/p sin px ) / 2 .
Тогда x = F-1(t) = 2t - 1, L(t) = G(F-1(t)) = (2 t + 1/p sin p(2t - 1)) / 2 = t + 1/2p sin p(2t - 1) . Условие (11) выполнено, поскольку функция (G(x) - (x + 1)/2 ) является нечетной. Следовательно, a = 1/2 . Начнем с вычисления
g2 = т t2 dL(t) - 1/4 = т t2 d(t + 1/2p sin p(2t - 1)) - 1/4 .
Поскольку d(t + 1/2p sin p(2t - 1)) = (1 + cos p(2t - 1) ) dt, то
g2 = т t2 (1 + cos p(2t - 1) ) dt - 1/4 = 1/12 + т t2 cos p(2t - 1) dt .
С помощью замены переменных t = (x +1) / 2 получаем, что
_т t2cos p(2t - 1) dt = 1/8 (т x2cos px dx + 2т x cos px dx + т cos px dx) .
В правой части последнего равенства стоят табличные интегралы [4, с.71]. Проведя соответствующие вычисления, получаем, что в правой части стоит 1/8 ( - 4/ p2) = - 1/(2 p2). Следовательно,
g2 = 1/12 - 1/(2 p2) = 0,032672733...
Перейдем к b2 . Поскольку
b2 = т L2(t)dt- 1/4 = т (t + 1/2p sin p(2t - 1))2 dt- 1/4 ,
то
b2 = 1/12 + 1/pт (t sin p(2t - 1)) dt + (1/2p)2т sin2 p(2t - 1) dt .
С помощью замены переменных t = (x+1) / 2 переходим к табличным интегралам [4, с.65]:
b2= 1/12 + (4p)-1т x sin px dx + (4p)-1т sin px dx + (8p2)-1т sin2px dx.
Проведя необходимые вычисления, получаем, что
b2= 1/12 + (4p)-1( - 2/p) +0+ (8p2)-1 = 1/12 - 3(8p2)-1 = 0,045337893...
Следовательно, для рассматриваемых функций распределения нормированная и центрированная статистика Вилкоксона (см. формулу (4)) асимптотически нормальна с математическим ожиданием 0 и дисперсией (см. формулу (9))
D(T) = ( 0,544 n + 0,392 m + 2,064 ) (m+n+1) - 1 .
Как легко видеть, дисперсия всегда меньше 1. Это значит, что в рассматриваемом случае гипотеза полной однородности (2) при проверке с помощью критерия Вилкоксона будет приниматься чаще, чем если она на самом деле верна.
На наш взгляд, это означает, что критерий Вилкоксона нельзя считать критерием для проверки гипотезы (2) при альтернативе общего вида. Он не всегда позволяет проверить однородность - не при всех альтернативах. Точно так же критерии типа хи-квадрат нельзя считать критериями проверки гипотез согласия и однородности - они позволяют обнаружить не все различия, поскольку некоторые "скрадывает" группировка.
Обсудим теперь, действительно ли критерий Вилкоксона нацелен на проверку равенства медиан распределений, соответствующих выборкам.
Пример 2. Построим семейство пар функций распределения F(x) и G(x) таких, что их медианы различны, но для F(x) и G(x) выполнена гипотеза (6). Пусть распределения сосредоточены на интервале (0 ; 1), и на нем G(x) = x , а F(x) имеет кусочно-линейный график с вершинами в в точках (0 ; 0), ( l , 1/2 ), ( d , 3/4), (1 ; 1). Следовательно, F(x) = 0 при x < 0 ; F(x) = x / (2 l) на [0 ; l ) ; F(x) = 1/2 + (x - l ) / (4 d - 4 l) на [l ; d ) ; F(x) = 3/4 + (x - d ) / (4 - 4 d) на [ d ; 1] ; F(x) = 1 при x > 1. Очевидно, что медиана F(x) равна l, а медиана G(x) равна 1/2 .
Согласно соотношению (9) для выполнения гипотезы (6) достаточно определить d как функцию l , d = d ( l ) , из условия
_т F(x) dx = 1/2 .
Вычисления дают
d = d ( l ) = 3 (1 - l ) / 2 .
Учитывая, что d лежит между l и 1, не совпадая ни с тем, ни с другим, получаем ограничения на l, а именно, 1/3 < l < 3/5 . Итак, построено искомое семейство пар функций распределения.
Пример 3. Пусть, как и в примере 2, распределения сосредоточены на интервале (0 ; 1), и на нем F(x) = x , а G(x) - функция распределения, сосредоточенного в двух точках - b и 1, т.е. G(x) = 0 при x, не превосходящем b ; G(x) = h на (b ; 1] ; G(x) = 1 при x > 1. С такой функцией G(x) легко проводить расчеты. Однако она не удовлетворяет принятым выше условиям непрерывности и строгого возрастания. Вместе с тем легко видеть, что она является предельной (сходимость в каждой точке отрезка [0 ; 1] ) для последовательности функций распределения, удовлетворяющих этим условиям, а распределение статистики Вилкоксона для пары функций распределения примера 3 является предельным для последовательности соответствующих распределений статистики Вилкоксона, полученных в рассматриваемых условиях непрерывности и строгого возрастания.
Условие P(X < Y) = 1/2 выполнено, если h = (1 - b)-1 / 2 (при b из отрезка [0 ; 1/2] ). Поскольку h > 1/2 при положительном b, то очевидно, что медиана G(x) равна b, в то время как медиана F(x) равна 1/2 . Значит, при b = 1/2 медианы совпадают, при всех иных положительных b - различны. При b = 0 медианой G(x) является любая точка из отрезка [0 ; 1].
Легко подсчитать, что в условиях примера 3 b2 = b(1- b)-1 / 4 , g2 = (1- 2b) / 4 . Следовательно, распределение нормированной и центрированной статистики Вилкоксона будет асимптотически нормальным с математическим ожиданием 0 и дисперсией
D(T) = 3 [(n-1) b(1- b)-1 + (m-1) (1-2b) + 1] (m+n+1) - 1 .
Проанализируем величину D(T) в зависимости от параметра b и объемов выборок m и n. При достаточно больших m и n
D(T) = 3 w b (1 - b)-1 + 3 (1 - w) (1 - 2 b) ,
с точностью до величин порядка (m+n)-1 , где w= n/(m+n). Значит, D(T) - линейная функция от w, а потому достигает экстремальных значений на границах интервала изменения w, т.е. при w = 0 и w = 1. В первом случае, при b(1-b)-1 <1-2b, минимум равен 3b(1-b)-1 (при w = 1), а максимум равен 3(1 - 2b) (при w = 0). Во втором случае, при b(1-b)-1 >1-2b, максимум равен 3b(1-b)-1 (при w = 1), а минимум равен 3(1 - 2b) (при w = 0). Если же b(1-b)-1 =1-2b, а это равенство справедливо при b=b0 = 1 - 2-1/2 = 0,293, то D(T) = 3 (21/2 - 1) = 1,2426... при всех w из отрезка [0 ; 1].
Первый из описанных выше случаев имеет быть при b < b0 , при этом минимум D(T) возрастает от 0 (при b=0, w=1 - предельный случай) до 3(21/2 - 1) (при b=b0 , w - любом), а максимум уменьшается от 3 (при b=0, w=0 - предельный случай) до 3 (21/2 - 1) (при b=b0 , w - любом). Второй случай относится к b из интервала (b0 ; 1/2]. При этом минимум убывает от приведенного выше значения для b=b0 до 0 (при b=1/2 , w=0 - предельный случай) , а максимум возрастает от того же значения при b=b0 до 3 (при b=1/2 , w=0).
Таким образом, D(T) может принимать все значения из интервала (0 ; 3) в зависимости от значений b и w. Если D(T) < 1, то при применении критерия Вилкоксона к выборкам с рассматриваемыми функциями распределения гипотеза однородности (2) будет приниматься чаще (при соответствующих значениях b и w - с вероятностью, сколь угодно близкой к 1), чем если бы она самом деле была верна. Если 1<D(T)<3, то гипотеза (2) также принимается достаточно часто. Так, если уровень значимости критерия Вилкоксона равен 0,05, то (асимптотическая) критическая область этого критерия имеет вид {T: U T U $ 1,96}. Если - самый плохой случай - D(T)=3, то гипотеза (2) принимается с вероятностью 0,7422.
* * *
При проверке гипотезы однородности мы рассмотрели различные виды нулевых и альтернативных гипотез - гипотезу (2) и ее отрицание в качестве альтернативы, гипотезу (6) и ее отрицание, гипотезы о равенстве или различии медиан. В теоретических работах по математической статистике любят гипотезу сдвига, в которой альтернативой гипотезе (2) является гипотеза
H1: F(x) = G(x + r) при всех x и некотором r, отличным от 0 . (12)
Если верна альтернативная гипотеза H1, то вероятность P(X < Y) отлична от 1/2, и критерий Вилкоксона является состоятельным.
В некоторых прикладных постановках гипотеза (12) представляется естественной. Например, если одним и тем же прибором проводятся две серии измерений двух значений некоторой величины (физической, химической и т.п.). При этом функция распределения G(x) описывает погрешности измерения одного значения, а G(x+r) - другого (вопреки распространенному заблуждению, хорошо известно, что распределение погрешностей измерений, как правило, не является нормальным - см. об этом консультацию [5]). Однако в большинстве прикладных постановок нет никаких оснований считать, что отсутствие однородности всегда выражается столь однозначным образом, как следует из формулы (12). Поэтому мы, рассматривая в статье [6] проблему выбора статистического критерия для проверки однородности, пришли к выводу о необходимости использования критериев, состоятельных против любого отклонения от гипотезы однородности (2), прежде всего критериев Смирнова и типа омега-квадрат (Лемана-Розенблатта).
Почему же математики так любят гипотезу сдвига (12)? Да потому, что она дает возможность доказывать глубокие математические результаты, например, об асимптотической оптимальности критериев, как это продемонстрировано в монографии Я.Ю.Никитина [7]. К сожалению, с точки зрения прикладной статистики это напоминает поиск ключей под фонарем, где светло, а не там, где они потеряны. Впрочем, новые методы обычно сначала разрабатываются в лаборатории и только потом переносятся на производство.
Отметтим еще одно обстоятельство. Часто говорят (в соответствии с классическим подходом математической статистики), что нельзя проверять нулевые гипотезы без рассмотрения альтернативных. Однако при практическом анализе данных зачастую полностью ясна формулировка той гипотезы, которую желательно проверить (например, гипотезы полной однородности - см. формулу (2)), в то время как формулировка альтернативной гипотезы не очевидна (то ли это гипотеза о неверности равенства (2) хотя бы для одного значения x, то ли это альтернатива (8), то ли - альтернатива сдвига (12), и т.д.). В таких случаях целесообразно "обернуть" задачу - исходя из статистического критерия найти альтернативы, относительно которых он состоятелен. Именно это и проделано в настоящей статье для критерия Вилкоксона.
Литература
1. Гаек Я., Шидак З. Теория ранговых критериев. - М.: Наука, 1971. - 376 с.
2. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: ВЦ АН СССР, 1968. - 474 с.
3. Холлендер М., Вулф Д.А. Непараметрические методы статистики. - М.: Финансы и статистика, 1983. - 518 с.
4. Смолянский М.Л. Таблицы неопределенных интегралов. - М.: ГИФМЛ, 1961. - 108 с.
5. Орлов А.И. / Заводская лаборатория. 1991. Т.57. № 7. С.64-66.
6. Орлов А.И. / Вестник Академии медицинских наук СССР. 1987. №2. С.88-94.
7. Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. - М.: Наука, 1995. - 240 с.