Проверка нормальности распределения

Поскольку в основе классической линейной регрессионной модели лежит предположение о нормальном законе ошибок, приведем некоторые критерии, позволяющие это проверить.

Наиболее общим критерием, позволяющим проверить гипотезу о конкретном (заранее определенном) виде семейства распределений, из которого мы имеем выборку X_v …, Х_п, является критерий Колмогорова — Смирнова.

Опишем тест Колмогорова — Смирнова сначала в общем случае (для двух произвольных распределений), а потом в более интересном для нас частном случае (когда второе распределение является нормальным).

В общем случае рассматриваются две выборки: X_v …, Х_т из генеральной совокупности с функцией распределения Fи Г,…, Y_n из генеральной совокупности с функцией распределения G, причем эти выборки являются взаимно независимыми, а функции F и G заранее неизвестны. Тогда нулевая и альтернативная гипотезы имеют следующий вид:

Для проверки этих гипотез используется модифицированная статистика J Колмогорова — Смирнова^[1]

где F_m(t), G_n(t) — эмпирические функции распределения для выборок X_v…, Х_ти У_р У_п, а именно:

d — наибольший общий делитель т и п, где т — общее количество элементов в первой выборке, а п — общее количество элементов во второй выборке. Обе эмпирические функции являются кусочно-непрерывными со скачками в значениях X_v …, Х_т и Y_v …, Y_n соответственно.

Объединив и упорядочив значения двух выборок, X_v …, Х_т и У,…, Y_n, положив Z₍₁₎ < … < Z_(jV), где iV= /и + п_у мы можем переписать тестовую статистику в более удобном для вычислений виде:

Замечание 4.6. Замечательное свойство статистики Колмогорова — Смирнова,/ состоит в том, что ее распределение не зависит от конкретного вида генеральной совокупности.

Критические значения для статистики Колмогорова — Смирнова (для соответствующего уровня значимости а) могут быть найдены в соответствующих статистических таблицах^[2]. Несмотря на то что современные статистические пакеты считают критические значения автоматически, эти расчеты опираются на сильные предположения, которые имеют место в асимптотике, и на малых выборках следует использовать упомянутые таблицы. Правило выбора между основной и альтернативной гипотезами имеет следующий вид: при уровне значимости а гипотеза Я₀ отвергается в пользу гипотезы Я, при выполнении условия J > j_a (а в противном случае Я₀ не отвергается).

Если min{m, п} —⁵? °о (случай больших выборок), то может быть использовано предельное распределение статистики.

а именно, для s > 0 и 0 в противном случае.

В этом случае нет необходимости использовать достаточно громоздкие таблицы, и правило выбора между основной и альтернативной гипотезами значительно упрощается.

При min{m, п) —*? °° гипотеза Я₀ отвергается в пользу гипотезы Я, при выполнении условияJ* > q*_a, где q*_a определяется из соотношения Q (q*) = а,.

+оо.

a Q (s) = 1 — Yj (-1 )^ke^^2kV для s > 0 (и 0 в противном случае).

?—оо При применении теста Колмогорова — Смирнова для проверки, что некоторая выборка принадлежит конкретному семейству распределений с известной функцией распределения F₀(t) (в нашем случае нормальному, в качестве математического ожидания которого обычно выбирается выборочное среднее, а в качестве дисперсии — выборочная дисперсия), используется основная гипотеза Я₀: F (t) = F₀(t) для любого t при альтернативной гипотезе Я: F (t) ^ F₀(t) при некотором L.

Статистика Колмогорова — Смирнова сводится к виду.

или к более удобной для вычислений форме.

Критические значения для статистики J_Q могут быть найдены в соответствующих статистических таблицах^[3]. Однако, как и в предыдущем случае, на практике чаще работают с предельными распределениями. При этом используется следующая аппроксимация:

для s > 0 и 0 в противном случае.

Другим популярным способом проверки нормальности выборки является тест Харке — Бера (Jarque — Вега) с основной и альтернативными гипотезами Я₀: Х_[у…, Х_п — выборка из нормального распределения; Я₀: X_v …, Х_п — выборка не из нормального распределения. Тестовая статистика в этом тесте имеет вид.

где л — коэффициент асимметрии (skewness), или выборочный нормированный третий центральный момент (для симметричных распределений, в том числе нормального, этот показатель равен нулю), вычисляемый по формуле.

k — коэффициент эксцесса (kurtosis), или выборочный нормированный четвертый центральный момент, вычисляемый по формуле.

Этот показатель отражает степень «островершинности» распределения. Для нормального распределения коэффициент эксцесса равен 3.

При выполнении гипотезы Н₀ статистика Харке — Бера имеет распределение у},. Если JB > х"(2), где, а — выбранный уровень значимости, то гипотеза Н₀ отвергается.

Однако тесты Харке — Бера п Колмогорова — Смирнова используются в случае, когда число наблюдений п достаточно велико. Для малых выборок более популярным является тест Шапиро — Уилка¹, который был впоследствии скорректирован и для больших выборок. Численные симуляции и эксперименты показали, что в общем и целом (для различных симметричных и асимметричных распределений с разной степенью островершинности) тест Шапиро — Уилка является наиболее мощным тестом на нормальность распределения.

Тест Шапиро — Уилка опирается на порядковые статистики нормального распределения и сравнивает с ними квантили тестируемого распределения. Статистика W в данном случае имеет вид.

где вектор коэффициентов a_(j) рассчитывается по формуле.

т’У'

m⁷ V 'V 'm.

вектор математических ожиданий порядковых статистик нормального распределения, V — ковариационная матрица этих порядковых статистик размера п х п.

Статистика W Шапиро — Уилка принимает значения на интервале [0; 1], а ее распределение зависит только от числа наблюдений. Точные коэффициенты a_t для небольших п доступны в таблицах, а для больших выборок на практике используются аппроксимации^[4][5][6]. На основе этих коэффициентов рассчитываются и критические точки самого распределения (см. приложение 2).

Отметим, что все вышеназванные тесты для проверки нормальности выборки можно провести в основных статистических пакетах, в том числе Stata и R.

• [1] См. работу [231.
• [2] См., например, табл. А. 10 приложения книги [23, р. 606—630].
• [3] См., например, табл. All приложения книги [23, р. 631].
• [4] Детали этого теста можно найти в статье: Shapiro S. S., Wilk М. В. An analysis of variancetest for normality (complete samples) // Biomctrika. 1965. Vol. 52. № ¾. P. 591—611.
• [5] Например, их можно взять из статьи: Royston Р. Approximating the Shapiro-Wilk W-Tcst
• [6] for non-normality // Statistics and Computing. 1992. Vol. 2. № 3. P. 117—119.