Оценка точности коэффициентов и возможности прогноза по линейной регрессии

Проведенное в предшествующем параграфе рассмотрение предпосылок МНК показывает, что надежность получаемых по регрессионным уравнениям предсказаний тесно связана с характером и дисперсией случайных отклонений и,. Характер поведения случайной компоненты во многом определяется числом и взаимосвязью включенных в модель факторов. Поэтому рассмотрение этих проблем логичнее провести при анализе множественной регрессии. В данном же разделе мы проанализируем только влияние разброса случайной компоненты в однофакторной регрессии на ее точность. Как мы уже отмечали, в таких моделях, близких по сути к каузальному описанию реальных процессов, можно гомоскедастичность понимать как однородность дисперсии, т. е. как требование одинаковой точности измерений во всей области вариативности факторного признака.

Если, наряду с другими, предпосылка гомоскедастичности выполняется, то дисперсия случайной компоненты фактически отражает разброс результирующего показателя относительно линии регрессии и, следовательно, по ее величине можно судить о точности определения коэффициентов регрессии с помощью МНК.

Для выявления вклада дисперсий коэффициентов D (b₀) и /ОД) в дисперсию ст² случайных отклонений представим формулы вычисления коэффициентов Ь₀ и b_v следующие из системы нормальных уравнений типа (51), в виде линейных функций относительно значений результирующего показателя Y (суммирование предполагается по всем наблюдениям).

Введя обозначение с,=-=~*—-'-т. получим следующее соотношение.

• 2>/~^х)
• 6, = 2>лУ/-

Для определения коэффициента Ь₀ воспользуемся формулой (52) и с помощью введенного соотношения получим:

Обозначив теперь разницу в скобках как d, = — -с, х, имеем Л.

Вследствие выполнимости предпосылок МНК дисперсия результирующего показателя У постоянна и не зависит от значений X. Но тогда величины с, и (У, можно рассматривать как некоторые константы и, следовательно,.

Формулы (55) и (56) показывают, что дисперсии оценок Ь₀ и Ь, прямо пропорциональны дисперсии случайного отклонения ст². Следовательно, чем больше фактор случайности, тем менее точными будут оценки. Одновременно можно утверждать, что чем больше число п наблюдений, тем меньше дисперсии оценок (чем большим числом данных мы располагаем, тем вероятнее получение более точных оценок). Наконец, чем больше интервал значений объясняющей переменной, тем меньше дисперсия оценок коэффициентов и тем точнее будут они сами.

Вследствие того, что случайные отклонения от теоретической регрессии по выборке определены быть не могут, они при анализе надежности оценок коэффициентов заменяются отклонениями и, = у, — Ь₀ — Ь, х, значений у, переменной У от оцененной линии регрессии. Дисперсия случайных отклонений а² при этом полагается совпадающей с ее несмещенной оценкой:

В результате имеем.

В данных соотношениях:

2 Yuf.

о = *=* - - необъясненная дисперсия (мера разброса зависимой пе;

п -2.

ременной вокруг линии регрессии). Корень квадратный из необъясненной дис;

Гуу Персии, т. е. S =^, называется стандартной ошибкой оценки (стандарт

ной ошибкой регрессии)',

^ и ^ - стандартные отклонения случайных величин Ь₀

и b_v называемые стандартными ошибками коэффициентов регрессии.

Оценка точности линейной регрессии наряду с получением точечных оценок предполагает и расчет доверительных интервалов для коэффициентов, являющихся случайными величинами вследствие ограниченности объема выборки. Однако, прежде чем переходить к построению таких интервалов, необходимо убедиться в применимости линейной модели для описания наблюдавшегося взаимовлияния переменных X и У (или отвергнуть его). Корреляцию (т. е. взаимовлияние) переменных можно признать только, если соответствующий коэффициент значимо отличен от нуля. Поэтому, предположив, что выборочное значение г коэффициента принадлежит двумерной нормальной совокупности с коэффициентом корреляции р = 0, строят статистику Стъюдента для гипотезы Н₀: г= 0, т. е. вида.

где s[r) — выборочное среднеквадратическое для оценки коэффициента корреляции.

Вследствие неизвестности s® непосредственный расчет эмпирического значения /-статистики по этой формуле невозможен. Поэтому, опираясь на предпосылки МНК, используют дисперсию случайных отклонений, поскольку в этом случае она однозначно определяет и объясненную дисперсию. Но тогда.

и, следовательно, с учетом свойств коэффициента детерминации и возможностью его расчета через дисперсию случайного отклонения.

Если нуль-гипотеза отклоняется для числа степеней свободы (п — 2) при заданной доверительной вероятности Р, то существование линейной корреляции считается доказанным.

Если коэффициент корреляции признан значимым, то в соответствии с решением системы нормальных уравнений наилучший возможный коэффициент регрессии будет вычисляться по формуле.

а свободный член б₀ можно рассчитать из соотношения.

Чтобы проверить, значимы ли эти параметры (т. е. значимо ли они отличаются от нуля в «истинном» уравнении регрессии), также используют t- статистику Стьюдента, которая сравнивает отклонение коэффициента от нуля со стандартной ошибкой определения соответствующего коэффициента. В качестве гипотезы Н₀ в этом случае выдвигают гипотезу о незначимом отличии от нуля «истинного» параметра регрессии. Альтернативной будет гипотеза о неравенстве нулю «истинного» параметра. Найденное по экспериментальным данным значение f-статистики для соответствующего параметра регрессии сравнивают с критическим при заданном уровне значимости (а) и числе степеней свободы, которое равно (л — h), где л — число наблюдений, h — число оцениваемых параметров в уравнении регрессии. В случае парной линейной регрессии h = 2 и число степеней свободы равно (л-2).

Если фактическое значение f-статистики, взятое по модулю, больше критического, то основную гипотезу отвергают и считают, что с вероятностью (1 — а) «истинный» параметр регрессии значимо отличается от нуля. В противном случае нет оснований отвергать нуль-гипотезу, т. е. «истинный» параметр регрессии незначимо отличается от нуля при уровне значимости а.

Для проверки гипотезы (3, = 0 статистика имеет вид.

где bi — оценка коэффициента (3, теоретической регрессии, полученная по наблюдаемым данным;

S₆₁ — стандартная ошибка оценки коэффициента регрессии р₁.

Аналогично строится гипотеза для проверки значимости свободного члена теоретической регрессии р₀.

Оценка значимости уравнения регрессии в целом производится для принятия решения о его пригодности для прогнозных расчетов. При этом выдвигают основную гипотезу о незначимости уравнения в целом, которая формально сводится к гипотезе о равенстве нулю параметров регрессии или, что-то же самое, о равенстве нулю коэффициента детерминации: R² = 0. Альтернативной ей будет гипотеза о значимом отличии от нуля коэффициента детерминации: R²* 0.

Проверяют гипотезу, используя F-статистику.

и фактически сравнивая объясненную и необъясненную дисперсии в уравнении с числом h «2 оцениваемых параметров и числами степеней свободы v_t = /? — 1.

и v₂ = п — h.

Значение F_H>6n критерия, рассчитанное по данным выборки, сравнивают с критическим значением F_{tр1ау%Уг)}- Если F^_n 4t{ay^_t)l то гипотезу о незначимости уравнения регрессии не отвергают, в противном случае принимают альтернативную гипотезу о статистической значимости уравнения парной линейной регрессии в целом, причем величина коэффициента детерминации интерпретируется как доля изменения результирующего показателя у за счет фактора х.

Отметим также, что в линейной парной регрессии существует взаимосвязь между критериями проверки гипотез для коэффициентов регрессии и корреляции: f_(ftie0) = t_{rm0) =4f .

Таким образом, если наличие корреляции подтверждено, то для построения доверительных интервалов коэффициентов в регрессии У, = ах, + Ь, полученной по результатам т наблюдений за результирующим показателем У, сначала вычисляют дисперсию разности между опытными (у,) и рассчитанными У, = ах, +Ь значениями:

Затем, пользуясь законом сложения ошибок с числом степеней свободы f = т-2, ищут выборочные дисперсии для коэффициентов, а и Ь:

Окончательно доверительные интервалы для а и b получают из соотношений.

по процентным точкам (критическим значениям для доверительной вероятности Р) распределения Стьюдента (Приложение 2). При этом, естественно, все коэффициенты необходимо оценивать с доверительной вероятностью для признанного значимым коэффициента корреляции г.

Если полученные коэффициенты дают для наблюдавшихся данных среднюю ошибку аппроксимации не более 10%, то сглаженную функцию У = ах + Ь можно использовать и для вычисления прогнозных значений зависимой переменной. При этом необходимо учитывать, что одному значению х_к мы ставим в соответствие единственное У_к, являющееся случайной величиной в силу стохастичности, а и Ь. Зная ошибки s_e и s_b, можно найти доверительный интервал для вычисляемого значения У*:

Отметим, что доверительный интервал зависит от разности (х_А-х) и становится тем больше, чем дальше х_к от среднего х.