Некоторые вопросы практического использования регрессионных моделей

В предыдущих главах была изучена классическая линейная модель регрессии, приведена оценка параметров модели и проверка статистических гипотез о регрессии. Однако мы не касались некоторых проблем, связанных с практическим использованием модели множественной регрессии. К их числу относятся: мультиколлинеарность, ее причины и методы устранения; использование фиктивных переменных при включении в регрессионную модель качественных объясняющих переменных, линеаризация модели, вопросы частной корреляции между переменными. Изучению указанных проблем посвящена данная глава.

Мультиколлинеарность

Под мультиколлинеарностью понимается высокая взаимная коррелированность объясняющих переменных. Мультиколлинеарность может проявляться в функциональной (явной) и стохастической (скрытой) формах.

При функциональной форме мультиколлинеарности по крайней мере одна из парных связей между объясняющими переменными является линейной функциональной зависимостью. В этом случае матрица XX особенная, так как содержит линейно зависимые векторы-столбцы и ее определитель равен нулю, т. е. нарушается предпосылка 6 регрессионного анализа. Это приводит к невозможности решения соответствующей системы нормальных уравнений и получения оценок параметров регрессионной модели.

Однако в экономических исследованиях мульти коллинеарность чаще проявляется в стохастической форме, когда между хотя бы двумя объясняющими переменными существует тесная корреляционная связь. Матрица XX в этом случае является неособенной, но ее определитель очень мал.

В то же время вектор оценок b и его ковариационная матрица ^ _ь в соответствии с формулами (4.8) и (4.16) пропорциональны обратной матрице (Л" 'Л)^-1, а значит, их элементы обратно пропорциональны величине определителя Х’Х. В результате получаются значительные средние квадратические отклонения (стандартные ошибки) коэффициентов регрессии Ьц, ЬЬ_р и оценка их значимости по /-критерию не имеет смысла, хотя в целом регрессионная модель может оказаться значимой по /'-критерию.

Оценки становятся очень чувствительными к незначительному изменению результатов наблюдений и объема выборки. Уравнения регрессии в этом случае, как правило, не имеют реального смысла, так как некоторые из его коэффициентов могут иметь неправильные с точки зрения экономической теории знаки и неоправданно большие значения.

Точных количественных критериев для определения наличия или отсутствия мультиколлинеарности не существует. Тем не менее имеются некоторые эвристические подход ы по ее выявлению.

Один из таких подходов заключается в анализе корреляционной матрицы между объясняющими переменными Х_ь Х₂,…, Х_р и выявлении пар переменных, имеющих высокие коэффициенты корреляции. Если такие переменные существуют, то говорят о мультиколлинеарности между ними.

Полезно также находить множественные коэффициенты детерминации между одной из объясняющих переменных и некоторой группой из них. Наличие высокого множественного коэффициента детерминации (обычно больше 0,6) свидетельствует о мультиколлинеарности.

Другой подход состоит в исследовании матрицы Х’Х. Если определитель матрицы X’X либо ее минимальное собственное значение Х_т{п близки к нулю (например, одного порядка с накапливающимися ошибками вычислений), то это говорит о наличии мультиколлинеарности. О том же может свидетельствовать и значительное отклонение максимального собственного значения Х_тах матрицы Х’Х от ее минимального собственного значения Х_тп.

Для устранения или уменьшения мультиколлинеарности используется ряд методов. Самый простой из них (но далеко не всегда возможный) состоит в том, что из двух объясняющих переменных, имеющих высокий коэффициент корреляции (больше 0,8), одну переменную исключают из рассмотрения. При этом, какую переменную оставить, а какую удалить из анализа, решают в первую очередь на основании экономических соображений. Если с экономической точки зрения ни одной из переменных нельзя отдать предпочтение, то оставляют ту из двух переменных, которая имеет больший коэффициент корреляции с зависимой переменной.

Другой метод устранения или уменьшения мультиколлинеарности заключается в переходе от несмещенных оценок, определенных по методу наименьших квадратов, к с м е щ е н н ы м оценкам, обладающим, однако, меньшим рассеянием относительно оцениваемого параметра, т. е. меньшим математическим ожиданием квадрата отклонения оценки bj от параметра р_у или М (Ь — ру)².

Рис. 5.1.

Оценки, определяемые вектором (4.8), обладают в соответствии с теоремой Гаусса—Маркова минимальными дисперсиями в классе всех линейных несмещенных оценок, но при наличии мультиколлинеарности эти дисперсии могут оказаться слишком большими, и обращение к соответствующим смещенным оценкам может повысить точность оценивания параметров регрес;

а сии. На рис. 5.1 показан случай, когда смещенная оценка р₇,.

выборочное распределение которой задается плотностью ф (Р_У), «лучше» несмещенной оценки /у, распределение которой представляет плотность <�р (6,).

Действительно, пусть максимально допустимый по величине доверительный интервал для оцениваемого параметра р? есть.

(р, -Л, РJ + а). Тогда доверительная вероятность, или надежность оценки, определяемая площадью под кривой распределения на интервале (р₇-А, Р₇+Д), как нетрудно видеть из Л.

рис. 5.1, будет в данном случае больше для оценки р₇ по сравнению с bj (на рис. 5.1 эти площади заштрихованы). Соответственно средний квадрат отклонения оценки от оцениваемого параметра будет меньше для смещенной оценки, т. е.

При использовании «ридж-регрессии» (или «гребневой регрессии») вместо несмещенных оценок (4.8) рассматривают смещенные оценки, задаваемые вектором р_т = (XX + тЕ_р+1 j ~^lXY, где т —.

некоторое положительное число, называемое «гребнем» или «хребтом», Е_р+ j — единичная матрица (р+1)-го порядка. Добавление т к диагональным элементам матрицы XX делает оценки параметров модели смещенными, но при этом увеличивается определитель матрицы системы нормальных уравнений (4.5) — вместо (XX) он будет равен ХХ + тЕ_р+_Х .

Таким образом, становится возможным исключение мультиколлинеарности в случае, когда определитель Х’Х близок к нулю.

Для устранения мультиколлинеарности может быть использован переход от исходных объясняющих переменных Х, Лг,…, Х_пч связанных между собой достаточно тесной корреляционной зависимостью, к новым переменным, представляющим линейные комбинации исходных. При этом новые переменные должны быть слабокоррелированными либо вообще некоррелированными. В качестве таких переменных берут, например, так называемые главные компоненты вектора исходных объясняющих переменных, изучаемые в компонентном анализе, и рассматривают регрессию на главных компонентах, в которой последние выступают в качестве обобщенных объясняющих переменных, подлежащих в дальнейшем содержательной (экономической) интерпретации.

Ортогональность главных компонент предотвращает проявление эффекта мультиколлинеарности. Кроме того, применяемый метод позволяет ограничиться малым числом главных компонент при сравнительно большом количестве исходных объясняющих переменных.