Коллинеарность и мультиколлинеарность факторов во множественной регрессии

Под мультиколлинеарностью понимают взаимосвязь двух или нескольких объясняющих переменных. Если объясняющие переменные связаны строгой функциональной зависимостью, то говорят о совершенной мультиколлинеарности. На практике высокая (или близкая к ней) мультиколлинеарность может стать проблемой при построении множественной регрессии. Поясним это на примере совершенной мультиколлинеарности.

Предположим, что искомое уравнение регрессии имеет.

а между объясняющими переменными существует строгая линейная зависимость.

Подставив (107) в (108), получим или

Далее, обозначив Р₀ + р₂у₀ = а; Р, + Р₂у, = Ь. получаем уравнение парной линейной регрессии:

Воспользовавшись МНК, можно определить коэффициенты, а и b. Тогда для определения истинных коэффициентов регрессии получим систему из двух уравнений:

в которую входят три неизвестных величины: Р₀, p,_f р₂. Такая система и подавляющем числе случаев имеет бесконечно много решений. Таким образом, совершенная мультиколлинеарность не позволяет однозначно определить коэффициенты регрессии уравнения (107) и разделить вклады объясняющих переменных X, и Х₂ в их влиянии на зависимую переменную У. В этом случае невозможно сделать обоснованные статистические выводы об этих коэффициентах. Следовательно, в случае мультиколлинеарности выводы по коэффициентам и по самому уравнению регрессии будут ненадежными.

Естественно, что мультиколлинеарность в реальных ситуациях проявляется не как функциональная, а как сильная корреляционная зависимость между объясняющими переменными. Поэтому ее можно охарактеризовать значением коэффициента корреляции р между соответствующими объясняющими переменными. Причем, чем ближе абсолютное значение р к единице, тем совершеннее мультиколлинеарность.

Как мы уже показали аналитически, мультиколлинеарность затрудняет разделение влияния факторов на зависимую переменную и делает оценки коэффициентов регрессии ненадежными. Наглядно это подтверждается с помощью диаграммы Венна (рис. 10).

Рис. 10.

Если коррелированность между объясняющими переменными X, и Х₂ отсутствует (рис. 10, а), то влияние каждой из них на У отражается не перекрывающимися частями кругов Х_{ и Х₂ в круге У. По мере усиления связи между и Х₂ соответствующие круги все больше накладываются друг на друга (заштрихованная область на рис. 10, б, в). Наконец, при совершенной мультиколлинеарности (рис. 10. г), невозможно разграничить степени индивидуального влияния объясняющих переменных X, и Х₂ на зависимую переменную У. В итоге могут проявиться следующие последствия мультиколлинеарности.

• 1. Возрастают дисперсии (стандартные ошибки) оценок коэффициентов регрессии, что расширяет доверительные интервалы оценки и ухудшает точность модели.
• 2. Уменьшаются^{-статистики} коэффициентов, что может привести к неоправданному выводу о существенности влияния объясняющей переменной на результирующий показатель.
• 3. Оценки коэффициентов по методу наименьших становятся очень чувствительными к малейшим изменениям данных, т. е. они становятся неустойчивыми.
• 4. Определить вклад каждой из объясняющих переменных в изменчивость зависимой переменной практически невозможно, причем, не исключается даже получение неверного знака у коэффициентов регрессии.

Для выявления мультиколлинеарности можно использовать несколько признаков.

Во-первых, в этом случае коэффициент детерминации R² достаточно высок, но некоторые из коэффициентов регрессии статистически незначимы (имеют низкие f-статистики).

Во-вторых, парная корреляция между малозначимыми объясняющими переменными достаточно высока. Следует, однако, учитывать, что данный признак будет надежным лишь в случае двух объясняющих переменных. При большем их количестве целесообразнее анализировать частные коэффициенты корреляции, которые определяют силу линейной зависимости между двумя переменными без учета влияния на них других переменных.

В-третьих, проявляется сильная вспомогательная (дополнительная) регрессия, увеличивающая коэффициент детерминации.

Чаще всего для оценки степени мультиколлинеарности используют расчет определителя матрицы парных коэффициентов корреляции.

Если факторы модели не взаимосвязаны, то матрица парных коэффициентов корреляции должна быть единичной, поскольку все ее недиагональные элементы в этом случае равны нулю. К примеру, для включающей три переменных регрессионной модели.

матрица коэффициентов корреляции между факторами имела бы определитель:

поскольку г_" = Г = г _х = 1 и г = г =г = 0.

* КуХ_х *2*2 *1*1 *1*2 *1*2 *2*2.

Следовательно, чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность и ненадежнее выводы по построенной множественной регрессии.

Поскольку значение определителя остается величиной случайной, то проверку на мультиколлинеарность проводят по критерию х² Для гипотезы H_Q: Det|R| = 1. Доказано, что величина.

имеет распределение х² с числом степеней свободы Если фактическое значение х² превосходит табличное (критическое) Хфакт ^> Х? абл"*.о) • ^то

гипотеза Н₀ отклоняется и мультиколлинеарность исследуемых факторов считается доказанной, а, следовательно, и избранная форма модели должна быть признана неадекватной.

Отметим, что в ряде случаев мультиколлинеарность не является таким уж серьезным «злом», чтобы прилагать существенные усилия по ее выявлению и устранению. В основном все зависит от целей исследования.

Если основная задача модели — прогноз будущих значений зависимой переменной, то при достаточно болыиом коэффициенте детерминации Я²(? 0,9) наличие мультиколлинеарности обычно не сказывается на прогнозных качествах модели. Хотя это утверждение будет обоснованным лишь в том случае, что и в будущем между коррелированными переменными будут сохраняться те же отношения, что и ранее.

Если же целью исследования является определение степени влияния каждой из объясняющих переменных на зависимую переменную, то наличие мультиколлинеарности, приводящее к увеличению стандартных ошибок, исказит истинные зависимости между переменными и мультиколлинеарность станет серьезной проблемой.

Простейшим методом устранения мультиколлинеарности является исключение из модели одной или ряда коррелированных переменных. Необходимо, однако, сохранять соответствие спецификации модели общетеоретическим представлениям.

Далее, поскольку мультиколлинеарность напрямую зависит от выборки, то целесообразно проверить модель и на других данных. Возможно, что при другой выборке мультиколлинеарность не будет столь серьезной. Иногда достаточно просто увеличить объем выборки. Увеличение количества данных сокращает дисперсии коэффициентов регрессии и тем самым увеличивает их статистическую значимость.

Зачастую при построении модели множественной регрессии можно воспользоваться предварительной информацией, в частности, известными значениями некоторых коэффициентов регрессии. Для иллюстрации приведем следующий пример. Предположим, что строится регрессия вида (107), но оказалось, что переменные Х₁ и Х₂ коррелированны. Если на предварительном этапе исследования для парной регрессии У = у₀ + у, Х, + v был определен статистически значимый коэффициент у, (для определенности пусть Yi =0,8), связывающий Ус X, и есть основания считать, что связь между У и X, останется неизменной, то можно положить y_t = Р, = 0,8. Тогда (107) примет вид:

В результате уравнение (111) фактически представляет парную регрессию, для которой проблема мультиколлинеарности не существует.

В ряде случаев минимизировать либо вообще устранить проблему мультиколлинеарности можно с помощью преобразования переменных.

Например, пусть эмпирическое уравнение регрессии имеет вид.

причем, X, и Х₂ — коррелированные переменные. В этой ситуации можно попытаться построить регрессионные зависимости для относительных величин:

Не исключено, что в новой модели проблема мультиколлинеарности будет отсутствовать.

Возможны и другие преобразования, близкие по своей сути к вышеописанным. Например, если в уравнении рассматриваются взаимосвязи номинальных экономических показателей, то для снижения мультиколлинеарности можно попытаться перейти к реальным показателям и т. п.