Проблема мультиколлинеарности. 
Методы социально-экономического прогнозирования . Теория и методология

При построении многофакторных моделей социальноэкономической динамики уже на первом этапе — построения корреляционной матрицы — практически всегда сталкиваются с тем, что многие, а весьма часто и все коэффициенты парной корреляции этой матрицы оказываются близки по модулю к единице. Это сигнализирует о наличии в имеющихся данных такого явления, как «мультиколлинеарность». Кроме того, некоторые входящие в модель регрессоры могут статистически определяться через другие регрессоры (получается своеобразная модель множественной регрессии в модели множественной регрессии). В этом случае коэффициент множественной корреляции между факторами может быть по модулю близким к единице. Это также будет сигнализировать о наличии мультиколлинеарности.

Мультиколлинеарность, как следует из самого названия, возникает тогда, когда факторы модели имеют одинаковые, монотонные относительно друг друга, тенденции в динамике.

Оценка коэффициентов прогнозной многофакторной модели в условиях мультиколлинеарности затруднена и зачастую при этом получаются такие коэффициенты, которые делают прогнозную модель непригодной к практическому использованию.

Попробуем разобраться в последствиях мультиколлинеарности для оценивания коэффициентов многофакторных моделей на примере из реальной практики.

Пример По статистическим данным табл. 4.5, в которой отражены показатели экономической динамики одного из регионов России^[1], приведенные к относительным величинам, построим с помощью МНК многофакторную линейную модель. Она имеет вид.

Здесь y_t — производство продукции; х _t — потребление электроэнергии; х2 _t — основные производственные фонды; _t — численность занятых; х_{4 f} — фонд оплаты труда.

Если попытаться дать экономическое толкование полученным результатам, то мы вынуждены будем утверждать, что увеличение выпуска промышленной продукции было обусловлено положительным влиянием всех факторов, за исключением стоимости основных производственных фондов, которая отрицательно влияла на рост производства. Отсюда следует, например, рекомендация для руководства региона — для роста объема регионального продукта необходимо уменьшать величину основных фондов предприятий. Очевидно, что полученный вывод, как и результат, нс имеет смысла, хотя данная модель хорошо описывает имеющийся ряд наблюдений.

Таблица 4.5

Относительные значения показателей развития региона России.

Если теперь исходные значения показателей табл. 4.5 округлить не до четвертого знака после запятой, а до второго, и вновь оценить параметры многофакторной модели по округленным значениям, модель примет иной вид.

Если сравнить полученные коэффициенты с коэффициентами модели (4.50), то можно увидеть, что коэффициенты различаются.

Для подтверждения того, что модель строилась в условиях мультиколлинеарности, необходимо вычислить значения корреляционной матрицы. Результаты расчета коэффициентов парной корреляции для факторов табл. 4.5 приведены в табл. 4.6.

Матрица коэффициентов парной корреляции для многофакторной модели.

Все коэффициенты парной корреляции, приведенные в табл. 4.6, близки к единице, что подтверждает множественную коллинеарность и факторов, и результирующего показателя. Поэтому все те неприятности с оценкой коэффициентов модели, которые были продемонстрированы выше, как раз и вызваны наличием мультиколлинеарности.

Если рассчитать коэффициенты множественной корреляции последовательно между х_х и остальными факторами, х₂ и другими факторами и т. п., то мы получим следующие значения:

• • R_Xj = 0,9908;
• • R_X2 = 0,9987;
• • R_X3 = 0,9933;
• • R_r =0,9983.
• •м

Как видим, все они очень близки к 1. Это так же указывает на наличие мультиколлинеарности, которая в данном случае проявляется в сильной форме.

Обычно для оценки силы мультиколлинеарности в эконометрике рассчитывают показатель VIF («Variance Inflation Factor» — фактор инфляции дисперсии):

Этот показатель лежит в пределах от 0 до бесконечности, что неудобно интерпретировать. В том случае, если значения VIF превышают 10 (хотя в некоторых источниках встречается и критическое значение в 5), обычно говорят о мультиколлинеарности в сильной форме. В целом можно заметить, что значения VIF будут больше 10 в том случае, если значение коэффициента множественной корреляции будет по модулю превышать 0,95. Таким образом, вместо того, чтобы рассчитывать сложно интерпретируемый показатель, для оценки мультиколлинеарности можно использовать просто коэффициент множественной корреляции.

Как видно из приведенного выше примера, оценки коэффициентов многофакторной модели, если она строится в условиях мультиколлинеарности, оказываются неустойчивыми как к ошибкам наблюдений, так и к новой информации. Чтобы понять, почему это происходит, рассмотрим задачу оценивания коэффициентов многофакторной модели с помощью МНК в матричном виде.

• 1. Исходя из формальной постановки задачи, никаких проблем возникнуть не может — все логично и легко вычисляется. Но в условиях мультиколлинеарности квадратная матрица Х’Х в (4.34) является слабо обусловленной, поэтому при вычислении обратной матрицы как раз и возникают проблемы — определитель матрицы практически равен нулю, поэтому матрица является необратимой. В результате этого точно оценить коэффициенты модели не представляется возможным.
• 2. Если все же вычислить определитель, используя современную технику и вычисляя его значения, например, до 20 знака после запятой, можно исчислить обратную матрицу и вычислить вектор оценок А, но оценки параметров многофакторных моделей будут очень неточными из-за указанной выше причины.
• 3. Оценки параметров модели оказываются крайне неустойчивыми — малейшее изменение исходных данных или даже ошибки округления приводят к значительным изменениям параметров.
• 4. Ценность таких моделей крайне низка, так как неустойчивая модель дает очень сильную вариацию своих коэффициентов, а значит и расчетных значений прогнозируемого показателя. В результате этого исследователь будет получать некорректные доверительные интервалы как по коэффициентам модели, так и по прогнозным значениям.
• 5. Модель, с помощью которой сделана попытка описать сложное многофакторное явление, не описывает это явление. Причинно-следственные связи, выявленные на предыдущем этапе, не описываются этой моделью — в некоторых случаях можно даже получить отрицательные коэффициенты при факторах, оказывающих прямое положительное влияние на результат! Модель ведет себя хуже, чем однофакторная.
• 6. Так как оценки параметров оказываются неточными, то интерпретация влияния факторов на прогнозируемый показатель будет совершенно не той, которая есть на самом деле. Именно поэтому построение многофакторных моделей в условиях мультиколлинеарности является предметом многолетнего внимания ученых. Ученые единодушны в том, что применение МНК к задаче оценивания коэффициентов многофакторных моделей приводит к необходимости решения системы нормальных уравнений, которая в условиях мультиколлинеарности является почти «вырожденной», а потому и неустойчивой к малейшим ошибкам округления. Поэтому, если исходить из такой постановки проблемы, понятны направления борьбы с проклятием «мультиколлинеарности» — либо устранять саму мультиколлинеарность, либо разрабатывать математические методы, устойчивые в этих условиях.

В первом направлении выделяются два подхода:

• • исключают из совокупности факторов одну или несколько линейно связанных факторных переменных, чтобы вновь полученные элементы корреляционной матрицы были меньше порогового значения 0,8. Однако само пороговое значение в разных источниках разниться. В некоторых случаях рекомендуется избавляться от факторов, коэффициент корреляции между которыми оказывается больше 0,95;
• • преобразуют факторы в новые переменные, уменьшая тем самым количество переменных (факторный анализ).

Во втором направлении — совершенствования математического аппарата оценивания коэффициентов модели — используют методы регуляризации — раздел, называющийся «робастной статистикой» (например, метод главных компонент, гребневой регрессии, стабилизированных оценок или «сжатых» оценок и т. п.).

Оба подхода обладают серьезными недостатками, которые снижают эффективность использования на практике многофакторных моделей.

В первом случае попытки устранения самого явления мультиколлинеарности рекомендуется исключать из модели один из двух факторов, если значение парного коэффициента корреляции между ними превышает по модулю «пороговое» значение, равное 0,8. Логика такого подхода базируется на том, что если этот фактор линейно связан с другими, то их влияние на результат отражает и влияние этого фактора, поэтому без него можно и обойтись. Но сама процедура исключения из совокупности факторов одной или нескольких факторных переменных весьма сомнительна — так можно прийти и к простой однофакторной линейной модели. И с экономических позиций эта процедура неверна — если специалист отобрал совокупность факторов, объясняющих динамику показателя, то уменьшение их числа только ухудшит свойства модели. А если вернуться к рассмотренному выше примеру с построением многофакторной модели динамики Ульяновской области, то анализ матрицы коэффициентов парной корреляции показывает, что все ее значения превышают пороговое значение в 0,8, поэтому, следуя этой логике, надо отбросить все факторы, оставив в рассмотрении только один из них. Но ведь желание построить многофакторную модель вызвано вполне очевидным стремлением вскрыть и описать сложную причинно-следственную связь между социально-экономическими явлениями и тем самым повысить точность прогноза, а вместо этого мы опять приходим к элементарной однофакторной модели.

Другой способ побороть мультиколлинеарность связан с использованием методов факторного анализа, когда пытаются заменить реальные переменные Xj _t на другие факторы z_kj, которые как бы являются скрытой причиной их динамики. Такие переменные неизвестны исследователю и называются латентными. С помощью математических преобразований (наиболее известен метод главных компонент) находят эти новые переменные и строят новую многофакторную модель зависимости переменной y_t от новых факторов z_{k t}. Однако при этом модель теряет какой-либо экономический смысл, так как латентные переменные в данной ситуации являются математической абстракцией. И хотя модель становится более устойчивой к ошибкам округления, для выполнения прогноза показателя y_t необходимо вначале вычислить прогнозные значения каждой из этих новых переменных z_{k t} с помощью формул преобразования с учетом исходных переменных x-_{h t}. А поскольку исходные переменные наблюдаются с ошибками, то эти ошибки способствуют тому, что и новые переменные будут содержать их в себе. Но так как находится регрессионная зависимость между y_t и z_{ft t}, то и эта зависимость генерирует ошибку регрессии. Все эти пересчеты вносят дополнительную погрешность в прогнозирование результирующего признака, и модель становится менее точной, чем хотелось бы.

Второе направление, связанное с совершенствованием математического аппарата оценивания коэффициентов в условиях мультиколлинсарности, представляет собой некоторую попытку «утяжеления» задачи посредством намеренного введения «засоряющей» величины. Здесь вполне допустима следующая аналогия: если какую-либо конструкция неустойчива, то повысить ее устойчивость можно, загрузив конструкцию балластом. В случае многофакторного моделирования построенная таким образом модель в результате утяжеления станет не оптимальной, но вполне устойчивой, что уже следует признать положительным моментом. Этот путь решения проблемы мультиколлинеарности более приемлем, чем первые, однако он требует от исследователя хорошей математической подготовки, так как аппарат методов регуляризации достаточно сложен. Тем не менее, квалифицированные специалисты предпочитают использовать именно методы робастной статистики для построения многофакторных моделей в условиях мультиколлинеарности.

Как это ни кажется парадоксальным, но для случая нелинейной многофакторной модели эта проблема решается достаточно просто! Если прогнозист использует в качестве прогнозной модели нелинейную многофакторную модель, например, такую: y_t = я₀+ДЛ, Ад +^а₂х_их_2лх_Ъл + а_ъх_л, то для нахождения параметров я₀, а_л, а₂ и а₃ осуществляют замену переменных и представляют модель в простой линейной форме: У[ = а+а_хх'_и+а₂х'_и+а₃х'_ЪЛу где х'_и=х_их_Ui x'_2it=x_ux_2>tx_3ftf х’з ⁼

Для вновь полученной модели и новых переменных строят корреляционную матрицу и если преобразованные новые переменные коррелируют друг с другом и коэффициенты парной корреляции выше по абсолютному значению, чем 0,8, то для уменьшения взаимной коррелированности переменных предлагается центрировать исходные переменные В этом случае новые переменные существенно изменятся нелинейно друг относительно друга, в результате чего корреляционная матрица новых переменных сильно изменит свои значения в сторону уменьшения коэффициентов парных корреляций между ними. Это доказал еще в 1969 г. Г. Ф. Филаретов^[2]. Однако для линейной многофакторной модели центрирование исходных данных (как и любые другие аффинные преобразования переменных) не изменит коэффициентов корреляционной матрицы и мультиколлинеарность не устранится. Поэтому складывается парадоксальная ситуация: сложные многофакторные нелинейные модели в условиях мультиколлинеарности можно построить достаточно просто, а элементарные линейные многофакторные модели в этих же условиях построить не удается!

Для того чтобы проследить направление действий при решении сформулированной задачи, рассмотрим ее постановку в пространстве коэффициентов модели. В параграфе 4.2 учебника мы рассматривали задачу оценивания коэффициентов однофакторной модели на плоскости коэффициентов этой модели. Для случая многофакторной модели число коэффициентов чаще всего больше двух, поэтому следует рассматривать не плоскость коэффициентов (две переменные), а пространство коэффициентов.

Для этого вначале запишем систему нормальных уравнений МНК для многофакторной линейной модели (4.26), для простоты записи опуская пределы суммирования, понимая, что оно ведется для всех I, начиная с t = 1, и заканчивая t-T:

Теперь представим эту систему уравнений в виде уравнений в отрезках наподобие того, как мы это делали в параграфе 4.2. Получим.

Уравнения системы МНК здесь представлены в виде уравнений гиперплоскостей в отрезках в гиперпространстве коэффициентов модели. Если в однофакторном случае оценки МНК представляют собой точку пересечения на плоскости коэффициентов двух прямых условий МНК, поскольку неизвестных параметров всего два (я₀ и а_х) и задачу можно изобразить на плоскости, то уже при числе факторов, равном двум, число коэффициентов модели будет равно трем — я₀, а_х и а₂. Графически такую задачу оценивания параметров многофакторной модели следует рассмотреть не на плоскости, а в трехмерном пространстве параметров — число неизвестных параметров станет равным трем и их можно будет изобразить в качестве осей трехмерного пространства — Оя₀, 0а_х и 0а₂. В этом случае условия МНК представляют собой систему из трех уравнений с тремя неизвестными, причем каждое из уравнений является уравнением плоскости в пространстве. Решение системы МНК в данном случае будет представлять собой точку пересечения трех плоскостей в пространстве. Координаты точки пересечения этих плоскостей и дадут искомые с помощью МНК значения коэффициентов модели.

Пример Воспользуемся уравнениями в отрезках (4.53), чтобы более тщательно изучить причины неустойчивости оценок параметров в условиях мультиколлинеарности на примере показателей экономической динамики Ульяновской области, рассмотренном выше. Используя систему МНК для абсолютных значений показателей развития области, приведем эту систему к форме уравнений в отрезках. Такое преобразование системы покажет нам отрезки, которые отсекают гиперплоскости условий многофакторного МНК на осях гиперпространства параметров:

Из анализа величин полученных отрезков легко убедиться в том, что отрезки, отсекаемые гиперплоскостями условий МНК на каждой из осей гиперпространства коэффициентов, практически совпадают друг с другом, т. е. сами гиперплоскости почти параллельны друг другу. Очевидно, поэтому, что решение системы МНК, которое представляет собой точку пересечения этих практически параллельных друг другу гиперплоскостей в гиперпространстве, является чрезвычайно неустойчивым — малейшая ошибка в округлении может привести к тому, что гиперплоскости могут, перемещаясь незначительно, иметь новую точку их пересечения, значительно удаленную от первоначальной точки. Например, отрезок на оси а_А первой гиперплоскости величиной 1,0008 может стать равным 1,0007 (например, в результате округления). При этом первая гиперплоскость практически незаметно изменит свое положение в пространстве, но решение системы МНК, как точка пересечения гиперплоскостей, меняется так, что искажается не только абсолютная величина коэффициентов многофакторной модели, но и сам знак этих коэффициентов, что и было получено выше.

Следовательно, последствия мультиколлинеарности для оценивания коэффициентов многофакторных линейных моделей вызваны особенностями существующего алгоритма оценивания параметров многофакторных моделей с помощью МНК. Исследования в этом случае должны быть направлены не на борьбу с объективно существующей реальностью — сильной коллинеарностью практически всех показателей и факторов социально-экономической динамики (что подтверждается явлением ложной корреляции), а на улучшение используемого аппарата оценивания таких моделей. Этот вывод справедлив и при построении простых линейных однофакторных моделей, правда, неустойчивость полученных оценок, в отличие от многофакторного случая, не особенно заметна — в последнем случае ситуация усугубляется еще и вычислительными сложностями, поэтому и становится такой явной.

⁷ J

• [1] Светупьков С. Г., Благов Л. Л., Инешин К. Л., Козлов М. Л. РазвитиеУльяновской области: проблемы моделирования: Ученые записки экономического факультета // Внутривузовский сборник филиала МГУ в Ульяновске. 1991. С. 3.
• [2] Филаретов Г. Ф. К вопросу о построении нелинейной регрессионноймодели по данным пассивного эксперимента // Проблемы планированияэксперимента / под ред. Г. К. Круга. М.: Наука, 1969.