Множественная регрессия. 
Статистика с элементами эконометрики

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели и включает в себя два этапа: отбор факторов и выбор вида уравнения регрессии. При этом факторы, включаемые во множественную регрессию, не должны быть коррелированы между собой. Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный фактор. Включаемые во множественную регрессию независимые факторы должны объяснить вариацию зависимой переменной. Отбор факторов обычно также осуществляется в два этапа: на первом подбираются факторы, исходя из логико-экономического анализа явления; на втором — на основе матрицы коэффициентов корреляции определяют статистики для параметров регрессии.

Показатели корреляции позволяют исключать из модели дублирующие факторы. Считается, что два фактора коллинеарны (находятся между собой в линейной зависимости), если коэффициент корреляции для них г_х._х. >0,7. В этом случае они дублируют друг друга, и один из них необходимо исключить из регрессии. Предпочтение при этом отдается фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Если более чем два фактора связаны между собой линейной зависимостью, то имеет место мультиколлинеарность факторов — совокупное воздействие факторов друг на друга. Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:

• • затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом» виде; параметры линейной регрессии теряют экономический смысл;
• • оценки параметров статистически ненадежны, обнаруживают большие стандартные ошибки и меняются с изменением объема наблюдений по величине и по знаку, что делает модель непригодной для анализа и прогнозирования.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами. Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами содержала бы «1» только на диагонали, все недиагональные элементы были бы равны нулю. Например, для уравнения с т объясняющими переменными.

матрица коэффициентов корреляции между факторами имела бы определитель, равный единице:

Если же, наоборот, между факторами существует полная линейная зависимость и все парные коэффициенты корреляции равны единице, то определитель матрицы равен нулю. Соответственно, чем ближе к нулю определитель такой матрицы, тем сильнее мультиколлинеарность факторов и менее надежны результаты множественной регрессии. И наоборот, чем ближе к единице, тем меньше мультиколлинеарность факторов. Один подходов к преодолению сильной межфакторной корреляции заключается в исключении из модели одного или нескольких факторов.

Отбор факторов, включаемых во множественную регрессию, является важным аспектом практического использования методов регрессии. Наиболее широкое применение получили следующие методы построения уравнения регрессии:

• • отсев факторов из полного их набора;
• • введение дополнительных факторов (обычно последовательно по одному);
• • итерационное исключение (включение) ранее введенного (отсеянного) фактора.

Напомним, что число включаемых факторов должно быть в 6—8 раз меньше объема совокупности, по которой строится регрессия. В общем случае возможны разные виды уравнений множественной регрессии: линейные и нелинейные. Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии.

параметры при х называются коэффициентами чистой регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененных значениях других факторов, закрепленных на среднем уровне. Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов. Он позволяет получить оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака у от расчетных у минимальна. Суть этого метода подробно описана в п. 11.5.2.

Уравнение множественной линейной регрессии также может быть записано в стандартизованном виде:

где  — стандартизированные переменные, для которых среднее значение равно нулю (1_у = 0 и г_х. - 0) и среднее квадратическое отклонение равно единице (а_гу =1 и су_2х. =1); (3, — стандартизированные коэффициенты регрессии.

В отличие от чистых стандартизованные коэффициенты регрессии рможно сравнивать между собой, ранжировать факторы по силе их воздействия на результат и при необходимости исключать из модели факторы с наименьшим значением (З_г Если в стандартизованном уравнении регрессии Р! > Р₂ ^> Рз … > Р_ш, то по силе влияния на результат порядок факторов таков: х_{, х₂, х₃,…, х_т. Чистые коэффициенты регрессии 6, — связаны со стандартизованными р, следующим образом:

Параметр а определяется по формуле:

На основе линейного уравнения множественной регрессии могут быть найдены частные уравнения регрессии, которые связывают результативный признак с соответствующим фактором х_{ при закреплении остальных факторов на среднем уровне:

После подстановки в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии:

Частные линейные уравнения регрессии характеризуют изолированное влияние фактора на результат, эффекты влияния других факторов учтены в них в величине свободного члена. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:

которые показывают, на сколько процентов в среднем изменится результат при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

Для характеристики тесноты связи рассматриваемого набора факторов с результирующим фактором используется индекс множественной корреляции. Независимо от формы связи этот показатель может быть найден следующим образом:

где Д_)СТ — остаточная дисперсия результативного признака у; Д) бт ^— общая дисперсия у.

Индекс множественной корреляции изменяется в пределах от О до +1. Чем ближе его значение к +1, тем теснее связь результативного признака с набором исследуемых факторов. Величина этого индекса должна быть больше или равна максимальному парному индексу корреляции:

При правильном включении факторов в регрессионную модель величина индекса множественной корреляции будет существенно больше индексов парной корреляции этих факторов. Если же дополнительно включенные в уравнение факторы маловажные, то индекс множественной корреляции может почти совпадать с индексом парной корреляции. По результатам сравнения индексов множественной и парной корреляции можно делать выводы о целесообразности включения в уравнение регрессии тех или других факторов. Индекс множественной корреляции для линейной регрессии называют линейным коэффициентом множественной корреляции.

Множественный коэффициент корреляции рассчитывается при наличии линейной связи между признаками регрессионной модели. Он изменяется в пределах от 0 до +1; чем ближе его значение к +1, тем сильнее связь. Например, в двухфакторной модели при оценке связи между результативным и факторными признаками для определения множественного коэффициента корреляции можно использовать формулу.

где  — парные коэффициенты корреляции между факторами.

При линейной зависимости признаков формула индекса множественной корреляции также может быть выражена через стандартизованные коэффициенты регрессии:

где г_ух. — парные коэффициенты корреляции результирующего фактора с каждым из независимых факторов.

Величина множественного коэффициента корреляции зависит не только от корреляции результата с каждым из факторов, но и от межфакторной корреляции. В индексе множественной корреляции используется остаточная дисперсия, которая имеет систематическую ошибку в сторону преуменьшения. При небольшом объеме наблюдений п и большом числе учитываемых факторов т остаточная дисперсия будет близка к нулю, а индекс корреляции — к единице и при слабой связи факторов с результатом. В таких случаях используется скорректированный индекс множественной корреляции. Он содержит поправку на число степеней свободы и вычисляется по формуле

где т — число параметров при переменных х; п — число наблюдений.

В данной формуле подкоренное выражение представляет собой множественный коэффициент детерминации, характеризующий качество описания множественным уравнением регрессии наблюдаемого явления. Его значения изменяются в пределах от 0 до +1, чем ближе к единице, тем лучше модель. Свойства и интерпретация значений индекса множественной детерминации аналогичны соответствующим для парной модели регрессии. Для линейной модели значения этого показателя равны квадрату множественного коэффициента корреляции. Еще одним статистическим показателем является частный коэффициент детерминации. Он показывает, на сколько процентов вариация результативного фактора объясняется вариацией /-го фактора, входящего в множественное уравнение регрессии. Он рассчитывается по формуле.

где г_ух. — парный коэффициент корреляции между результативным и г-м факторным признаком; Р*. — ?-й стандартизованный коэффициент множественного уравнения регрессии.

Для оценивания тесноты связи между результатом и каждым из факторов при устранении влияния всех других факторов, включенных в уравнение регрессии, используются частные коэффициенты корреляции, представляющие собой отношение величины сокращения остаточной дисперсии за счет дополнительного включения в анализ нового фактора к остаточной дисперсии, имевшей место до введения его в модель. В общем виде при наличии в линейном уравнении т факторов коэффициент частной корреляции, измеряющий влияние х_г на у при неизменном уровне других факторов, можно определить по формуле.

где Яу_Ххх₂х₃…х_т ~ множественный коэффициент детерминации всех т независимых факторов с результативным; _х ~ ^ана" .

логичный показатель, но без введения в модель фактора х_г

Например, при двух независимых факторах формула примет следующий вид:

Порядок частного коэффициента корреляции определяется количеством факторов, влияние которых исключается. Например, при исключении влияния одного фактора коэффициенты частной корреляции будут первого порядка. Соответственно обычные коэффициенты парной корреляции называются коэффициентами нулевого порядка.

Частные коэффициенты корреляции, рассчитанные описанным выше способом (через множественные коэффициенты детерминации), изменяются в пределах от 0 до +1. Также они могут быть вычислены и иными способами, при этом границы изменения их значений могут быть другими [7, 12, 43]. Частные коэффициенты корреляции характеризуют меру тесноты связи каждого фактора с результатом в чистом виде. Если г_{т/хттХя} > г_{уХ2/чхЪтХщ} > > ^гухъ/хх₂…х_т > … >^гу_Хя/х_т…х_п-_Х, ТО по силе влияния на результат порядок факторов будет такой: х_ь х₂, х₃,…, х_т.

Частные коэффициенты корреляции часто не имеют самостоятельного значения. Их используют только при формировании модели. Так, строя многофакторную модель, на первом этапе определяется уравнение регрессии с полным набором факторов и рассчитывается матрица частных коэффициентов корреляции. На втором этапе отбирается фактор с наименьшей и несущественной по ?-критерию Стыодента величиной показателя частной корреляции. После исключения его из модели строится новое уравнение регрессии. Такая процедура повторяется до тех пор, пока все частные коэффициенты корреляции будут существенно отличаться от нуля. Если был исключен несущественный фактор, то множественные коэффициенты детерминации на двух смежных этапах почти не отличаются друг от друга, /?"₊₁ = (т — число факторов в модели). Частный коэффициент корреляции отличается от обычного коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (у и X;) при условии, что влияние на них остальных факторов устранено.