Регрессионный анализ. 
Статистика

Во многих случаях связь между результативным и факторными показателями может моделироваться уравнением прямой линии (линейная связь).

Поведение результативного показателя может быть обусловлено влиянием одного (парная регрессия) или многих факторов (множественная регрессия).

Начнем рассмотрение с наиболее простых для анализа линейных связей, последовательно рассмотрев случаи парной и множественной регрессии.

Парная линейная регрессия характеризует связь между двумя признаками: результативным и факторным, и предполагается, что аналитически связь между ними описывается уравнением прямой линии: у-ал-Ьх.

Статистическое исследование начинается с проведения статистического наблюдения. Проводят случайную выборку. При значениях факторного показателя х_х, х₂, х₃,…, х_п мы наблюдаем значения результативного показателя y_t, у₂, у₃у…, у_п соответственно (п — объем исследуемой совокупности, т. е. число единиц наблюдения). Па плоскости отмечаем точки с координатами (х" у_х), (х₂, у₂), (х₃, уз),…, (x_w у_п).

Так как мы рассматриваем случай парной линейной регрессии, то предполагаем, что точки группируются вокруг некоторой прямой линии у-ал-Ьх.

Точки не находятся точно на линии у = ал-Ьх_у так как на поведение у

помимо фактора х оказывают влияние и другие факторы. Отклонение фактических значений результативного показателя от теоретических значений, полученных по выбранному уравнению регрессии, называется ошибкой (остатком, отклонением): г, -у_х -у_х.

Таким образом, фактическое значение результативного показателя.

Отметим, что ошибка является случайной величиной.

Основные предпосылки модели парной линейной регрессии следующие [19]:

• • связь между переменными хну является линейной;
• • независимая переменная х может быть использована для прогноза у,
• • остатки (т.е. ошибки) нормально распределены;
• • для всех данных х математическое ожидание ошибки равно нулю и дисперсия ошибки постоянна;
• • ошибки независимы.

Оценка параметров уравнения регрессии а, b осуществляется методом наименьших квадратов. В основе метода наименьших квадратов лежит предположение о независимости наблюдений исследуемой совокупности и нахождении параметров модели, при которых минимизируется сумма квадратов отклонений эмпирических (фактических) значений результативного показателя от теоретических, полученных по выбранному уравнению регрессии:

где y_t — фактическое значение результативного показателя; у, — теоретическое значение результативного показателя, полученное по выбранному уравнению регрессии.

В случае парной линейной регрессии уравнение (9.1) принимает вид.

Для нахождения параметров уравнения регрессии а, b необходимо найти производную и приравнять ее к нулю (задача на экстремум функции). В результате получим систему нормальных уравнений.

Разрешив систему уравнений (9.2) относительно параметров а, Ь, получим.

В уравнении регрессии параметр а показывает усредненное влияние на результативный показатель неучтенных в уравнении факторных признаков; коэффициент регрессии b показывает, на сколько единиц своего измерения изменяется в среднем значение результативного показателя при увеличении факторного на единицу собственного измерения. Знак коэффициент регрессии b позволяет сделать вывод о направлении связи. Положительное значение коэффициента регрессии b свидетельствует о том, что связь между результативным и факторным показателями прямая. Отрицательное значение коэффициента регрессии b свидетельствует о наличии между результативным и факторным показателями обратной связи.

Дальнейший анализ полученного уравнения регрессии у=а+Ьх позволяет ответить на вопрос, насколько сильно влияние неучтенных факторов, действительно ли модель линейна и т. д.

Пример 9.1. Имеются данные о динамике доходности акции конкретной корпорации (у) и динамике среднерыночной доходности (х) за восемь периодов:

На основании статистической информации построим уравнение линейной регрессии.

Решение

Результаты промежуточных вычислений представлены в табл. 9.3.

Таблица 93

Результаты вычислений для примера 9.1.

Вычисляем:

Итак, уравнение регрессии у =а + Ьх = 1,19 +1,125л:.

Связь между доходностью акции и среднерыночной доходностью прямая, о чем свидетельствует положительное значение коэффициента Ь, т. е. среднерыночная доходность и доходность акции изменяются однонаправленно. При увеличении среднерыночной доходности па 1% доходность акции в среднем увеличится на 1,125%.

Часто результативный показатель зависит не от одного, а от многих факторов. Тогда вместо парной регрессии используют множественную регрессию. Построение моделей множественной регрессии должно включать следующие этапы:

• • выбор формы связи (уравнения регрессии);
• • отбор факторных признаков;
• • обеспечение достаточного объема совокупности.

Выбор типа уравнения затрудняется тем, что для любой формы зависимости можно выбрать целый ряд уравнений, которые в определенной степени будут описывать эти связи. Основное значение имеют линейные модели в силу простоты и логичности их экономической интерпретации.

Важным этапом построения уже выбранного уравнения множественной регрессии являются отбор и последующее включение факторных признаков. Как уже отмечалось выше, чем больше факторных признаков включено в уравнение, тем оно лучше описывает явление. Однако модель размерностью 100 и более факторных признаков сложно реализуема. Сокращение размерности модели за счет исключения второстепенных, экономически и статистически несущественных факторов способствует простоте и качеству ее реализации. В то же время построение модели регрессии малой размерности может привести к тому, что такая модель будет недостаточно адекватна исследуемым явлениям и процессам.

Проблема отбора факторных признаков для построения моделей взаимосвязи может быть решена на основе интуитивно-логических или многомерных статистических методов анализа. Одним из способов отбора факторных признаков является шаговая регрессия (шаговый регрессионный анализ).

Метод шаговой регрессии предполагает последовательное включение факторов в уравнение регрессии и последующую проверку их значимости. Факторы поочередно вводятся в уравнение. При проверке значимости введенного фактора определяется, на сколько уменьшается сумма квадратов отклонений и увеличивается величина множественного коэффициента корреляции (методика расчета коэффициентов корреляции будет рассмотрена в параграфе 9.3). Одновременно используется и обратный метод, т. е. исключение факторов, ставших незначимыми.

Фактор является незначимым, если его включение в уравнение регрессии только изменяет значения коэффициентов регрессии, не уменьшая суммы квадратов остатков и не увеличивая их значения. Если при включении в модель соответствующего факторного признака величина множественного коэффициента корреляции увеличивается, а коэффициента регрессии — не изменяется (или меняется несущественно), то данный признак существенен и его включение в уравнение регрессии необходимо. В противном случае фактор нецелесообразно включать в модель регрессии^[1].

При построении модели регрессии возможна проблема мультиколлинеарности.

Мультиколлинеарность — это линейная взаимосвязь двух или нескольких факторных признаков, включенных в модель.

Наличие мультиколлинеарности между признаками приводит к следующим последствиям:

• • искажению величины параметров модели, которые имеют тенденцию к завышению, чем осложняется процесс определения наиболее существенных факторных признаков;
• • изменению смысла экономической интерпретации коэффициентов регрессии.

В качестве причин возникновения мультиколлинеарности между признаками можно выделить следующие:

• • изучаемые факторные признаки являются характеристикой одной и той же стороны явления или процесса;
• • факторные признаки являются составляющими элементами друг друга;
• • факторные признаки по экономическому смыслу дублируют друг друга.

Отметим, что не всегда имеет смысл прилагать существенные усилия по выявлению и устранению мультиколлинеарности. Все зависит от цели исследования. Если основная цель модели — прогноз будущих значений результативного признака, то при значениях коэффициента детерминации (методика его определения будет рассмотрена в параграфе 9.3) г² >0,9 наличие мультиколлинеарности обычно не сказывается на прогнозных качествах модели.

Существуют различные методы устранения мультиколлинеарпости. Простейшим методом является исключение из модели одного или нескольких линейно-связанных факторных признаков. Вопрос о том, какой из факторов следует отбросить, решается на основании качественного и логического анализа изучаемого явления.

В прикладных моделях лучше не сокращать число факторов до тех пор, пока мультиколлинеарность не станет серьезной проблемой.

Иногда проблема мультиколлинеарности может быть решена путем изменения спецификации модели.

Множественная линейная регрессия характеризует связь между результативным и несколькими факторными признаками, и предполагается наличие линейной связи между ними:

где т — число объясняющих переменных (факторов); а₀, а_х, а₂,а_т — параметры модели.

Для обеспечения статистической надежности требуется выполнение условия п > 3(/72 4−1), где п — число наблюдений.

Основные предпосылки модели множественной линейной регрессии следующие 1191:

• • математическое ожидание случайного отклонения е, равно нулю для всех наблюдений;
• • дисперсии отклонений постоянны и равны для всех наблюдений;
• • случайные отклонения независимы друг от друга;
• • случайное отклонение независимо от объясняющих переменных (факторных показателей);
• • модель линейна относительно параметров;
• • между факторами отсутствует строгая линейная связь;
• • случайные отклонения г, распределены нормально с параметрами 0 и а². Параметры уравнения множественной линейной регрессии могут быть

определены методом наименьших квадратов. Методика построения уравнения множественной линейной регрессии аналогична случаю парной линейной регрессии. Вместо переменных подставляются результаты наблюдений, находятся остатки и минимизируется сумма квадратов остатков.

Рассмотрим построение уравнения регрессии при наличии связи между результативным и двумя факторными признаками (т = 2):

В соответствии с методом наименьших квадратов сумма квадратов отклонений фактического значения результативного показателя от теоретического должна быть минимальна (см. формулу (9.1)).

В случае множественной линейной регрессии при наличии связи между результативным и двумя факторными признаками задача (9.1) принимает вид.

где х_и, x_2jy i = 1,n_f — наблюдаемые значения признаков х₂.

Минимизируя сумму квадратов отклонений, получаем систему нормальных уравнений.

Разрешив систему уравнений (9.4) относительно параметров а₀, a_t, а₂, получим.

Пример 9.2. Объем продаж у линейно зависит от цены товара х, и затрат на рекламу х₂. Статистические данные собраны за 7 мес.:

На основании статистической информации построим уравнение линейной регрессии.

Решение

Результаты расчетов представлены в табл. 9.4.

Таблица 9.4

Данные, отражающие зависимость объема продаж у от цены товара х, и затрат на рекламу х₂

Итак, уравнение регрессии у =55,504 + 0,496л, +4,36л'₂.

Нами были рассмотрены линейные связи. Однако нс всегда экономические зависимости являются линейными по своей сути, и поэтому их моделирование линейными уравнениями регрессии не приведет к положительному результату. В этих случаях рассматривают нелинейные модели.

Если экономист пришел к выводу, что модель нелинейна, то вначале стоит попытаться подобрать к анализируемым переменным такое преобразование, которое позволило бы представить существующую зависимость в виде линейной функции. В случае если линеаризация невозможна, к исследуемой зависимости следует применять методы нелинейной регрессии.

Если в результате качественного анализа между результативным и факторным показателями установлена нелинейная зависимость, принимающая форму кривой второго порядка, т. е. связь выражается уравнением кривой у = а₀ +а_{х + а₂х², то параметры а₀, а_х, а₂ могут быть определены путем решения системы трех нормальных уравнений:

Линеаризации поддаются следующие виды зависимостей.

Экспоненциальные зависимости. Некоторые экономические показатели характеризуются приблизительно постоянным темпом относительного прироста во времени. Этому соответствует модель следующего вида:

Тогда.

Так что относительный прирост у за единицу времени определяется выражением.

Переход к новой переменной у* =1п у позволяет представить исследуемую зависимость в линейном виде:

где а*₀ =1п а₀.

Логарифмические зависимости. Предположим, что исследуемая зависимость имеет вид.

Переход к линейной зависимости осуществляется с помощью преобразования.

Гиперболические зависимости. Предположим, что исследуемая зависимость имеет вид.

Переход к линейной зависимости осуществляется с помощью преобразования.

Степенные зависимости. Рассмотрим модель множественной регрессии вида.

При переходе к переменным у* =lnу> х* =ln Xpj = 1, т, можно представить исследуемую зависимость в следующем виде:

где «о =1п а₀.

Одним из вариантов решения задачи определения типа линеаризующего преобразования в каждом конкретном случае может быть подбор подходящей модели методом перебора и выбор лучшей на основании некоторого критерия качества, например связанного со значением коэффициента детерминации (см. параграф 9.3).

Однако существует и более формализованная процедура подбора соответствующего линеаризующего преобразования, известная как подход Бокса — Кокса^[2].

• [1] Минашкин В. Г., Гусыпин А. Б., Садовникова II. АШмойяова Р. А. Указ. соч.
• [2] Яковлева Л. В. Эконометрика. Конспект лекций. М.: Эксмо, 2008.