Оценка параметров парной регрессионной модели

Линейная регрессия находит широкое применение в эконометрике в виде четкой экономической интерпретации ее параметров.

Линейная регрессия сводится к нахождению уравнения вида:

y_x=a+b*x или y=a+b*x+е.

Уравнение вида y_x=a+b*x позволяет по заданным значениям фактора x иметь теоретические значения результативного признака, подставляя в него фактические значения фактора x.

Построение линейной регрессии сводится к оценке ее параметров — а и b. Оценки параметров линейной регрессии могут быть найдены разными методами.

Можно обратиться к полю корреляции и, выбрав на графике две точки, провести через них прямую линию. Далее по графику можно определить значения параметров.

Параметр, а определим как точку пересечения линии регрессии с осью oy, а параметр b оценим, исходя из угла наклона линии регрессии, как dy/dx, где dy — приращение результата у, а dx — приращение фактора х.

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров, а и b, при которых сумма квадратов отклонений фактических значений результативного признака (у) от расчетных (теоретических) y_x минимальна: ?(у_i— y_xi)²>min.

Иными словами, из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной.

Чтобы найти минимум функции, надо вычислить частные производные по каждому из параметров, а и b и приравнять их к нулю.

Обозначим ?е_i² через S, тогда:

S=?(у_i— y_xi)²=?(y-a-b*x)²

dS/da=-2?y+2*n*a+2*b?x=0 (1.1).

dS/db=-2?y*x+2 *a?x +2*b?x²=0.

Преобразуя формулу (1.1), получим следующую систему нормальных уравнений для оценки параметров, а и b:

n*a+b?x=?y.

a ?x+ b? x²⁼ ?x*y (1.2).

Решая систему нормальных уравнений (1.2) либо методом последовательного исключения переменных, либо методом определителей, найдем исходные оценки параметров, а и b.

Можно воспользоваться следующими готовыми формулами:

a=y-b*x (1.3).

Формула (1.3) получена из первого уравнения системы (1.2), если все его члены разделить не n.

b=cov (x, y)/у_x²,.

где cov (x, y) — ковариация признаков;

у_x² — дисперсия признака х.

Ввиду того, что cov (x, y)=yx-y*x, а у_x²=x²-x², получим следующую формулу расчета оценки параметра b:

b=yx-y*x/ x²-x²

Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.

Формально, а — значение у при х=0. Если признак-фактор х не имеет и не может иметь нулевого значения, то вышеуказанная трактовка свободного члена, а не имеет смысла. Параметр, а может не иметь экономического содержания. Попытки экономически интерпретировать параметр, а могут привести к абсурду, особенно при а<0.

Интерпретировать можно лишь знак при параметре а. если а>0, то относительное изменение результата происходит медленнее фактора. Иными словами, вариация результата меньше вариации фактора — коэффициент вариации по фактору х выше коэффициента вариации для результата у: Vx>Vy.

Нелинейная регрессия по включенным переменным не представляет никакой сложности в оценке ее параметров. Она определяется, как и в линейной регрессии, МНК, обо эти функции линейны по параметрам. Так, в параболе второй степени у=а₀+а₁*х+а₂*х²+е, заменяя переменные х=х₁, х²=х₂, получим двухфакторное уравнение линейной регрессии: у=а₀+а₁*х₁+а₂*х₂+е, для оценки параметров которого используется МНК.

Следовательно для полинома третьего порядка у=а₀+а₁*х+а₂*х²+а₃*х³+е, при замене х=х₁, х²=х₂, х³=х₃ получим трехфакторную модель линейной регрессии: у=а₀+а₁*х₁+а₂*х₂+а₃*х₃+е.

А для полинома k-го порядка у=а₀+а₁*х+а₂*х²+…+а_k*х^k+е получим модель множественной регрессии с k объясняющими переменными: у=а₀+а₁*х₁+а₂*х₂+…+а_k*х_k+е/.

Следовательно, полином любого порядка сводится к линейной регрессии с ее методами оценивания параметров и проверки гипотез. Как показывает опыт большинства исследователей, среди нелинейной полиномиальной регрессии чаще всего используется парабола второй степени; в отдельных случаях — полином третьего порядка.

Ограничения в использовании полиномов более высоких степеней связаны с требованием однородности исследуемой совокупности: чем выше порядок полинома, тем больше изгибов имеет кривая и соответственно менее однородна совокупность по результативному признаку.

Парабола второй степени целесообразна к применению, если для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую.

В этом случае определяется значение фактора, при котором достигается максимальное (минимальное) значение результативного признака: приравнивается к нулю первая производная параболы второй степени:

x=a+b*x+c*х2, то есть b+2*c*x=0 и x=-b/2*c.

Если же исходные данные не обнаруживают изменения направленности связи, то параметры параболы второго порядка становятся трудно интерпретируемыми, а форма связи часто заменяется другими нелинейными моделями.

Ввиду симметричности кривой парабола второй степени далеко не всегда пригодна в конкретных исследованиях.

Чаще всего исследователь имеет дело лишь с отдельными сегментами параболы, а не с полной параболической формой.

Кроме того, параметры параболической связи не всегда могут быть логически истолкованы. Поэтому если график зависимости не демонстрирует четко выраженной параболы второго порядка (нет смены направленности связи признаков), то она может быть заменена другой нелинейной функцией, например степенной.

Среди класса нелинейных функций, параметры которых без особых затруднений оцениваются МНК, следует назвать хорошо известную в эконометрике равностороннюю гиперболу:

y_x=a+b/x.

Она может быть использована не только для характеристики связи удельных расходов сырья, топлива, материалов с объемом выпускаемой продукции, времени обращения товаров от величины товарооборота на микроуровне, но и на макроуровне.

Классическим ее примером является кривая Филипса, характеризующая нелинейное соотношение между нормой безработицы х и процентом прироста заработной платы у: y=a+b/x+е.

Для равносторонней гиперболы вида y=a+b/x+е, заменив 1/х на z, получим линейное уравнение регрессии y=a+b*z+е, оценка параметров которого может быть дана МНК.

Система нормальных уравнений составит:

• ?у=n*a+b*?1/x,
• ?y/x=a*?1/x+b*?1/x²

При b>0 имеем обратную зависимость, которая при х>? характеризуется нижней асимптотой, то есть минимальным предельным значением у, оценкой которого служит параметр а.

При b?, то есть с максимальным предельным уровнем у, оценку которого в уравнении y_x=a+b/x дает параметр а.

Примером может служить взаимосвязь доли расходов на товары длительного пользования и общих сумм расходов (или доходов). Математическое описание подобного рода взаимосвязей получило название кривых Энгеля.

Уоркинг и Лизер для описания кривой Энгеля использовали полулогарифмическую кривую.

у=а+b*lnx+е/.

Заменив lnx на z, опять получим линейное уравнение: y=a+b*z+е. Данная функция, как и предыдущая, линейна по параметрам и нелинейна по объясняющей переменной х. оценка параметров, а и b может быть найдена МНК.

Система нормальных уравнений при этом окажется следующей:

у=n*a+b*lnx,.

?y*lnx=a*?lnx+b*?(lnx)²

Возможны и иные модели, нелинейные по объясняющим переменным. Например, у=а+b*vx+е. Соответственно система нормальных уравнений для оценки параметров составит:

• ?у=n*a+b*?vx,
• ?y*vx=a*?vx+b*?x

Уравнение с квадратными корнями использовались в исследованиях урожайности, трудоемкости сельскохозяйственного производства. В работе Н. Дрейнера и Г. Смита справедливо отмечено, что если нет каких-либо теоретических обоснований в использовании данного вида кривых, то основная цель подобных преобразований состоит в том, чтобы для преобразованных переменных получить более простую модель регрессии, чем для исходных данных.

Иначе обстоит дело с регрессией, нелинейной по оцениваемым параметрам. Данный класс нелинейных моделей подразделяется на два типа:

• · Нелинейные модели внутренне линейные. Такая модель с помощью соответствующих преобразований может быть приведена к линейному виду;
• · Нелинейные модели внутренне не линейные не могут быть сведены к линейной функции

Например, в экономических исследованиях при изучении эластичности спроса от цен широко используется степенная функция:

у=а*х^b*е,.

где у — спрашиваемое количество;

х — цена;

е — случайная ошибка.

Данная модель не линейна относительно оцениваемых параметров, ибо включает параметры, а и b неаддитивно.

Однако ее можно считать внутренне линейной, так как логарифмирование данного уравнения по основанию е приводит его к линейному виду:

lny=lna+b*lnx+lnе.

Соответственно оценки параметров, а и b могут быть найдены МНК. В рассматриваемой степенной функции предполагается, что случайная ошибка е мультипликативно связана с объясняющей переменной х.

Если же модель представить в виде у=а*x^b+е, то она становится внутренне не линейной, так как ее невозможно превратить в линейный вид.

В специальных исследованиях по регрессионному анализу часто к нелинейным относят модели, только внутренне нелинейные по оцениваемым параметра, а все другие модели, которые внешне нелинейны, но путем преобразований параметров могут быть приведены к линейному виду, относятся к классу линейных моделей.

Если модель внутренне нелинейна по параметрам, то для оценки параметров используются итеративные процедуры, успешность которых зависит от вида уравнений и особенностей применяемого итеративного подхода.

Среди нелинейных функций, которые могут быть приведены к линейному виду, в эконометрических исследованиях очень широко используется степенная функция у=а*x^b*е. Связанно это с тем, что параметр b в ней имеет четкое экономическое толкование, те есть он являеся коэффицентом эластичности.

Это значит, что величина коэффициента b показывает, на сколько процентов изменился в среднем результат, если фактор изменился на 1%. О правомерности подобного истолкования параметра b для степенной функции y_х=а*х^b можно судить, если рассмотреть формулу расчета коэффициента эластичности Э=ѓ`(x)x/y, где.

ѓ`(x) — первая производная, характеризующая соотношение приростов результата и фактора для соответствующей формы связи.

В силу того, что коэффициент эластичности для линейной функции не является величиной постоянной, а зависит от соответствующего значения х, то обычно рассчитывается средний показатель эластичности по формуле:

Э=b*x/y.

Для оценки параметров степенной функции у=а*x^b*е применяется МНК к линеаризированному уравнению lny=lna+b*lnx+lnе, то есть решается система нормальных уравнений:

• ?lnу=n*lna+b*?lnx,
• ?lny*lnx=lna*?lnx+b*?(lnx)²

Параметр b определяется непосредственно из системы, а параметр, а — косвенным путем после потенцирования величины lna.

Поскольку коэффициенты эластичности представляют экономический интерес, а виды моделей не ограничиваются только степенной функцией, то существуют формулы расчета коэффициентов эластичности для наиболее распространенных типов уравнений регрессии, приведенные в приложении 1.

Несмотря на широкое использование в эконометрике коэффициентов эластичности, возможны случаи, когда их расчет экономического смысла не имеет. Это происходит тогда, когда для рассматриваемых признаков бессмысленно определение изменения значений в процентах.