Метод наименьших квадратов, теорема Гаусса – Маркова

После изучения главы 5 студент должен:

знать

• • принцип метода наименьших квадратов (МНК);
• • формулировку теоремы Гаусса — Маркова;
• • условия, при выполнении которых МНК позволяет получить наилучшие оценки линейной модели множественной регрессии;
• • основные свойства модели в виде уравнения парной регрессии характеристики;
• • понятие схемы Гаусса — Маркова и системы нормальных уравнений;
• • назначение предпосылок в теореме Гаусса — Маркова;
• • последствия невыполнения предпосылок теоремы Гаусса — Маркова;

уметь

• • строить схему Гаусса — Маркова для расчета параметров линейной модели;
• • применять МНК для формирования системы нормальных уравнений по данным схемы Гаусса — Маркова;
• • использовать табличный процессор EXCEL для вычисления параметров линейной модели;

владеть

• • математическим аппаратом линейной алгебры в рамках, необходимых для решения задачи оценки параметров линейной модели;
• • навыками использования программного обеспечения персональных компьютеров, в части, использования табличного процессора EXCEL.

Метод наименьших квадратов и уравнение парной регрессии

Одним из наиболее широко применяемых методов, получения, по крайней мере, состоятельных оценок, является метод наименьших квадратов (МНК).

Метод наименьших квадратов был предложен Гауссом еще в XVIII в. Гаусс решал задачу о том, как на плоскости (в пространстве) через известный набор точек провести прямую наилучшим способом. В качестве критерия он предложил использовать сумму квадратов остатков (невязок), т. е. разностей между абсциссами реальных точек и соответствующих им точек, лежащих на прямой. В математике решение такой задачи получило название регрессионного анализа.

Рассмотрим механизм применения МНК на примере идентификации (оценки, построения) модели в виде линейного уравнения парной регрессии:

(5.1).

Для решения задачи имеем набор точек на плоскости или другими словами набор п наблюдений за поведением переменных у и х.

Таблица исходных данных (выборка).

Согласно методу наименьших квадратов, необходимо найти такие значения оценок параметров модели (5.1), которые соответствуют минимуму суммы квадратов остатков.

Из (5.1) следует, что неизвестные параметры модели должны обеспечить минимум функции:

(5.2).

Необходимым условием экстремума функции в точке является равенство нулю в ней ее частных производных. Следовательно, для нахождения параметров функции (5.2), соответствующие ее минимуму, необходимо вычислить производные этой функции по параметрам, приравнять их нулю и решить полученные уравнения относительно и

(5.3).

Разделив обе части уравнений (5.3) на -2 и выполнив перемножения, получим:

(5.4).

или окончательно:

(5.5).

Система уравнений (5.5) называется системой нормальных уравнений для определения оценок параметров модели парной регрессии (5.1).

Убедимся, что решения системы уравнений (5.5) соответствуют минимуму функции (5.2). Для этого достаточно показать, что вторые производные функции (5.2) положительны.

Систему уравнений (5.5) можно решить методом исключения переменных. Для этого достаточно выразить параметр через и подставить его во второе уравнение системы, откуда легко получить , затем полученное значение подставить в первое уравнение и получить выражение для . В результате решение системы уравнений (5.5) примет вид:

(5.6).

Выражения (5.6) позволяют по известным значениям наблюдений за переменными х и у вычислить оценки параметров модели парной регрессии.

Проверим, насколько полученные оценки отвечают требованию несмещенности. Для этого запишем второе выражение (2.12) в виде.

(5.7).

Для получения выражения (5.7) необходимо вспомнить, что оценка ковариации и дисперсии случайных переменных вычисляются, как.

Раскрыв скобки и произведя несложные преобразования, легко получить выражение (5.7).

Найдем числитель (5.7), используя свойства ковариацию:

(5.8).

Первое слагаемое в выражении (5.8) равно нулю, так как параметр константа, а . Тогда окончательно выражение (5.8) принимает вид:

(5.9).

Математическое ожидание оценки параметра равно правой части выражения (5.9), так как параметр и количественные характеристики случайных переменных — константы.

Отсюда видно, несмотря на то, что случайные возмущения напрямую не участвуют в вычислении значений оценок параметров, они существенно влияют на их качество, а именно, если случайное возмущение коррелирует с регрессором, то значение оценки становится смещенным.

На практике часто пользуются формулами для вычисления параметров уравнения парной регрессии с использованием средних значений. Вводятся следующие обозначения:

Тогда система нормальных уравнений (5.5) принимает вид:

(5.10).

Решение системы (5.10) есть.

(5.11).

Найдем дисперсии параметров уравнения парной регрессии.

Для вычисления дисперсии оценки параметра воспользуемся выражением (5.7).

(5.12).

Дисперсию оценки параметра а0 удобно вычислить исходя из выражения (5.11).

(5.13).

Последнее слагаемое в (5.13) равно нулю, так как это ковариация между константой и случайной переменной . Для получения дисперсии оценки параметра необходимо вычислить дисперсию значения выборочной средней .

(5.14).

После подстановки в (5.13) выражения (5.14) окончательно получим:

(5.15).

Найдем дисперсии оценки эндогенной переменной и дисперсию непосредственно эндогенной переменной у.

(5.16).

Первые два слагаемых в (5.16) выше вычислены, осталось найти последнее слагаемое.

(5.17).

Окончательно для дисперсии прогнозного значения эндогенной переменной получим:

(5.18).

Реальное значение эндогенной переменной у отличается от прогнозного на величину случайного возмущения и с дисперсией . Добавив к (5.18) дисперсию случайного возмущения окончательно получаем:

(5.19).

Показатели точности (дисперсии и стандартные ошибки) вычисления оценок параметров эконометрической модели в виде уравнения парной регрессии обладают следующими свойствами.

• 1. Дисперсии обратно пропорциональны объему выборки п. Это означает, что точность вычисление значений оценок параметров модели и прогноза по ней возрастает с ростом объема выборки.
• 2. Значения дисперсий уменьшаются с ростом значения , которое, в данном случае, характеризует ширину интервала изменения регрессора х в выборке. Это отражает известный факт: для того чтобы точнее провести прямую на плоскости через две точки, необходимо отметить эти точки дальше одна от другой.
• 3. Наиболее точный прогноз по линейной модели парной регрессии достигается в центре группирования регрессов. С удалением текущего значения регрессора от своего среднего значения приводит к росту дисперсии прогноза в квадратичной зависимости. Другими словами, экстраполяция линейной регрессии за пределы обследованного диапазона объясняющей переменной может привести к значительным погрешностям.

Заметим еще раз, что применение МПК к оценке параметров линейной алгебраической модели не всегда позволяет получить несмещенные и эффективные. Для получения оценок с необходимыми свойствами необходимо, чтобы случайные возмущения удовлетворяли ряду условий. Эти условия сформулированы в теореме Гаусса — Маркова.