Парная линейная множественная регрессия

Содержание

• Парная линейная регрессия. Метод наименьших квадратов

Начальный пункт эконометрического анализа зависимостей оценка линейной зависимости переменных. Если имеется некоторое облако точек наблюдений, через него можно попытаться провести прямую линию, которая является наилучшей в определенном смысле среди всех прямых линий, то есть ближайшей к точкам наблюдений по их совокупности.

Обычно в качестве критерия близости используется минимум суммы квадратов разностей наблюдений зависимой переменной yi и теоретических, рассчитанных по уравнению регрессии значений (a+bxi): Q=.

Здесь yi и xi известные данные наблюдений, .a и b неизвестные параметры линии регрессии. Поскольку функция Q непрерывна, вы-пукла и ограничена снизу нулем, она имеет минимум. Метод оценива-ния параметров линейной регрессии, минимизирующей сумму квадра-тов отклонений наблюдений зависимой переменной от искомой ли-нейной функции, называется МНК или Least Squares Method (LS).

Наилучшая по МНК прямая линия всегда существует, но даже наилучшая не всегда является хорошей

Рассмотрим эту задачу оценки коэффициентов парной линейной регрессии более формально.

Предположим, что связь между всеми возможными значениями х и у, то есть для генеральной совокупности линейна: y=+x. Наличие случайных отклонений, вызванных воздействием на переменную у множества других, неучтенных в уравнении факторов и ошибок изме-рения, приведет к тому, что связь наблюдаемых величин xi и yi приоб-ретет вид yi=+xi+ i. Здесь i.- случайные ошибки (отклонения, воз-мущения).

Причины существования случайного члена:

 Невключение объясняющих переменных;

 Агрегирование переменных. Например, функция суммарного по-требления это попытка общего выражения совокупности реше-ний отдельных индивидов о расходах. Это лишь аппроксимация отдельных соотношений, которые имеют разные параметры.

 Неправильное описание структуры модели;

 Неправильная функциональная спецификация;

 Ошибки измерения.

Так как отклонения i. случайны и их значения в выборке неиз-вестны; то

1) по наблюдениям xi и yi можно получить только оценки пара-етров  и ;

2) Оценки параметров  и  соответственно, а и b, которые сами являются случайными величинами, т.к. соответствуют слу-чайной выборке;

3) Оцененное уравнение регрессии будет иметь вид yi=а+bxi+ ei, где ei наблюдаемые значения ошибок i.

Для оценки параметров  и  - используется МНК. Минимум ищется по переменным, а и b.

Пример. Представлены статистические данные о расходах на пи-тание и душевом доходе семьи для девяти групп семей. Необходимо сделать анализ зависимости величины расходов на питание от величи-ны душевого дохода семьи.