Описание задачи. 
Регрессионный анализ

Для характеристики зависимости у от х рассчитать параметры функции равносторонней гиперболы.

Исходные данные:

По семи территориям Уральского района За 199Х г. известны значения двух признаков.

N=3; M=5; K=3. Следовательно,.

Регрессионный анализ

Регрессионный анализ — метод моделирования измеряемых данных и изучения их характеристик. Данные состоят из пар значений переменной отклика и объясняющей переменной. Регрессионная модель — это функция независимой переменной и параметров с добавленной случайной переменной. Показатели модели настраиваются так, чтобы она наилучшим образом приближала данные. В большинстве случаев, среднеквадратичная ошибка, то есть сумма квадратов разности значений модели и зависимой переменной для всех значений независимой переменной в качестве аргумента является критерием качества приближения (целевой функцией).

Рассматриваемый нами анализ — это неотъемлемая часть математической статистики. Полагается, что переменная отклика — это сумма значений некоторой модели, а также СВ. Что касается характера распределения этой величины, то делаются предположения, которые называются гипотезой порождения данных. Для опровержения или подтверждения данной гипотезы осуществляются статистические тесты (анализ остатка). Считают, что независимая переменная является безошибочной. В основном, регрессионный анализ применяется для прогноза, тестирования гипотез, разбора временных рядов и обнаружения скрытых взаимосвязей в данных.

Стандартная процедура регрессионного анализа получила широкое практическое применение, поскольку она справедлива при некоторых достаточно часто выполняемых предположениях.

Прежде всего, ограничим рассматриваемые модели классом линейных, т. е. таких, что выходная характеристика представима в виде.

(2.1).

где — номер наблюдения, f_iu — произвольные функции факторов, не включающие неизвестные коэффициенты (регрессоры).

В классическом регрессионном анализе делают следующие основные предположения:

1. Величина есть случайная величина. В силу этого и — тоже случайная величина с распределением того же вида, что и что непосредственно вытекает из равенства.

.

где — неслучайная величина.

2. Случайная величина имеет нулевое математическое ожидание, т. е.

при .

Это означает, что средние отклонения от константы равны нулю, что легко выполнимо. Поэтому данному условию можно подчинить все реальные наблюдения. Действительно, допустим, что.

.

Тогда.

.

Значит, наблюдения можно записать так:

.

где.

.

и вместо случайного возмущения используется, для которого предположение 2 выполняется. Замена на означает, что к «истинному» значению отклика прибавляется константа, которая вычитается из среднего значения случайного возмущения. Поскольку постоянна, при любых повторных — х опытах она действует на отклик одинаково. Поэтому нет никакого смысла отделять её от .

3. Значения случайной величины не коррелированны и имеют одинаковые дисперсии, т. е.

при, (2.2).

при. (2.3).

Если помнить, что.

и — константа, нетрудно увидеть — то же условие выполняется и для отклика:

при .

Предположение (2.2) часто не выполняется. Это имеет особое значение для случайных процессов и временных рядов, где наблюдения статистически зависимы в соседних временных интервалах. Только использование моделей распределённого лага и авторегрессии показывает, что наблюдения отклика в i-й момент зависят от его значений в предыдущие моменты времени.

Вместе с тем существует очень много реальных задач, для которых условие (2.2) выполняется. Таковы почти все исследования статики производственных процессов, когда результаты предыдущих опытов не оказывают никакого влияния на последующие.

Условие (2.3) часто называют условием однородности или гомоскедастичности наблюдений. Если же оно не выполняется, наблюдения неоднородны (гетероскедастичны).

Однородность наблюдений означает, что интенсивность случайных возмущений не изменяется ни при изменениях факторов, ни во времени, в течение которого делаются наблюдения. Данное условие выполняется очень часто, поскольку обычно и условия проведения эксперимента, и его точность остаются неизменными при различных значениях факторов. Однако встречаются и такие случаи, когда наблюдения гетероскедастичны. Иногда это можно установить из содержательных соображений, если известно, что дисперсия случайного возмущения некоторым образом связана с математическим ожиданием отклика.

4. Случайная величина имеет нормальное распределение.

Это предположение выполняется очень часто. Причина заключается в том, что согласно центральной предельной теореме влияние множества случайных величин с примерно одинаковыми дисперсиями эквивалентно влиянию единственной случайной величины с нормальным законом распределения. На практике мы нередко сталкиваемся именно с такими условиями. На исследуемый объект влияет множество случайных возмущений с относительно слабым воздействием. Их совокупное действие гораздо сильнее и соответствует действию одной случайной величины с нормальным распределением.

Для формулировки дальнейших предположений воспользуемся следующей — матрицей:

Назовём F матрицей регрессоров.

5. Матрица F не случайна.

Это означает, что её элементы — известные числа, точно заданные исследователем. Предположение нарушается, когда факторы устанавливаются на заданные уровни или измеряются с ошибками. Однако для исследователя гораздо интереснее получить оценки коэффициентов регрессии и оценки их статистических свойств, т. е. при заданном распределении ошибок измерения или ошибок в задании уровней факторов.

Нарушение предположения 5 происходит и в случае, когда исследователь хочет распространить выводы на более широкий класс значений факторов, чем позволяют его данные.

• 6. На значения параметров в модели (2.1) не налагается никаких ограничений, т. е. предварительно об их значениях ничего не известно, и при вычислениях они могут получиться какими угодно. В некоторых случаях есть априорная информация о значениях параметров, которую можно эффективно использовать для улучшения оценок.
• 7. Ранг матрицы F равен числу коэффициентов в модели, т. е.

.

Предположение 7 необходимо для реализации процедуры вычисления коэффициентов модели. Заранее ясно, что оно нарушено, если число опытов меньше, чем число коэффициентов, но нарушение данного условия может быть налицо, и если, достаточно, чтобы между некоторыми столбцами матрицы F существовала линейная зависимость.

Классическим регрессионным анализом будем называть процедуру оценивания регрессионных коэффициентов и статистический анализ модели, когда выполняются все семь предположений.