Линейная регрессия. 
Линейная регрессия

Линейная регрессия

Линейная регрессия — метод восстановления зависимости между двумя переменными: независимой ч (факторы, регрессоры) с линейной функцией зависимости y.

Рассмотрим регрессионную модель:

.

где — параметры модели, — случайная ошибка модели, называется линейной регрессией, если функция регрессии имеет вид.

.

где — параметры (коэффициенты) регрессии, — регрессоры (факторы модели), k — количество факторов модели.

Линия регрессии Математическое уравнение, которое оценивает линию простой (парной) линейной регрессии:

y=a + bx. (1).

x называется независимой переменной или предиктором.

y — зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y (в среднем), если мы знаем величину x, т. е. это «предсказанное значение y».

a — свободный член (пересечение) линии оценки; это значение y, когда x=0 (Рис.1).

b — угловой коэффициент или градиент оценённой линии; она представляет собой величину, на которую y увеличивается в среднем, если мы увеличиваем x на одну единицу.

a и b называют коэффициентами регрессии оценённой линии, хотя этот термин часто используют только для b.

Парную линейную регрессию можно расширить, включив в нее более одной независимой переменной; в этом случае она известна как множественная регрессия.

Для расчета коэффициентов a и b используется метод наименьших квадратов (МНК):

Пусть — набор неизвестных переменных (параметров), — совокупность функций от этого набора переменных. Задача заключается в подборе таких значений x, чтобы значения этих функций были максимально близки к некоторым значениям. По существу речь идет о «решении» переопределенной системы уравнений в указанном смысле максимальной близости левой и правой частей системы. Сущность МНК заключается в выборе в качестве «меры близости» суммы квадратов отклонений левых и правых частей —.

Коэффициент b получим из формулы:

Где — среднее значение независимого параметра x.

— среднее значение y.

Коэффициент a:

Подставив коэффициенты a и b в уравнение (1) получим необходимые нам значения линейной регрессии.

Использование Excel для определения линейной регрессии Для того, чтобы воспользоваться инструментом регрессионного анализа встроенного в Excel, необходимо активировать надстройку Пакет анализа. Найти ее можно, перейдя по вкладке Файл -> Параметры (2007+), в появившемся диалоговом окне Параметры Excel переходим во вкладку Надстройки. В поле Управление выбираем Надстройки Excel и щелкаем Перейти. В появившемся окне ставим галочку напротив Пакет анализа, жмем ОК.

регрессия предиктор квадрат.

Во вкладке Данные в группе Анализ появится новая кнопка Анализ данных.

Перейдите во вкладку Данные, в группе Анализ щелкните Анализ данных. В появившемся окне Анализ данных выберите Регрессия, как показано на рисунке, и щелкните ОК.

Установите необходимыe параметры регрессии в окне Регрессия, как показано на рисунке:

Щелкните ОК. На рисунке ниже показаны полученные результаты:

Проверка значимости оценок параметров регрессии Дисперсия случайной величины — мера разброса данной случайной величины, то есть её отклонения от математического ожидания.

формула для вычисления дисперсии случайной последовательности :

Коэффициент детерминации (— R-квадрат) — это доля дисперсии зависимой переменной, объясняемая рассматриваемой моделью зависимости, то есть объясняющими переменными. Более точно — это единица минус доля необъяснённой дисперсии (дисперсии случайной ошибки модели, или условной по факторам дисперсии зависимой переменной) в дисперсии зависимой переменной. Его рассматривают как универсальную меру зависимости одной случайной величины от множества других. В частном случае линейной зависимости является квадратом так называемого множественного коэффициента корреляции между зависимой переменной и объясняющими переменными. В частности, для модели парной линейной регрессии коэффициент детерминации равен квадрату обычного коэффициента корреляции между y и x.

где — условная (по факторам x) дисперсия зависимой переменной (дисперсия случайной ошибки модели).

В данном определении используются истинные параметры, характеризующие распределение случайных величин. Если использовать выборочную оценку значений соответствующих дисперсий, то получим формулу для выборочного коэффициента детерминации (который обычно и подразумевается под коэффициентом детерминации):

где — сумма квадратов остатков регрессии, — фактические и расчётные значения объясняемой переменной.

• — общая сумма квадратов.
• — выборочное среднее.

Коэффициент детерминации, как и коэффициент корреляции, принимает значения от -1 до+1. Чем ближе его значение коэффициента по модулю к 1, тем теснее связь результативного признака Y с исследуемыми параметрами X.

Величина коэффициента детерминации служит важным критерием оценки качества линейных и нелинейных моделей. Чем значительнее доля объясненной вариации, тем меньше роль прочих факторов, и значит, модель регрессии хорошо аппроксимирует исходные данные и такой регрессионной моделью можно воспользоваться для прогноза значений результативного показателя.

Стандартная ошибка линейной регрессии.

Качество подбора функции регрессии можно оценить с помощью стандартных ошибок или дисперсий остатков и оценок параметров регрессии. Стандартные ошибки коэффициентов регрессии используются аналогично стандартной ошибке среднего — для нахождения доверительных интервалов и проверки гипотез.

Стандартная ошибка (дисперсия остатков) коэффициента множественной регрессии имеет такой же смысл, как и в парном регрессионном анализе, в том плане, что она является несмещенной оценкой стандартного отклонения распределения коэффициента регрессии вокруг его истинного значения.

Рассчитываем стандартную ошибку следующим образом:

Где — сумма квадратов остатков регрессии,.

kколичество параметров, n — выборка измерений.

Критерий Фишера.

Критерий Фишера (или F-тест) применяется для проверки равенства дисперсий двух выборок. Статистика теста так или иначе сводится к отношению выборочных дисперсий (сумм квадратов, деленных на «степени свободы»). Чтобы статистика имела распределение Фишера необходимо, чтобы числитель и знаменатель были независимыми случайными величинами и соответствующие суммы квадратов имели распределение Хи-квадрат. Для этого требуется, чтобы данные имели нормальное распределение. Кроме того, предполагается, что дисперсия случайных величин, квадраты которых суммируются, одинакова.

Пусть имеются две выборки объемом m и n соответственно случайных величин X и Y, имеющих нормальное распределение. Необходимо проверить равенство их дисперсий.

Значение критерия Фишера есть отношение факторной суммы квадратов регрессии к остаточной на заданных степенях свободы:

Где — выборочное среднее.

расчетные значения зависимой переменной, n — объем выборки.

P-value.

P-значение (P-value) — величина, используемая при тестировании статистических гипотез.

Представляет собой вероятность того, что значение проверочной статистики используемого критерия (t-статистики Стьюдента, F-статистики Фишера и т. д.), вычисленное по выборке, превысит установленное p-значение. Решение о принятии или отклонении нулевой гипотезы принимается в результате сравнения p-значения с выбранным уровнем значимости. Если оно превышает указанный уровень значимости, то для отклонения нулевой гипотезы (принятия альтернативной) нет достаточных оснований.

Иначе говоря, p-значение — это наименьшее значение уровня значимости (т.е. вероятности отказа от справедливой гипотезы), для которого вычисленная проверочная статистика ведет к отказу от нулевой гипотезы. Обычно p-значение сравнивают с общепринятыми стандартными уровнями значимости 0,005 или 0,01. Например, если вычисленное по выборке значение проверочной статистики соответствует p = 0,005, это указывает на вероятность справедливости гипотезы 0,5%. Таким образом, чем p-значение меньше, тем лучше, поскольку при этом увеличивается «сила» отклонения нулевой гипотезы и увеличивается ожидаемая значимость результата.