Множественная регрессия и корреляция

Нормальная линейная модель множественной регрессии

Естественным обобщением линейной регрессии с двумя переменными является многомерная регрессионная модель (multiple regression model) или модель множественной регрессии:

(27).

где у_i - значение признака-результата (зависимой переменной) для i-го наблюдения; х_ji - значение j-го фактора (независимей или объясняющей переменной) (j = 1;т) для i-го наблюдения; _i - случайная составляющая результативного признака для i-го наблюдения; b₀ — свободный член, который формально показывает среднее значение у при х₁ = х₂ = … = х_т = 0; b_j - коэффициент «чистой» регрессии при j-м факторе (j=1,m).

Коэффициент регрессии характеризует среднее изменение признака-результата у с изменением соответствующего фактора х_j. на единицу, при условии, что прочие факторы модели не изменяются и фиксированы на средних уровнях.

Обычно для многомерной регрессионной модели делаются следующие предпосылки.

1. — детерминированные (нестохастические) переменные.

(i = 1, n) — математическое ожидание случайной составляющей равно 0 в любом наблюдении.

(i = 1, n) — теоретическая дисперсия случайной составляющей; постоянна для всех наблюдений.

- отсутствие систематической связи между значениями случайной составляющей в любых двух наблюдениях.

Часто добавляется условие:, т. е. _i — нормально распределенная случайная величина.

Модель линейной множественной регрессии, для которой выполняются данные предпосылки, называется нормальной линейной регрессионной (Classical Normal Regression model).

В матричной форме нормальная (классическая) регрессионная, модель имеет вид:

,(28).

где Y — случайный вектор-столбец размерности (n1) наблюдаемых значений результативного признака; X — матрица размерности (n(m+1)) наблюдаемых значений факторных признаков. Добавление 1 к общему числу факторов т учитывает свободный член b₀ в уравнении регрессии. Значения фактора х₀ для свободного члена принято считать равным единице; b — вектор-столбец размерности ((т+1)1) неизвестных, подлежащих оценке параметров модели (коэффициентов регрессии); - случайный вектор-столбец размерности (n1) ошибок наблюдений.

Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.

• 1. Они должны быть количественно измеримы. Если не обходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность (например, в модели урожайности качество почвы задается в виде баллов).
• 2. Каждый фактор должен быть достаточно тесно связан с результатом (т. е. коэффициент парной линейной корреляции между фактором и результатом должен существенно отличаться от нуля).
• 3. Факторы не должны сильно коррелировать друг с другом, тем более находиться в строгой функциональной связи (т. е. они не должны быть интеркоррелированны).