Регрессионные модели. 
Регрессионный анализ

регрессия моделирование статистика mathcad.

Главная задача, которая решается с помощью регрессионного анализа, — создание математических моделей некоторых объектов или явлений на основе экспериментов или наблюдений. Эти модели представляют собой определённые математические соотношения между показателями работы объекта или характеристиками наблюдаемого явления и обусловливающими их величинами. Будем называть зависимыми переменными, выходными характеристиками или откликами объекта, а — входными переменными, независимыми характеристиками или факторами. Для одного и того же объекта можно создать множество моделей:

причём каждая описывает лишь один из показателей, интересующих исследователя. В зависимости от целей исследования один и тот же объект с одинаковыми показателями может описываться различными моделями.

Выбор подходящей модели — это в значительной степени искусство, и при определении её вида часто решающую роль играют опыт и знания исследователя. Модель всегда отражает данное явление с некоторым приближением.

Есть и ещё одна причина, по которой модель не отражает протекающее явление абсолютно точно. Всегда есть величины, которые влияют на результаты, но не измеряются во время эксперимента. Часть из них имеет систематический характер и в силу этого может с течением времени вызвать изменения коэффициентов модели. Другая же часть меняется случайным образом, подчиняясь некоторому закону распределения. Такие величины ещё называют случайными возмущениями. В силу их действия повторные опыты при одних и тех же значениях факторов будут давать различные значения зависимой переменной. Модель не может точно учесть влияние случайных возмущений в каждом отдельном измерении, она показывает лишь некоторые усреднённые характеристики.

Следовательно, нет оснований говорить об «истинной» модели в полном смысле слова. Тем не менее, модели с успехом используются на практике. Обычно под «истинным» значением понимают условное математическое ожидание зависимой переменной при заданных значениях факторов:

.

где Е — знак математического ожидания.

Это равенство называется уравнением регрессии и показывает изменение среднего значения отклика объекта при изменениях факторов. Фактически измеряемая выходная характеристика есть.

где — случайное возмущение. Чаще всего принимают, что действие на объект множества случайных возмущений эквивалентно действию одного единственного возмущения с нормальным распределением, нулевым математическим ожиданием и дисперсией. Это предположение выполняется достаточно хорошо для многих практических задач, в которых все случайные возмущения оказывают воздействия, соизмеримые одно с другим. Основанием этому служит центральная предельная теорема теории вероятностей.

Существует большое число различных регрессионных моделей, определяемых конкретным видом функции, где всегда присутствуют некоторые коэффициенты, которые надо определять по экспериментальным данным. В зависимости от того, как эти коэффициенты входят в уравнение регрессии, модели делятся на линейные и нелинейные по параметрам.

Например, модель.

• — нелинейна, а
• — линейна.

Под линейной обычно понимают модель, линейную по параметрам. Например, модель.

— линейна по отношению к коэффициентам, не нелинейна по отношению к факторам.

Нередко регрессионные модели представляют полиномами по степеням факторов. Подобное представление опирается на тот факт, что отклики — часто непрерывные функции от факторов и их можно разложить в ряд Тейлора.

Ясно, что все функции, разложимые в ряд Тейлора, можно аппроксимировать полиномами. Это важно отметить, так как полиномами трудно аппроксимировать функции с разрывами, т. е. не имеющие производных. Полиномы не годятся для описания явлений со скачкообразными изменениями выходной характеристики при изменении факторов, функций с гистерезисом, релейных функций и т. п.

Когда исследуется периодический процесс, его наилучшее описание можно получить разложением в ряд Фурье:

(1.1).

где — частота, меняющаяся в пределах. Такие модели используются в электротехнике, геофизике, океанологии, биологии, медицине и других прикладных областях.

Для описания временных характеристик используется ещё так называемая модель распределённого лага:

. (1.2).

Это выражение предполагает, что измерения делаются в дискретные моменты времени, отстоящие друг от друга на интервал. Через обозначена выходная характеристика вй момент времени, т. е.

.

а — та же самая величина, измеренная на тактов раньше; - значение фактора, измеренное с запаздыванием на тактов по отношению к текущему i-му моменту.

В уравнении (1.1) записана одна выходная характеристика, но аналогичные модели можно строить и когда в исследовании участвует несколько откликов. Если для случайных процессов вход явно не определён, то пользуются так называемой моделью авторегрессии:

. (1.3).

Моделью авторегрессии, например, описывается изменение числа пассажиров на железнодорожной магистрали через определённое время. Отклик может рассматриваться и как функция некоторого фактора (нескольких факторов), заданного через определённые промежутки времени:

.

Представление всех моделей в единой форме удобно при организации вычислительных процедур регрессионного анализа, однако, аналогия между моделями разных видов отнюдь не полная. Например, модели (1.2) и (1.3) описывают зависимость выходной характеристики в i-й момент от её значений в предыдущие моменты, а это предполагает зависимость между наблюдениями во времени, которая влечёт за собой значительные изменения как в вычислительной процедуре, так и в статистическом анализе результатов.

Многие нелинейные по параметрам модели линеаризуемы с помощью подходящего преобразования переменных. В биологии, например, используется так называемая логистическая функция, показывающая зависимость доли погибших вредных насекомых.

— число погибших насекомых, — общее число насекомых при заданной дозе инсектицида. Логистическая зависимость имеет вид.

и говорит о том, что очень маленькие и очень большие дозы яда не приводят к существенному изменению доли погибших насекомых (при очень малых дозах гибнут самые не жизнестойкие, а при очень больших — все).

Если к логистической зависимости применить преобразование.

.

то, как легко проверить, она примет вид.

.

а эта зависимость линейна относительно искомых параметров.

В моделях, которые рассматривались до сих пор, предполагалось, что все независимые переменные могут меняться в заданных интервалах непрерывно. Однако в некоторых задачах часть факторов имеет качественный характер и может принимать только определённые дискретные значения. В этом случае в модель вводят так называемые индикаторные переменные, показывающие, имел ли некоторый фактор в определённом наблюдении заданное значение или нет. Фактор с качественными уровнями можно представить индикаторными переменными, принимающими только значения 0 и 1.

Примером послужит задача построения модели количества газовых пор в сварном шве при аргонодуговой сварке никеля в зависимости от состава покрытия электрода (криолит —, титан —, алюминий -, фтористый натрий —), а также от условий сварки — времени горения — и длины дуги — Длина дуги — качественный фактор, который может принимать только два значения: длинная дуга () и короткая дуга. Линейная по параметрам и факторам модель имеет вид:

.

причём переменная равна 1 в экспериментах с длинной дугой и 0 — с короткой.

Другой пример индикаторной переменной даёт исследование выхода химической реакции в зависимости от температуры (), давления () и pH раствора (). Опыты проводятся с сырьём, поставляемым фирмами А, В и С. Фирму-поставщик можно рассматривать как фактор с качественными уровнями, принимающими значения. Его влияние можно представить двумя индикаторными переменными и. Вот линейная по параметрам и факторам модель для этого случая:

.

Если используется сырьё фирмы А, то в этом уравнении полагаем =1, =0, для сырья фирмы В — =0, =1, а для фирмы С — =0 и =0.

В данном случае нельзя было бы выбрать для фирмы С отдельную индикаторную переменную (), поскольку такой выбор всегда приводил бы к равенству.

.

а это — линейная зависимость между переменными, наличие которой приводит к серьёзным вычислительным трудностям.

Индикаторные переменные могут участвовать и в более сложных моделях. Если, например, предполагается, что действие факторов (температура, давление, pH раствора на выход у) зависит и от взаимного влияния между факторами, модель может принять вид:

Могут использоваться и некоторые другие модели. Одни удобнее при описании данных наблюдения определённых явлений, другие дают известные преимущества при обработке данных.