Обработка результатов эксперимента на основе регрессии

Часто целью исследования является определение функциональной связи между факторами и откликом (реакцией модели) по данным, полученным при экспериментах с моделью объекта или непосредственно с объектом. Такая цель достигается регрессионным анализом значений факторов х и отклика у.

Под регрессией в теории вероятностей и математической статистике понимают зависимость среднего значения какой-либо величины от некоторой другой (других) величины. Регрессионный анализ — это совокупность методов построения и исследования регрессионной зависимости между величинами (в нашем случае между факторами и откликом) по статистическим данным. Статистические данные определяются и накапливаются при проведении эксперимента.

Формальная схема эксперимента выглядит так (рис. 5.6).

Рис. 5.6. Формальная схема эксперимента.

Прямоугольник представляет собой исследуемый объект или его математическую модель. Обозначения на рис. 5.6:

• • Xj — значения факторов, i = 1, …, п;
• • Ъ, — случайный фактор, помеха. Будем считать, что эта случайная величина имеет нормальное распределение с математическим ожиданием М (^) = 0. Влияние помехи на отклик аддитивное, т. е. ее случайные значения прибавляются к значениям отклика;
• • /(х) — искомая функциональная зависимость между факторами и откликом.

Отклику — величина случайная; Дх) представляет собой среднее значение отклика (так как М (%) = 0): у = /(х).

Исследуемый объект представляется как «черный ящик», никаких предположений о виде функции/(х) нет. Поэтому представим ее в виде аппроксимирующего полинома:

Этот полином получил название уравнения регрессии, а коэффициенты Р, — коэффициентов регрессии. От точности подбора коэффициентов регрессии зависит точность представления/(х).

Коэффициенты (3, определяются путем обработки полученных в ходе эксперимента варьируемых значений факторов и откликов.

Однако из-за ограниченного числа наблюдений точные значения р; получить нельзя, будут найдены их опенки Ьр

Поэтому уравнение регрессии принимает вид.

Вообще-то метку над у теперь надо бы изменить, так как вместо р, — в уравнении теперь стоят Ъ_ь но мы этого делать не будем, чтобы не загромождать изложение новыми знаками.

В уравнении регрессии могут участвовать и так называемые совместные эффекты (эс₁эс₂, 1*2*3 и т. п.) или степени значений факторов (.xf, х| и т. п.). Совместные эффекты и степени факторов можно обозначать обобщенным фактором.

Например, уравнение регрессии.

можно представить так:

Итак, для определения выражения/(х) надо:

• • выбрать степень аппроксимирующего полинома — уравнения регрессии;
• • определить коэффициенты регрессии.

Выбор уравнения регрессии обычно начинают с линейной модели. Например, для двухфакторного эксперимента ее вид.

Если окажется, что такая аппроксимация дает неприемлемые отклонения при сравнении с экспериментальными точками отклика у, то модель усложняется, например так:

Коэффициенты регрессии Ь_г для выбранного уравнения определяются из условия минимума суммы квадратов ошибок, вычисленных по всем экспериментальным точкам.

Это делается так.

Введем обозначения:

• • х_и — значение i-го фактора в наблюдении номер I;
• • У/ — значение отклика в l-м наблюдении;
• • у_; — значение отклика, вычисленное по принятому уравнению регрессии и данным х_й.

Очевидно, что сумма квадратов ошибок между экспериментальными значениями у_; и вычисленными по уравнению регрессии y_t для всех N наблюдений равн Для определения минимума ошибки Д возьмем частные производные от Д по всем неизвестным коэффициентам регрессии bj, j = 1, п, и приравняем их к нулю:

Нетрудно убедиться в том, что это условие минимума, а не максимума. Имеем.

Для лучшей наглядности выделим неизвестные коэффициенты регрессии и получим.

Выражение (5.3) представляет собой систему из п + 1 уравнений для нахождения п + 1 неизвестных коэффициентов регрессии Ь" которые окончательно определят выбранное уравнение регрессии.

Нахождение коэффициентов регрессии справедливо при следующих допущениях.

• 1. Случайный фактор Е, имеет нормальное распределение с математическим ожиданием М© = 0.
• 2. Результаты наблюдений у_г — независимые, нормально распределенные случайные величины. Если это не соблюдается, то следует измерять другой отклик, удовлетворяющий этому условию, но функционально связанный с исследуемым откликом у.
• 3. Точность наблюдений (количество реализаций модели) не меняется от наблюдения к наблюдению.
• 4. Точность наблюдения х_и должна быть выше точности у,.

Пример 5.8.

На модели объекта проведен однофакторный эксперимент из пяти наблюдений, результаты которого сведены в таблицу (табл. 5.10).

Таблица 5.10

Результаты эксперимента.

Требуется найти функциональную связь фактора с откликом у = f (x).

Решение

Примем, что кроме управляемого фактора х_и при проведении эксперимента на объект воздействует случайный фактор, распределенный по нормальному закону с математическим ожиданием М (?) = 0. Также предположим, что эта связь — линейная, следовательно, уравнение регрессии нужно определять в виде.

Неизвестных коэффициентов два: Ь₀ и Ъ_х. Запишем формулу (5.3) в виде двух уравнений для) = 0,) = 1 и в каждом из них разложим суммы по индексу i:

Так какх₀₍= 1, получим.

Подставим данные эксперимента из табл. 5.10 в систему (5.4):

Решим систему из двух уравнений и получим Ь₀= 6,68, Ь, = -3,48. Следовательно, искомое уравнение регрессии.

Доверительные границы для истинных значений Р₀ и pj примера 5.8 определяются, как обычно:

где f' — аргумент распределения Стьюдента; , S_hj — средние квадратические отклонения величин Ь₀иЬ₁ соответственно.

Значения t* определяются из таблицы распределения Стьюдента для N — -2 = 3 степеней свободы и достоверности а. Пусть, а = 0,9, тогда t* «2,35. Значения S_I)Q, S_()] находятся по формулам.

гдеd_xi=x-x_t; d_yi =у-у,.

Данные для вычисления , S_()J представлены в табл. 5.11.

Данные для вычисления 5_6д, 5_6|

Имеем.

• 6,68−2,35? 0,156<�р₀ <6,68 + 2,35 0,156, 6,31 <�р₀ <7,05;
• -3,48 — 2,35 • 0,22 < р! < -3,48 + 2,35 • 0,22, — 4,0 < р, < -2,96.

Большой размах доверительных границ объясняется малым числом наблюдений в данном эксперименте.

Доверительные границы у принимают разные значения в зависимости от значений факторов.

На практике часто ограничиваются обобщенными оценками адекватности построенной модели: величиной среднего абсолютного отклонения.

или (и) величиной средней квадратической ошибки на единицу веса.

Весом, или степенью свободы, эксперимента называют разность N — - (n + 1) между числом наблюдений N и числом коэффициентов регрессии (п + 1).

Пример 5.8 (продолжение) Предположим, что линейная модель у = 6,68 — 3,48xi недостаточно точно отображает связь между фактором Xj и откликом у.

С уровнем достоверности а = 0,9 (t? ~ 2,35).

Введем в рассмотрение более сложную нелинейную модель.

Для определения коэффициентов регрессии Ь₀, Ь_и Ь₂ обозначим xj =х₂ и получим двухфакторную линейную модель.

В этом случае уоавнение (5.3) оаскоывается так:

N.

В уравнениях принято? = ?.

1=1.

Так как х_ы = 1, = х,², то система принимает вид.

Подставим значения фактора и отклика из табл. 5.10:

Решим систему из трех уравнений с тремя неизвестными и получим Ь₀ = 7, bj = —4,74, Ъ₂= 0,63.

Таким образом, получено новое уравнение регрессии.

По значениям е и е₀ нетрудно убедиться в том, что нелинейная модель более точно отображает моделируемый процесс (см. табл. 5.10), чем линейная.

В рассмотренном примере ошибка модели определялась по тем же данным, по которым и была определена сама модель. Однако при сокращенных планах экспериментов (см. параграф 4.3) можно выполнить все или часть «сэкономленных» наблюдений для получения так называемых проверочных данных, которые и нужно использовать для вычисления ошибки е или е₀. В этом случае оценка адекватности модели будет более объективна, хотя число наблюдений в эксперименте увеличивается и экономии их не будет.

По уравнению регрессии можно сделать ориентировочную оценку чувствительности отклика к изменению того или иного фактора. Например, в уравнении = 50,5^ +0,74х₂-28,Зх₃ влияние фактора х₂ на отклик незначительно по сравнению с другими, так как коэффициент Ь₂ = 0,74 намного меньше остальных коэффициентов.

В пакете MS Excel есть функция «Регрессия», которая выполняет регрессионный анализ данных компьютерного эксперимента.

В ремонтное подразделение поступают вышедшие из строя средства связи (СС), содержащие блоки А, В, С, D, с интервалами времени, подчиненными показательному закону с математическим ожиданием t. В каждом СС могут быть неисправными в любом сочетании блоки А, В, С с вероятностями Р_ы, Pjв, Р_1С, Р_ш соответственно. Ремонтное подразделение ремонтирует СС путем замены неисправных блоков исправными. В момент поступления неисправного СС в ремонтное подразделение вероятности наличия в нем исправных блоков А, В, С, D соответственно Р_ы, Р₂в> Рю Рю- Наличие и замена блока D обязательна при любом сочетании неисправных блоков.

Требуется построить имитационную модель «Система ремонта» с целью определения вероятности ремонта СС с неисправными блоками C, DnA, B, D за время Т₀, по результатам эксперимента получить уравнение регрессии, связывающее вероятность ремонта СС с вероятностями P_w, Р_1С, Р_2В, Р_2С, Рю-

Решение

Постановка примера 5.9 аналогична постановке примера 3.11. При разработке модели используется алгоритм примера 3.11 (см. рис. 3.20).

Для построения уравнения регрессии введем обозначения:

• • у — отклик модели, вероятность ремонта СС с неисправными блоками C, DhA, B, D за время Т₀;
• • Xj — фактор, представляющий вероятность Р_1В;
• • х₂ — фактор, представляющий вероятность Р_1С;
• • х₃ — фактор, представляющий вероятность Р_2В;
• • х₄ — фактор, представляющий вероятность Р_2С;
• • х₅ — фактор, представляющий вероятность Р₂₀.

Исходные данные и результаты эксперимента (32 наблюдения) приведены в табл. 5.12, результаты анализа — в табл. 5.13.

Таблица 5.12

Результаты эксперимента с моделью «Система ремонта».

Таблица 5.13

Результаты регрессионного анализа

В табл. 5.13 на пересечении строки Y-пересечение и столбца Коэффициенты указано значение, которое будет иметь функция отклика при значениях всех остальных факторов, равных нулю (т.е. это коэффициент Ь₀ уравнения регрессии). Отсюда и термин «У-пересечение».

Значение на пересечении строки Переменная х₁ и столбца Коэффициенты — это коэффициент зависимости функции отклика от фактора х_ь представляющего в нашей задаче вероятность Р_1В (т.е. это коэффициент Ь, уравнения регрессии).

В столбце Коэффициенты представлены коэффициенты зависимости функции отклика от остальных факторов х₂,…, х₅ — коэффициенты уравнения регрессии Ь₂,…, Ь₅.

По этим данным сформировано искомое уравнение:

Или в другой записи:

Кроме оценок коэффициентов регрессии функция «Регрессия» выдает и другие результаты регрессионного анализа:

• • вычисленные значения откликов у (столбец Предсказанное у);
• • разность между вычисленными значениями откликов и измеренными в эксперименте в каждом наблюдении у-у (столбец Остатки);
• • средние квадратические ошибки в определении коэффициентов уравнения регрессии S_x (столбец Стандартная ошибка);
• • t-статистика — вычисленное по выборке значение критерия Стьюдента для проверки значимости коэффициентов уравнения регрессии (нулевая гипотеза — коэффициент равен нулю);
• • средние квадратические ошибки в определении коэффициентов откликов при определенных значениях факторов S_y (столбец Стандартные остатки) и др.

Пример 5.10.

На узел связи поступают заявки на передачу сообщений. Интервалы времени поступления заявок подчинены показательному закону с математическим ожиданием T_v На узле связи имеются два канала передачи данных. При поступлении очередной заявки в интервале времени 0—Т₂ вероятности того, что каналы, А и В будут свободны, равны Р_1Л и Р_1В соответственно.

При поступлении заявок после времени Т₂ вероятности того, что каналы, А и В будут свободны, равны Р_2Л и Р_2Н соответственно. Сообщение передается по любому свободному каналу. Если оба канала заняты, сообщение теряется.

Требуется построить имитационную модель «Обработка запросов на узле связи» с целью определения абсолютного и относительного числа потерянных заявок из их общего количества, поступивших на узел связи за время T_M0D, T_M0D > Т₂, получить уравнение регрессии, связывающее относительную долю обслуженных заявок (вероятность обработки) с интервалами их поступления и вероятностями Р_ы, Р_ш Р_м, Р_2В.

Решение

Имитационная модель строится в соответствии с вышеприведенным алгоритмом (см. рис. 3.23). Для построения уравнения регрессии введем обозначения:

• • у — отклик модели, вероятность обработки запросов за время T_M0D;
• • Xj — фактор, представляющий вероятность Р_м;
• • х₂ — фактор, представляющий вероятность Р_1В;
• • х₃ — фактор, представляющий вероятность Р_м;
• • х₄ — фактор, представляющий вероятность Р_2В;
• • х₅ — фактор, представляющий интервалы поступления заявок Г. Исходные данные и результаты эксперимента приведены в табл. 5.14. Для

регрессионного анализа использовалась функция «Регрессия» MS Excel. Получено искомое уравнение регрессии.

Таблица 5.14.

Результаты эксперимента с моделью «Обработка запросов на узле связи».

Результаты регрессионного анализа, аналогичные рассмотренным результатам в примере 5.9 (см. табл. 5.13), приведены в табл. 5.15.

Таблица 5.15

Результаты регрессионного анализа.

После вычисления коэффициентов регрессии, представленной в виде линейного полинома, оценивается их значимость для определения степени влияния различных факторов на значение функции отклика. Основой оценки значимости коэффициентов является сопоставление абсолютного значения, например, коэффициента b_t, и дисперсии ошибки его определения of,. В этом случае с помощью t-критерия проверяется гипотеза о незначимости рассматриваемого коэффициента, т. е. гипотеза о том, что Ь, = 0 (проверка нуль-гипотезы). При подсчете экспериментального значения t-статистики в числитель ставится абсолютное значение рассматриваемого коэффициента, а в знаменатель — дисперсия ошибки его определения:

Коэффициент b, признается незначимым, если t, для числа степеней свободы N по модулю меньше f_Kp, найденного из таблицы распределения Стьюдента (см. табл. 4.4) для заданной достоверности а.

Пример 5.11.

По результатам моделирования, полученным в примере 5.10, определить при достоверности, а = 0,95 незначимые коэффициенты регрессионной зависимости.

Решение.

В примере 5.10 N = 32.

Рассчитанные с помощью функции «Регрессия» t-статистики приведены в крайнем правом столбце табл. 5.15. В таблице коэффициентов Стьюдента (см. табл. 4.4) находим t_Kp = 2. Затем t-статистики сравниваем с найденным значением t_Kp и находим, что незначимыми являются коэффициенты регрессионной зависимости при факторах х₂ и х₅.

Статистическая незначимость коэффициента ?>, может быть вызвана следующими обстоятельствами:

• 1) нулевой уровень данного фактора (или произведения факторов) близок к точке частного экстремума;
• 2) интервал варьирования уровней данного фактора выбран слишком малым;
• 3) данный фактор (взаимодействие факторов) не оказывает влияния на значение выходного отклика (реакции).

Так как применение ортогональных планов дает возможность оценивать значения всех коэффициентов независимо друг от друга, то если один или несколько коэффициентов окажутся незначимыми, они могут быть отброшены без пересчета остальных. Отбросив незначимые коэффициенты, получим уточненную имитационную модель в виде полинома (вторичную модель), представляющую зависимость выходного параметра от факторов.

В условиях примера 5.11 получим.

Проверяется адекватность вторичной модели, т. е. ее соответствие результатам эксперимента. Это значит, что в некоторой подобласти, в которую входят и координаты выполненных наблюдений, предсказанное с помощью вторичной модели значение отклика не должно отличаться от значения эксперимента более чем на некоторую заранее заданную величину. Для проверки адекватности достаточно оценить отклонение предсказанного значения отклика от результатов эксперимента в соответствующей точке факторного пространства.

При анализе адекватности уравнения регрессии (вторичной модели) исследуемому процессу возможны следующие варианты.

• 1. Построенная модель на основе F-критерия Фишера в целом адекватна и все коэффициенты регрессии значимы. Такая модель может быть использована для принятия решений и осуществления прогнозов.
• 2. Модель по F-критерию Фишера адекватна, но часть коэффициентов не значима. Модель пригодна для принятия некоторых решений, но не для прогнозов.
• 3. Модель по F-критерию адекватна, но все коэффициенты регрессии не значимы. Модель полностью считается неадекватной. На ее основе не принимаются решения и не осуществляются прогнозы.