Тактическое планирование машинных экспериментов с моделями систем

Тактическое планирование эксперимента с машинной моделью М_м системы 5 связано с вопросами эффективного использования выделенных для эксперимента машинных ресурсов и определением конкретных способов проведения испытаний модели Л/_м, намеченных планом эксперимента, построенным при стратегическом планировании. Тактическое планирование машинного эксперимента связано прежде всего с решением следующих проблем: 1) определения начальных условий и их влияния на достижение установившегося результата при моделировании; 2) обеспечения точности и достоверности результатов моделирования; 3) уменьшения дисперсии оценок характеристик процесса функционирования моделируемых систем; 4) выбора правил автоматической остановки имитационного эксперимента с моделями систем [36, 37, 46].

Проблема определения начальных условий и их влияния на достижение установившегося результата при моделировании. Первая проблема при проведении машинного эксперимента возникает вследствие искусственного характера процесса функционирования модели Л/_м, которая в отличие от реальной системы 5 работает эпизодически, т. е. только когда экспериментатор запускает машинную модель и проводит наблюдения. Поэтому всякий раз, когда начинается очередной прогон модели процесса функционирования системы ?, требуется определенное время для достижения условий равновесия, которые соответствуют условиям функционирования реальной системы. Таким образом, начальный период работы машинной модели М_м искажается из-за влияния начальных условий запуска модели. Для решения этой проблемы либо исключается из рассмотрения информация о модели Л/_м, полученная в начальной части периода моделирования (0, 7), либо начальные условия выбираются так, чтобы сократить время достижения установившегося режима. Все эти приемы позволяют только уменьшить, но не свести к нулю время переходного процесса при проведении машинного эксперимента с моделью Л/_м.

Проблема обеспечения точности и достоверности результатов моделирования. Решение второй проблемы тактического планирования машинного эксперимента связано с оценкой точности и достоверности результатов моделирования (при конкретном методе реализации модели, например, методе статистического моделирования на ЭВМ) при заданном числе реализаций (объеме выборки) или с необходимостью оценки необходимого числа реализаций при заданных точности и достоверности результатов моделирования системы 5*.

Как уже отмечалось, статистическое моделирование системы? — это эксперимент с машинной моделью М_м. Обработка результатов подобного имитационного эксперимента принципиально не может дать точных значений показателя эффективности Е системы 5; в лучшем случае можно получить только некоторую оценку Е такого показателя. При этом экономические вопросы затрат людских и машинных ресурсов, обосновывающие целесообразность статистического моделирования вообще, оказываются тесно связанными с вопросами точности и достоверности оценки показателя эффективности Е системы S на ее модели Л/_м [4, 7, 11, 18,21,25].

Таким образом, количество реализаций N при статистическом моделировании системы 5 должно выбираться исходя из двух основных соображении: определения затрат ресурсов на машинный эксперимент с моделью М_м (включая построение модели и ее машинную реализацию) и оценки точности и достоверности результатов эксперимента с моделью системы 5 (при заданных ограничениях не ресурсы). Очевидно, что требования получения более хороших оценок и сокращения затрат ресурсов являются противоречивыми и при планировании машинных экспериментов на базе статистического моделирования необходимо решить задачу нахождения разумного компромисса между ними.

Из-за наличия стохастичности и ограниченности числа реализаций N в общем случае Ёт*Е. При этом величина Е называется точностью (абсолютной) оценки: вероятность того, что неравенство.

выполняется, называется достоверностью оценки

Величина е₀ = е/Е называется относительной точностью оценки, а достоверность оценки соответственно будет иметь вид.

Для того чтобы при статистическом моделировании системы 5 по заданным Е (или Е₀) и 0 определить количество реализаций N или, наоборот, при ограниченных ресурсах (известном #) найти необходимые Е и {), следует детально изучить соотношение (6.7). Сделать это удается не во всех случаях, так как закон распределения вероятностей величины [Е — Ё| для многих практических случаев исследования систем установить не удается либо в силу ограниченности априорных сведений о системе 5, либо из-за сложности вероятностных расчетов. Основным путем преодоления подобных трудностей является выдвижение предположений о характере законов распределения случайной величины Ё, т. е. оценки показателя эффективности системы 5.

Рассмотрим взаимосвязь точности и достоверности результатов с количеством реализаций при машинном эксперименте, когда в качестве показателей эффективности Е выступают вероятность р, математическое ожидание а и дисперсия о¹.

Пусть цель машинного эксперимента с моделью М_м некоторой системы 5*—получение оценки р вероятности появления р=Р (А) некоторого события А, определяемого состояниями процесса функционирования исследуемой системы 5. В качестве оценки вероятности р в данном случае выступает частость р=т/ЛГ, где т — число положительных исходов.

Тогда соотношение (6.7), связывающее точность и достоверность оценок с количеством реализаций, будет иметь вид.

Для ответа на вопрос о законе распределения величины р—т/IV

N

представим эту частость в виде р=т/Л^г=(1/Л^г) ]Г так как количество наступлений события А в данной реализации из N реализаций является случайной величиной ?, принимающей значения х₁ — 1 с вероятностью р и х₂=0 с дополнительной вероятностью 1— р. Математическое ожидание и дисперсия случайной величины? будут таковы:

Тогда.

Это соотношение говорит о не смещенности оценки р для вероятности р. С учетом независимости значений величин х₁ получим.

В силу центральной предельной теоремы теории вероятностей [или ее частного случая — теоремы Лапласа, см. (4.8)] частость /я/# при достаточно больших N можно рассматривать как случайную величину, описываемую нормальным законом распределения вероятностей с математическим ожиданием р и дисперсией р ( 1 — р)/ЛГ. Поэтому соотношение (6.8) с учетом (4.8) можно переписать так:

Тогда.

Учитывая, что Ф₀(—г)= 1 ~Ф₀(2), получим где /* — квантиль нормального распределения вероятностей порядка ф=(1+0/2; находится из специальных таблиц [18, 21].

В результате точность оценки р вероятности р можно определить, как.

т. е. точность оценки вероятностей ооратно пропорциональна.

у/М.

Из соотношения для точности оценки в можно вычислить количество реализаций.

необходимых для получения оценки р с точностью в и достоверностью 0.

Пример 6.7. Необходимо рассчитать количество реализаций N при статистическом моделировании системы 5, когда в качестве показателя эффективности используется вероятность р при достоверности ??*0,95 (/* = 1,96) и точности с=0,01; 0,02; 0,05. Так как значения р до проведения статистического моделирования системы 5 неизвестны, то вычислим множество оценок N для диапазона возможных значений р, т. е. от 0 до 1, с дискретом 0,1. Результаты расчетов с использованием выражения (6.9) представлены в табл. 6.4. Из таблицы видно, что при переходе от р" 0,1 (0,9) кр" =0,5 количество реализаций N возрастает примерно в три раза, а при переходе от I *0,05 к ?="0,01 количество реализаций N возрастает примерно в 25 раз [4].

Таблица 6.4.

При тактическом планировании машинного эксперимента, когда решается вопрос о выборе количества реализаций N. значение р неизвестно. Поэтому на практике проводят предварительное моделирование для произвольно выбранного значения #₀, определяют р₀=т^о, а затем по (6.9) вычисляют, используя вместо р значение /?₀, необходимое количество реализаций N. Такая процедура оценки N может выполняться несколько раз в ходе машинного эксперимента с некоторой системой 5.

При отсутствии возможности получения каких-либо априорных сведений о вероятности р использование понятия абсолютной точности теряет смысл. Действительно, можно, например, предварительно задать точность результатов моделирования е=0,01, а искомая р в результате окажется хотя бы на порядок ниже, т. е. /7⁰, 001. В таких случаях целесообразно задавать относительную точность результатов моделирования е₀. Тогда соотношение (6.9) примет вид.

Соотношение (6.10) наглядно иллюстрирует специфику статистического моделирования систем, выражающуюся в том, что для оценивания малых вероятностей р с высокой точностью необходимо очень большое число реализаций N. В практических случаях для оценивания вероятностей порядка 10* целесообразно количество реализаций выбирать равным 10. Очевидно, что даже для сравнительно простых систем метод статистического моделирования приводит к большим затратам машинного времени.

Другим распространенным случаем в практике машинных экспериментов с моделью М_и является необходимость оценки показателей эффективности Е системы 5 по результатам определения среднего значения некоторой случайной величины. Пусть случайная величина {имеет математическое ожидание а и дисперсию а². В реализации с номером / она принимает значение х_/. В качестве оценки математического ожидания а используется среднее арифметическое.

В силу центральной предельной теоремы теории вероятностей при больших значениях N среднее арифметическое х будет иметь распределение, близкое к нормальному с математическим ожиданием, а и дисперсией <�т²/#. Для математического ожидания а точность оценки E=t₉(J|y/N, а количество реализаций.

Аналогично, если в качестве показателя эффективности Е системы 5 выступает дисперсия <�т², а в качестве ее оценки используется величина 5², то математическое ожидание и дисперсия соответственно будут.

где — центральный момент четвертого порядка случайной величины.

Для дисперсии а² точность оценки.

Отсюда количество реализации будет.

Для частного случая, когда случайная величина имеет нормальное распределение а. = 3о , получим.

Таким образом, на основании соотношений (6.9) — (6.12) можно сделать вывод, что количество реализаций при статистическом моделировании существенно зависит от дисперсии оцениваемой случайной величины. Поэтому выгодно выбирать такие оцениваемые показатели эффективности Е системы 5, которые имеют малые дисперсии.

Проблема уменьшения дисперсии оценок характеристик процесса функционирования моделируемых систем. Таким образом, с проблемой выбора количества реализаций при обеспечении необходимой точности и достоверности результатов машинного эксперимента тесно связана и третья проблема, а именно проблема уменьшения дисперсии. В настоящее время существуют методы, позволяющие при заданном числе реализаций увеличить точность оценок, полученных на машинной модели М_и, и, наоборот, при заданной точности оценок сократить необходимое число реализаций при статистическом моделировании. Эти методы используют априорную информацию о структуре и поведении моделируемой системы Б и называются методами уменьшения дисперсии.

Рассмотрим в качестве иллюстрации метод коррелированных реализаций (выборок), используемый в задачах сравнения двух или более альтернатив. При исследовании и проектировании системы 5 всегда происходит сравнение вариантов 5, /=1, к, отличающихся друг от друга структурой, алгоритмами поведения и параметрами.

Независимо от того, как организуется выбор наилучшего варианта системы 5 (простым перебором результатов моделирования системы Б/ или с помощью автоматизированной процедуры поиска), элементарной операцией при этом является равнение статистически усредненных критериев интерпретации [18, 21, 29, 33, 53].

Сравниваемые статистические показатели Е, вариантов моделируемой системы 51, /=1, к, полученные на машинной модели М_ы,

можно записать в виде средних значений Е,=Л/[?<, /=1, к, критериев ту, характеризующих систему 5″ или в виде средних значений функции этих критериев 1= 1—, к, у = 1, Например, если.

то показатели Е, являются вероятностями нормальной работы системы 51. Если.

то показатель Е, является дисперсией значения контролируемой величины и т. д. Здесь — ^_И4| — отклонение значения контролируемой для системы 51 величины д₁ от истинной д_лг

В дальнейшем, поскольку при сравнении характеристик, полученных на машинной модели М_м, всегда рассматриваются два конкурирующих варианта моделируемой системы, будем сопоставлять только две системы: и 5₂. Существенной особенностью операции сравнения вариантов систем и 5₂ является повышение требований к точности статистических оценок Ё_1э Ё₂ показателей Е_1У Е₂ при уменьшении разности АЕ = |Е₁— Е₂|. Это обстоятельство требует разработки специальных приемов получения статистически зависимых оценок для уменьшения дисперсии.

Рассмотрим наиболее характерные случаи, имеющие место при имитационных экспериментах, когда в качестве оценок выступают средние значения, вероятности и дисперсии [29, 53].

Если полученные в результате имитационного эксперимента с вариантами модели системы и Б₂ оценки &₁₉ а₂ средних значений критериев ц₁₉ д_2У а₁ = А/[^₁], а₂ = М[д^ имеют дисперсии й[а^₉ 0[аД и коэффициент корреляции оценок а₁₉ а₂ равен Л д₂], то дисперсию погрешности оценки 3~а₁~а₂ разности 3=а₁ — а₂ можно найти из соотношения.

где.

— средние квадратические отклонения оценок.

При независимом моделировании вариантов системы с использованием различных реализаций псевдослучайных последовательностей коэффициент корреляции оценок Л = [а₁, Дг] = 0.

и ?Л4) = ?№] +? [ЗД При моделировании удается получить положительный коэффициент корреляции Я[а_1У а^]>0, т. е. 0[3<0_Л[3_У когда при имитационных экспериментах с вариантами системы Б₁ и S₂ используются, например, одни и те же псевдослучайные последовательности. Рассмотренные соотношения для дисперсии В[Д не связаны со специальными предположениями о способе получения оценок а_1У а₂.

Пример 6.8. Рассмотрим полученные при машинном моделировании реализации у,(гД/), у₂ (гДО, г- «6, критериев <7, как выборку из двухмерного векторного стационарного процесса ^ (/)= ||^₁ (|), ?₂ (01 со средним значением | а» а₂1 и матричной корреляционной функцией.

где Вц (х) автокорреляционная функция /'=1,2; Д,(т) = Д_я(т) взаимная корреляционная функция компонентов д (0, /. ./= 1, 2,1ф).

Тогда можно показать, что.

Эту формулу применяют для расчета точности оценки г/ прн заданной матричной корреляционной функции Д (т).

Вероятности р₁₉ р₂ событий А₂, характеризующих сравниваемые варианты модели систем .э^ и 5₂, можно представить как средние значения двоичных случайных величин д₁₉ ^с распределением вероятностей Р{д₁ = 1}=р₁; Р{я1 = 0}='1—р₁; -Р = 1} = /7₂; Р{Ч2 = 0} = 1-р₂.

Поэтому для оценки разности вероятностей Ар=р₁ —р_г — — Л/ [^1] — А/ [^₂] можно использовать все выражения, полученные ранее при сравнении средних значении, видоизменив в них обозначения с учетом того, что двухмерное распределение вектора (д₁₉ ?₂), описывающее зависимость между событиями Л₁₉ А₂, имеет вид.

причем Р_л^Рс—р1у Ра+Ро⁼Р2- «частности, для повторной выборки объемом N получим, что оценка.

где т₁₉ т₂ — количество наступлений событий Л₁₉ А_ъ полученных при независимых прогонах модели. Учитывая, что между ц₁₉ ц₂ ковариация В1г—Рл~~РРь найдем дисперсию оценки.

что следует из (6.13).

Если в процессе проведения имитационных экспериментов с моделью фиксируются эмпирические частоты /?_с, р_в событий С, Д то для дисперсии й [Ар] при достаточно большом N можно воспользоваться несмещенной оценкой.

И наконец, рассмотрим случай, когда в качестве оценки вариантов систем 5*! и «У₂ выступает дисперсия. В этом случае оценка Аб разности Аб=б_х —/)₂ дисперсией критериев ^_1э q_г вычисляется по независимым реализациям вектора (д₁₉ $₂) с помощью формулы Аб — б₁—б_2у где б_и б₂ — эмпирические дисперсии критериев ц₁₉ а₂, рассчитываемые по формуле.

Для оценки АВ дисперсия.

где дисперсии эмпирических дисперсий В[В_Х]₉ В [ВД вычисляются по формуле.

где /1₄ = Л/₄ [я]=Л/ [(? — Л/ И)⁴] — центральный момент распределения четвертого порядка. Ковариация.

Промер 6.9. Пусть сравниваемые критерии щ₁₉ имеют нормальное распределение.

тогда.

где В₁₂ — ковариация. Использование зависимых испытаний дает выигрыш в точности сравнения дисперсий (?₁₂9*0) независимо от знака корреляции. Воспользовавшись оценкой.

можно организовать последовательную процедуру сравнения дисперсий для вариантов системы $₂ и ?₂.

Таким образом, при таком подходе к уменьшению дисперсии задача состоит в специальном построении моделирующего алгоритма системы 5, позволяющего получить положительную корреляцию, например, за счет управления генерацией случайных величин. Вопрос об эффективности использования метода уменьшения дисперсии может быть решен только с учетом необходимости дополнительных затрат машинных ресурсов (времени и памяти) на реализацию подхода, т. е. теоретическое уменьшение затрат машинного времени на моделирование вариантов системы (при той же точности результатов) должно быть проверено на сложность машинной реализации модели.

Проблема выбора правил автоматической остановки имитационного эксперимента с моделями системы. И наконец, последней из проблем, возникающих при тактическом планировании имитационных экспериментов, рассмотрим проблему выбора правил автоматической остановки имитационного эксперимента. Простейший способ решения проблемы — задание требуемого количества реализаций N (или длины интервала моделирования 7). Однако такой детерминированный подход неэффективен, так как в его основе лежат достаточно грубые предположения о распределении выходных переменных, которые на этапе тактического планирования являются неизвестными. Другой способ — задание доверительных интервалов для выходных переменных и остановка прогона машинной модели М_и при достижении заданного доверительного интервала, что позволяет теоретически приблизить время прогона к оптимальному. При практической реализации введение в модель М_и правил остановки и операций вычисления доверительных интервалов увеличивает машинное время, необходимое для получения одной выборочной точки при статистическом моделировании.

Правила автоматической остановки могут быть включены в машинную модель такими способами: 1) путем двухэтапного проведения прогона, когда сначала делается пробный прогон из И* реализаций, позволяющий оценить необходимое количество реализаций N (причем если то прогон можно закончить, в противном случае необходимо набрать еще N—1^* реализаций); 2) путем использования последовательного анализа для определения минимально необходимого количества реализаций N_i которое рассматривается при этом как случайная величина, зависящая от результатов N— 1 предыдущих реализаций (наблюдений, испытаний) машинного эксперимента.

Рассмотрим особенности последовательного планирования машинных экспериментов, построенных на последовательном анализе. В последовательном анализе объем выборки не фиксирован, а после 1-го наблюдения принимается одно из следующих решений: принять данную гипотезу, отвергнуть гипотезу, продолжить испытания, т. е. повторить наблюдения еще раз. Благодаря такому подходу можно объем выборки существенно уменьшить по сравнению со способами остановки, использующими фиксированный объем выборки. Таким образом, последовательное планирование машинного эксперимента позволяет минимизировать объем выборки в эксперименте, необходимой для получения требуемой при исследовании системы 5 информации. Построив критерий, можно на каждом шаге решать вопрос либо о принятии нулевой гипотезы Я₀, либо о принятии альтернативной гипотезы Н₁₉ либо о продолжении машинного эксперимента. Последовательное планирование машинного эксперимента использует принцип максимального правдоподобия и последовательные проверки статистических гипотез [18, 21, 33].

Пусть распределение генеральной совокупности характеризуется функцией плотности вероятностей с неизвестным параметром У=/(у, в). Определяются нулевая и альтернативная гипотезы Н₀: в=в₀ и Н{. в=в₁. Гипотезы проверяют на основании выборки нарастающего объема т. Можно записать: вероятность получения данной выборки Р_0т=/(у₁, в₀)/(у₂, в₀)…/(у_т, в₀) при условии, что верна гипотеза Н₀ (правдоподобная выборка); вероятность получения выборки Р_т=/(У1> в)/(Уг> 9_х)./(у_т, 91) ^ПР^И условии верности гипотезы Н₁. Процедура проверки строится на отношении правдоподобия Р_т1Р_0п.

Последовательный критерий отношения вероятностей строится следующим образом. На каждом шаге машинного эксперимента определяются Р_1т и Р_0т> а также проверяется условие:

где 0<2*<1, А> 1, т= 1, N.

Для сходимости критерия необходимо, чтобы Л<(1— /?)/", В^РК 1 —а), где, а — вероятность ошибки первого рода; р — вероятность ошибки второго рода.

Данный метод позволяет снизить среднее число реализаций в машинных экспериментах по сравнению с использованием фиксированных объемов выборки (при одинаковых вероятностях ошибок). Примером применения метода может служить проверка гипотезы о среднем значении величины, распределенной по нормальному закону.

Пример 6.10. Пусть для случайной величины у известна дисперсия а* и неизвестно среднее ц. При этом нулевая гипотеза Н₀: ц = 0_о, альтернативная Я: И^Я=0_Х. Если Я₀ верна, то вероятность ее отвергнуть равна а. Если верна гипотеза Н_х, то вероятность принять ее равна р. В случае 0_о<�ц<0_х ни одна из гипотез не принимается.

Для нормального распределения.

Критерий проверки гипотезы строится по следующему правилу: если.

то наблюдение продолжается.

Можно упростить процедуру, если использовать логарифмическую функцию правдоподобия. В этом случае.

Тогда на каждом шаге т проверяется выполнение неравенств: если.

то принимается #₀; если.

то принимается если.

то эксперимент продолжается.

Для математического ожидания числа наблюдений при условии верности Н_х и Н₂ соответственно можно записать.

Применение данного метода по сравнению с фиксированным объемом выборки N дает уменьшение числа реализаций при статистическом моделировании более чем в два раза.

Для проверки гипотезы о среднем для случайных величин с нормальным законом распределения, неизвестным средним д и неизвестной дисперсией а можно использовать следующую процедуру. Проверяют гипотезы #₀: д<�д₀ и Н{. д>д₀. Необходимо, чтобы вероятность отвергнуть Я₀ при была Р^а и вероятность принять Н₀ при д>д + Д была Р^/?.

На первом шаге берут выборку размером т и вычисляют выборочную дисперсию.

здесь число т выбрано таким, чтобы выполнялось условие.

где а05)=[(1/<$)^2/'-1]^/72, 6=тш (ос, Р/-т-1.

Затем последовательно проводят по одному эксперименту. При выполнении условия.

эксперимент прекращают и гипотезу Я₀ отвергают. Гипотезу #₀ принимают, если.

где <2=ЗД/8.

Таким образом, чем сложнее машинная модель М_м, тем важнее этап тактического планирования машинного эксперимента, выполняемый непосредственно перед моделированием на ЭВМ системы 5. Процесс планирования машинных экспериментов с моделью М_и итерационен, т. е. при уточнении некоторых свойств моделируемой системы 5 этапы стратегического и тактического планирования экспериментов могут чередоваться.