Проверка адекватности и корректировка модели

Адекватность означает совпадение исследуемых свойств системы (параметров, выходных характеристик и т. д.) и соответствующих свойств модели. Естественно, полного совпадения реальной системы и ее модели достичь не удается, речь идет лишь о требуемой степени совпадения, т. е. определении, насколько точно полученные результаты моделирования отражают истинное состояние системы-оригинала. В целом можно говорить об адекватности модели оригиналу, если поведение модели достаточно точно совпадает с поведением моделируемой системы в одинаковых ситуациях и модель убедительно представлена относительно тех свойств системы, которые прогнозируются с помощью модели. Оценка адекватности модели заключается в проверке степени совпадения модели и реальной системы.

Нарушение адекватности модели может определяться многими факторами, которые можно отнести к одной из двух групп. Первая группа факторов, порождающих так называемую случайную погрешность, обусловлена некоторой неопределенностью постановки задачи, связанной с неполнотой исходной информации, отсутствием точных сведений о внешних воздействиях, пренебрежением некоторыми случайными параметрами. Вторая группа факторов, порождающая систематические погрешности, является следствием принятых допущений и ограничений при разработке концептуальной и математической модели — исключение тех или иных параметров, аппроксимация, интерполяция, предположения и гипотезы, замена нелинейных элементов линейными, идеализация режимов функционирования системы и т. д.

Первый этап оценки адекватности заключается в проведении следующих проверок:

• • наличия в модели всех существенных параметров и отсутствия несущественных;
• • правильности определения ограничений на значения параметров;
• • наличия и правильности функциональных связей между параметрами;
• • реакции модели при предельных значениях параметров;
• • степени подчинения модели законам математической логики.

На данном этапе осуществляется предварительная проверка адекватности модели, позволяющая выявить ее грубые ошибки. Для этой проверки рекомендуется привлекать экспертов, не принимавших участия в разработке модели.

После завершения предварительного этапа оценки адекватности приступают к проведению дальнейших исследований. При этом может быть реализован прямой метод проверки адекватности, подразумевающий проведение натурного эксперимента на реальной системе и позволяющий получить истинные значения показателей системы. Однако натурный эксперимент возможен лишь в случае, когда речь идет о модернизации существующих систем или о вновь создаваемых, находящихся на материальных стадиях их жизненного цикла. Проверка адекватности в этом случае имеет очень высокую степень определенности. Для оценки близости результатов в этом методе могут быть использованы средние значения отклонений характеристик, полученных в системе и в модели:

где г/₀ — значение некоторой характеристики системы; у_гп — значение той же характеристики модели; 5_/у — отклонение значений рассматриваемой характеристики.

В этом случае за критерий адекватности модели можно принять вероятность того, что отклонение 5_у не превышает заданной величины Д с вероятностью больше допустимой вероятности Р_д:

где Д — величина предельно допустимого отклонения; Р_д — предельно допустимая вероятность отклонения; Р (5_/у < Д) — вероятность того, что отклонение 8у не превышает предельной величины Д.

Для случайных величин аналогичным критерием адекватности может выступать вероятность попадания отклонений в доверительный интервал, задаваемый требуемой доверительной вероятностью.

Однако использование данного критерия оценки адекватности на практике оказывается невозможным по следующим причинам:

• • необходимость проведения оценки адекватности систем по множеству характеристик, что приводит к необходимости решения сложных многокритериальных задач;
• • рассматриваемые характеристики, как правило, являются случайными величинами и функциями, во многих случаях нестационарными;
• • отсутствие обоснованных методик выбора предельных отклонений Д и допустимых вероятностей P_s; и ряд других причин.

Оценивая возможности натурного эксперимента, необходимо также учитывать, наряду с ограничениями наличия реальных систем, другие весьма существенные факторы, связанные с необходимостью создания специальной лабораторной базы, обеспечением заданных характеристик входных параметров, внешних воздействий и режимов функционирования, что определяет очень высокую стоимость реальных экспериментов.

Поэтому для оценки адекватности моделей наряду с натурным экспериментом используются косвенные методы, результативность которых во многом определяется опытом и квалификацией исследователя. Прежде всего, к косвенным методам можно отнести анализ результатов моделирования на непротиворечивость. При этом, во-первых, выясняется взаимная непротиворечивость результатов моделирования, а во-вторых, соответствие характера поведения выходных характеристик при изменении входных параметров в некотором диапазоне, что обеспечивает понимание влияния входных параметров на оцениваемые выходные характеристики. Таким образом, осуществляется проверка соответствия результатов моделирования концептуальной модели.

Другим эффективным косвенным методом является проверка выходных характеристик модели при граничных значениях входных параметров.

Распространенным косвенным методом выступает проверка сводимости результатов моделирования к известным. Суть этого метода заключается в том, что входным параметрам задаются значения из ранее исследованной эталонной области, в которой уже определена степень достоверности результатов моделирования. Если перечень входных параметров исследуемой модели шире, чем перечень эталонной области, то «избыточным» параметрам присваиваются значения исходя из концептуальной модели, с тем чтобы обеспечить максимальное подобие эталонной и исследуемой моделей.

Еще один из возможных косвенных методов заключается в проверке согласованности результатов моделирования с результатами, полученными другими исследователями на других моделях, аналогичных оцениваемой. При этом рассматриваемая в качестве эталона модель может относиться к другому классу моделей. Важно только, чтобы соблюдалась аналогия функциональных зависимостей характеристик моделей от их входных параметров.

Косвенные методы не гарантируют полную степень адекватности моделей исследуемым системам. Модель считается адекватной, если не обнаружен ни один факт, противоречащий положениям, используемым в косвенных методах оценки адекватности.

Оценка адекватности модели завершается формулировкой вывода о приемлемости модели для решения поставленной задачи.

Выявление недопустимых рассогласований модели и системы определяет необходимость корректировки модели. Прежде всего выясняются причины, вызвавшие эти рассогласования, и намечаются пути их устранения. При этом могут осуществляться глобальные, локальные или параметрические изменения. Процесс корректировки модели начинается с внесения необходимых глобальных изменений, а затем реализуются локальные и параметрические изменения. После внесения изменений в модель вновь выполняется оценка ее адекватности. Завершается проверка адекватности модели определением области ее пригодности, под которой понимается множество условий, при соблюдении которых точность результатов моделирования находится в допустимых пределах.

Как правило, затем осуществляется оптимизация моделей, заключающаяся в их упрощении при заданном уровне адекватности. Основными критериями оптимизация модели являются требуемое время и другие ресурсы, необходимые для проведения исследований на ней. Возможность оптимизации определяется возможностью преобразования моделей из одной формы в другую.

Окончательно процесс оценки адекватности модели завершается ее сертификацией и выпуском необходимой эксплуатационной документации.

Наличие сертифицированной модели позволяет перейти к непосредственному проведению экспериментов с ее использованием с целью получения интересующей исследователя информации о свойствах моделируемой системы.

Проведение экспериментов имитационного моделирования осуществляется по специально разработанным планам. План экспериментов определяет объем и порядок моделирования на вычислительной системе, приемы сбора, накопления и обработки статистических материалов. План необходим для достижения следующих целей:

• • представление исследователем способа получения требуемой информации и использование имеющихся ресурсов вычислительной системы;
• • сокращение общего объема экспериментов при обеспечении требуемой достоверности и точности результатов;
• • повышение информативности каждого эксперимента.

Под планированием понимается процесс определения числа и условий проведения экспериментов, необходимых и достаточных для определения исследуемых характеристик с требуемой точностью и достоверностью. Основной задачей планирования экспериментов является получение необходимой информации об исследуемой системе при ограниченных ресурсах, выделяемых на их проведение.

Составление плана осуществляется в так называемом факторном пространстве, под которым понимается множество внешних и внутренних параметров модели. Планирование обычно разделяют на два уровня — стратегическое и тактическое планирование. Целью стратегического планирования является получение в каждом эксперименте максимального объема информации об исследуемой системе. При нем определяется перечень выходных характеристик системы, т. е. таких величин, которые необходимо измерять в процессе моделирования для оценки системы. Кроме того, определяются существенные входные параметры (факторы), их сочетания, отдельные значения каждого входного параметра (уровня фактора), влияющие на процесс функционирования исследуемой системы. При этом решаются две задачи — идентификация параметров и выбор их уровней. Идентификация параметров (факторов) заключается в их ранжировании по степени влияния на выходные характеристики. При этом выделяются первичные параметры, которые обязательно подлежат исследованию, и вторичные — те, которые не являются предметом исследования, но не могу быть исключены из рассмотрения.

Выбор уровней входных параметров производится с учетом двух противоречивых требований:

• • уровни входных параметров должны перекрывать весь диапазон возможных их изменений;
• • число уровней по всем параметрам должно обеспечивать практическую реализуемость исследований.

Общее число комбинаций для k входных параметров будет следующим:

где N — общее число комбинаций; п_{ — число уровней (значений) г-го параметра; k — число параметров.

Если число уровней для каждого параметра одинаково, то.

где т — число уровней (значений) каждого параметра.

Как очевидно из приведенных выражений, общее число комбинаций, особенно для сложных систем, может быть весьма большим, что является существенным недостатком экспериментов, требующих учета всех комбинаций параметров. Задача стратегического планирования заключается в выборе необходимого числа комбинаций и их состава, обеспечивающих получение требуемых результатов. Использование метода перебора всех комбинаций оправдано лишь в том случае, когда необходимо исследовать взаимное влияние всех параметров, рассматриваемых в модели. В случае отсутствия взаимного влияния некоторых параметров осуществляют проведение так называемого частичного факторного эксперимента. На практике обычно применяются следующие варианты плана такого эксперимента:

• • рандомизированный план, т. е. такой, когда для каждого «прогона» модели комбинация уровней параметров выбирается случайно;
• • «латинский» план, т. е. такой, когда проводится эксперимент с одним первичным параметром и несколькими вторичными.

Тактическое планирование должно обеспечить составление плана, при котором могут быть получены оценки выходных характеристик с заданной точностью и достоверностью при минимальном объеме экспериментов. В процессе тактического планирования решаются следующие вопросы:

• • определение начальных условий, оценка их влияния на выходные характеристики модели;
• • определение и обеспечение точности и достоверности результатов моделирования;
• • определение способов снижения дисперсии оценок выходных характеристик исследуемой системы;
• • определение правил остановки имитационного моделирования, которые в основном зависят от требуемой точности и достоверности результатов моделирования.

В плане должны быть определены требования по времени использования вычислительных средств, т. е. составлен график работы на одной или нескольких ЭВМ, а также определены внешние устройства, необходимые для моделирования.

Моделирование. После составления плана проведения экспериментов с моделью системы приступают непосредственно к моделированию, которое обычно включает в себя подготовку и проверку наборов исходных данных, проведение расчетов и получение выходных данных, т. е. результатов моделирования. Для их обработки и анализа существуют различные методы, зависящие от цели исследования и вида характеристик, получаемых в процессе моделирования. В результате эксперимента получают множество данных, между которыми может существовать или отсутствовать функциональная или структурная зависимость. Если такая зависимость между входными параметрами и выходными характеристиками существует, то она проявится в ходе эксперимента в неявном виде. Для использования результатов имитационного моделирования в практических целях эти неявные зависимости следует сделать явными и представить их в виде некоторых функций, систем уравнений, графиков и т. д. Если функциональные связи между входными параметрами и входными характеристиками отсутствуют, то полученные, но ним данные следует обрабатывать независимо друг от друга по правилам математической статистики. Поскольку, как правило, выходные характеристики являются случайными величинами, их обработка заключается в определении законов распределения каждой выходной характеристики и (или) в вычислении оценок математического ожидания, дисперсии и при необходимости моментов более высокого порядка.

При имитационном моделировании имеется возможность получить достаточно большие объемы выборок статистического материала, что позволяет оценивать выходные характеристики с достаточной точностью и достоверностью. Однако при этом возникает проблема хранения больших объемов промежуточных результатов моделирования. Эту проблему целесообразно решать за счет использования рекуррентных алгоритмов обработки данных, когда оценки выходных характеристик вычисляются по ходу моделирования.

Для анализа зависимостей выходных характеристик от параметров системы и внешних воздействий, а также анализа взаимосвязей между выходными характеристиками могут быть использованы методы корреляционного, дисперсионного и регрессионного анализа. Корреляционный анализ, являющийся методом обработки статистических данных, позволяет установить наличие связи между двумя или более случайными величинами путем расчета так называемого коэффициента корреляции. Цель корреляционного анализа — возможность получить информацию об одной характеристике с помощью другой.

Дисперсионный анализ используется для определения относительного влияния различных входных параметров системы на значения ее выходных характеристик. Его сущность — в разложении общей дисперсии исследуемой выходной характеристики на отдельные компоненты, обусловленные влиянием различных входных параметров системы или внешних воздействий, и проверке гипотез о значимости влияния этих входных параметров на исследуемую выходную характеристику. Сравнивая компоненты дисперсии посредством некоторых критериев (например, Е-критерий Фишера), можно установить долю влияния каждого входного параметра на исследуемую характеристику.

Для установления аналитических зависимостей между выходными характеристиками и входными параметрами по полученным статистическим данным используется регрессионный анализ. В случае линейной зависимости между выходными характеристиками и входными параметрами применяется линейная регрессия, известная как метод наименьших квадратов. Установленная аналитическая зависимость позволяет прогнозировать значения выходных характеристик при изменении входных параметров в диапазонах, которые не исследовались или не могли быть исследованы при моделировании.

Вычисление обычно осуществляется на той же вычислительной системе, на которой реализован процесс моделирования. Это повышает эффективность применения машины и сводит к минимуму обработку выходной информации после ее выдачи исследователю.

Получив и проанализировав результаты моделирования, их нужно интерпретировать по отношению к моделируемой системе. Основное содержание интерпретации результатов моделирования заключается в переходе от информации, полученной в результате машинного эксперимента с моделью, к информации применительно к исследуемой системе, на основании которой делаются выводы относительно характеристик процесса ее функционирования.

Окончательно полученные результаты моделирования используются, прежде всего, для оценки и проверки обоснованности гипотез и предположений, принятых на этапе математической постановки задач моделирования системы. Это, в свою очередь, позволяет выбрать рациональный работоспособный вариант проектируемой или совершенствуемой системы. Решение о работоспособности исследуемой системы принимается на основании анализа возможности выхода характеристик системы за установленные границы при любых допустимых изменениях параметров системы или внешних воздействий. Статистические результаты моделирования обеспечивают также определение таких сочетаний переменных параметров системы из множества допустимых, которые реализуют выбор оптимального варианта проектируемой или совершенствуемой системы. Оптимальность вариантов системы оценивается выбранными исследователем критериями эффективности при соблюдении ограничений на все характеристики.

Следует отметить, что модели обладают всеми свойствами систем и создаются с учетом общих принципов и методов, присущих процессу создания любой системы.