Показатели и критерии оценки систем

Существенные свойства в соответствии с представлением системы как семантической модели можно условно классифицировать не только по уровню сложности, но и по принадлежности к системообразующим (общесистемным), структурным или функциональным группам. Ниже приведены характерные показатели существенных свойств систем:

• * общесистемные свойства целостность, устойчивость, наблюдаемость, управляемость, детерминированность, открытость, динамичность и др.;
• * структурные свойства состав, связность, организация, сложность, масштабность, пространственный размах, централизованность, объем и др.;
• * функциональные (поведенческие) свойства результативность, ресурсоемкость, оперативность, активность, мощность, мобильность, производительность, быстродействие, готовность, работоспособность, точность, экономичность и др.

При таком рассмотрении показатели качества можно отнести к области общесистемных и структурных свойств систем. Свойства же, которые характеризуют процесс функционирования (поведение) системы, можно назвать операционными свойствами или свойствами операции, поскольку искусственные системы создаются для выполнения конкретных операций.

В общем случае оценка операционных свойств проводится как оценка двух аспектов:

• 1) исхода (результатов) операции;
• 2) алгоритма, обеспечивающего получение результатов. Качество исхода операции и алгоритм, обеспечивающий поучение результатов, оцениваются попоказателям качества операции, к. которым относят результативность, ресурсоемкость и оперативность.

Результативность операции обусловливается получаемым Целевым эффектом, ради которого функционирует система.

Ресурсоемкость R характеризуется ресурсами всех видов (людскими, материально-техническими, энергетическими, информационными, финансовыми и т. п.), используемыми для получения целевого эффекта.

Оперативность определяется расходом времени, потребного для достижения цели операции.

Оценки исхода операции (аспект 1) учитывает, что операция проводится для достижения определенной цели — исхода операции. Под исходом операции понимается ситуация (состояние системы и внешней среды), возникающая на момент ее завершения. Для количественной оценки исхода операции вводится понятие показателя исхода операции (ПИО), вектора,, компоненты которого суть показатели его отдельных свойств, отражающие результативность, ресурсоемкость и оперативность операции.

Оценка алгоритма функционирования (аспект 2) является ведущей при оценке эффективности. Такое утверждение основывается на теоретическом постулате, подтвержденном практикой: наличие хорошего «алгоритма» функционирования системы повышает уверенность в получении требуемых результатов. В принципе, требуемые результаты могут быть получены и без хорошего алгоритма, но вероятность этого невелика. Это положение особенно важно для организационно-технических систем и систем, в которых результаты операции используются в режиме реального времени.

В совокупности результативность, ресурсоемкость и оперативность порождают комплексное свойство — эффективность процесса — степень его приспособленности к достижению цели. Это свойство, присущее только операциям, проявляется при функционировании системы и зависит как от свойств самой системы, так и от внешней среды.

В литературе термин «эффективность» связывается и с системой, и с операцией, и с решением. Образуемые при этом понятия можно считать эквивалентными. В конечном счёте каждое из них отражает соответствие исхода операции поставленной цели. Обычно нужно иметь в виду, что одна или несколько операций реализуются системой. Для большинства операций процедура оценки эффективности решений носит характер прогнозирования.

Выбор критерия эффективности — центральный, самый ответственный момент исследования системы.

Считается, что гораздо лучше найти неоптимальное решение по правильно выбранному критерию, чем наоборот — оптимальное решение при неправильно выбранном критерии.

Процесс выбора критерия эффективности, как и процесс определения цели, является в значительной мере субъективным, творческим, требующим в каждом отдельном случае индивидуального подхода. Наибольшей сложностью отличается выбор критерия эффективности решений в операциях, реализуемых иерархическими системами.

Математическое выражение критерия эффективности называют целевой функцией, поскольку ее экстремизация является отображением цели операции. Отсюда следует, что для формирования критерия эффективности решений в операции прежде всего требуется определить поставленную цель. Затем нужно найти множества управляемых и неуправляемых характеристик системы, реализующей операцию. Следующий шаг — определение показателей исходов операции. Только после этого возможны выбор и формирование критерия эффективности. Показатели (функции показателей) исходов операции, на основе которых формируется критерий эффективности, принято называть показателями эффективности. В отдельных операциях показатель исхода операции может прямо выступать критерием эффективности.

Конкретный физический смысл показателей определяется характером и целями операции, а также качеством реализующей ее системы и внешними воздействиями.

В отдельных системах в качестве показателей результативности могут рассматриваться показатели ресурсоемкости или оперативности, однако качество операции в целом не может быть охарактеризовано ни одним из перечисленных частных свойств в отдельности, а определяется, подобно ПИО, их совокупностью.

.

Хотя конкретные операции достаточно многообразны, существует ряд общих принципиальных положений, которыми необходимо руководствоваться при формировании системы критериев эффективности решений.

В зависимости от типа систем и внешних воздействий операции могут быть детерминированными, вероятностными или неопределенными. В соответствии с этим выделяют три группы показателей и критериев эффективности функционирования систем:

• * в условиях определенности, если ПИО отражают один строго определенный исход детерминированной операции;
• * в условиях риска, если ПИО являются дискретными или непрерывными случайными величинами с известными законами распределения в вероятностной операции;
• * в условиях неопределенности, если ПИО являются случайными величинами, законы распределения которых неизвестны.

Критерий пригодности для оценки детерминированной операции.

определяет правило, по которому операция считается эффективной, если все частные показатели исхода операции принадлежа! области адекватности.

Критерий оптимальности для оценки детерминированной операции.

определяет правило, по которому операция считается эффективной, если все частные показатели исхода операции принадлежат области адекватности, а радиус области адекватности по этим показателям оптимален.

Критерий пригодности для оценки эффективности вероятностной операции.

определяет правило, по которому операция считается эффективной, если вероятность достижения цели по показателям эффективности не меньше требуемой вероятности достижения цели по этим показателям .

Критерий оптимальности для оценки эффективности вероятностной операции определяет правило, по которому операция считается эффективной, если вероятность достижения цели по показателям эффективности равна вероятности достижения цели с оптимальными значениями этих показателей .

Основной проблемой оценки эффективности вероятностных операций является неясность способа определения требуемых вероятностей. Это связано с отсутствием достаточной статистики. Известно, что применение методов классической теории вероятностей допустимо при повторяемости опытов и одинаковости условий. Эти требования в сложных системах выполняются не всегда.

Наибольшие трудности возникают при оценке эффективности систем в условиях неопределенности. Для решения этой задачи разработано несколько подходов. Порядок оценки эффективности систем в неопределенных операциях составляет один из разделов теории принятия решений.

Выбор показателей для конкретной системы связан с анализом большого объема плохо структурированной информации, и поэтому в системном анализе сформулированы требования, следование которым позволяет обосновать применимость показателей в данной задаче оценки.

Общими требованиями к показателям исхода операции являются:

• * соответствие ПИО цели операции;
• * полнота;
• * измеримость;
• * ясность физического смысла;
• * неизбыточность;
• * чувствительность.

Одним из основных требований является соответствие ПИО цели операции, реализуемой системой. Цели операции в значительной степени зависят от предназначения системы. Например, для такой ИС, как АСУ, целями операции могут быть обеспечение требуемых значений оперативности, достоверности, устойчивости и безопасности решения задач управления и передачи сообщений и др. Для каждой из выдвигаемых целей должны быть определены одна или несколько составляющих ПИО.

К числу основных требований к ПИО относится также его полнота. Суть этого требования заключается в том, что ПИО должен отражать желательные (целевые) и нежелательные (побочные) последствия операции по показателям результативности, ресурсоемкости и оперативности. Заметим, что одним из показателей правильности выбора составляющих ПИО и их полноты является монотонный характер функции полезности (ценности), построенной для каждой составляющей. Если при этом какая-либо из функций не монотонная, то это означает, что упущены одна или несколько составляющих ПИО.

Следующее важное требование к ПИО — измеримость ею составляющих с помощью либо натурного эксперимента, либо моделей операции. Если рассматриваемая операция не позволяет это сделать, ее целесообразно разложить на подоперации, обеспечивающие измеримость составляющих. Процесс декомпозиции операции на подоперации может быть многоуровневым. Например, операцию «Решение задач управления» можно разделить на подоперации: «Решение задач планирования» и «Решение задач оперативного управления», а последние, в свою очередь, — на «Решение задач учета», «Решение задач контроля» и т. д.

При определении задач ПИО необходимо стремиться к ясности их физического смысла, т. е. чтобы они измерялись с помощью количественных мер, доступных для восприятия. Однако достичь этого удается не всегда. Тогда приходится вводить так называемые субъективные составляющие ПИО. Например, такое свойство людей, как обученность, обычно не может быть определено с помощью характеристик, имеющих физический смысл. В этом случае часто вводят некоторую искусственную шкалу. Другой способ обеспечения измеримости составляющих ПИО переход к показателям-заменителям, косвенно характеризующим рассматриваемое свойство. Требование ясности физического смысла ограничивает возможности агрегирования частных показателей в один критерий. Так, например, не имеет физического смысла обобщенный скалярный показатель, составленный из частных показателей результативности, ресурсоемкости и оперативности.

Важным требованием к ПИО является минимизация его размерности, т. е. обеспечение неизбыточного набора составляющих. С ростом количества составляющих резко возрастает трудоемкость построения функции эффективности.

И, наконец, в группу основных требований к составляющим ПИО обычно вводят их относительно высокую чувствительность к изменениям значений управляемых характеристик.

Таким образом, набор составляющих ПИО может быть определен различными способами, поскольку к настоящему времени еще не существует формальной теории, обеспечивающей объективное решение этой задачи. Два лица, принимающие решение на одну и ту же операцию, могут определить различный состав ПИО. Важно лишь то, что, используя различные ПИО, они должны выбрать одинаковое решение — оптимальное.