Методы экспертных оценок

Методы экспертных оценок — это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР — лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки — это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач — диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению — симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация — в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода — военный совет 1812 г. в Филях, на котором под председательством М. И. Кутузова решался вопрос: «Давать или не давать французам сражение под Москвой?» .

Экспертные оценки часто используются при выборе, например:

• — одного варианта технического устройства для запуска в серию из нескольких образцов,
• — группы космонавтов из многих претендентов,
• — набора проектов научно-исследовательских работ для финансирования из массы заявок,
• — получателей экологических кредитов из многих желающих,
• — при выборе инвестиционных проектов для реализации среди представленных, и т. д.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других — число экспертов растет в процессе проведения экспертизы, например, при использовании метода «снежного кома» (о нем — дальше).

Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики.

Наиболее распространен метод экспертных оценок «мозговой штурм», или «мозговая атака» (совместное генерирование новых идей и последующее принятие решений).

Если предстоит решение сложной проблемы, то собирается группа людей, которые предлагают свои любые решения определенной проблемы. Основное условие «мозгового штурма» — это создание обстановки, максимально благоприятной для свободного генерирования идей. Чтобы этого добиться запрещается опровергать или критиковать идею, какой бы на первый взгляд фантастической она ни была. Все идеи записываются, а затем анализируются специалистами. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5−6 дают возможность сформулировать прикладные проекта, а 2−3 оказываются в итоге приносящими полезный эффект — прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т. п. При этом интерпретация идей — творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: «Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс». После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Следующий метод: метод Дельфы получил название от греческого города Дельфы, прославившегося жившими там мудрецами — предсказателями будущего. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма, надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные «переводчики» — жрецы храма толковали эти слова и отмечали на вопросы пришедших со своими проблемами паломников. По традиции говорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии — у Везувия или Этны, а сами описанные предсказания происходили в XII—XIV вв. Это вытекает из высшего достижения современной исторической науки — новой статистической хронологии.

В США в 1960;х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными — хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились — холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось.

Однако сама методика оказалась популярной — за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи — 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы — до 130 тыс. долларов.

Метод Дельфы — это многотуровая процедура анкетирования. После каждого тура данные анкетирования дорабатываются, полученные результаты сообщаются экспертам с указанием расположения оценок.

Первый тур анкетирования проводится без аргументации, во втором — отличающийся от других ответ подлежит аргументации или же эксперт может изменить оценку. После стабилизации оценок опрос прекращается и принимается предложенное экспертами или скорректированное решение.

Японская, так называемая кольцевая система принятия решений — «кингисё», суть, которой в том, что на рассмотрение готовится проект новшества. Он передается для обсуждения лицам по списку, составленному руководителем. Каждый должен рассмотреть предлагаемое решение и дать свои замечания в письменном виде. После этого проводится совещание. Как правило, приглашаются те специалисты, чье мнение руководителю не совсем ясно.

Эксперты выбирают свое решение в соответствии с индивидуальными предпочтениями. И если они не совпадают, то возникает вектор предпочтений, который определяют с помощью одного из следующих принципов:

• — принципа большинства голосов — выбирается то решение, которое имеет наибольшее число сторонников;
• — принципа диктатора — за основу берется мнение одного лица группы. Этот принцип характерен для военных организаций, а также для принятия решений в чрезвычайных обстоятельствах;
• — принципа Курно — используется в том случае, когда коалиций нет, т. е. предлагается число решений, равное числу экспертов. В этом случае необходимо найти такое решение, которое бы отвечало требованию индивидуальной рациональности без ущемления интересов каждого в отдельности;
• — принципа Парето — используется при принятии решений, когда все эксперты образуют единое целое, одну коалицию. В этом случае оптимальным будет такое решение, которое невыгодно менять сразу всем членам группы, поскольку оно объединяет их в достижении общей цели;
• — принципа Эджворта — используется в том случае, если группа состоит из нескольких коалиций, каждой из которых невыгодно отменять свое решение. Зная предпочтения коалиций, можно принять оптимальное решение, не нанося ущерба друг другу.

Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии событий можно было говорить лишь в терминах сценариев: если во втором туре победит Б. Н. Ельцин, то будет то-то и то-то, если же победит Г. А. Зюганов, то события пойдут так-то и так-то.

Метод сценариев необходим не только в социально-экономической или экологической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения.

Таким образом, метод сценариев — это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

• — построение исчерпывающего, но обозримого набора сценариев;
• — прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям.

Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события — прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т. д. Само по себе создание набора сценариев — предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария.

Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

Как известно, при принятии решений на основе анализа ситуации (как говорят, при ситуационном анализе), в том числе анализе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т. д.3.

Разработанный широкий спектр возможных альтернативных вариантов развития ситуации позволяет более полно определить критические ситуации для принятия решений, а также возможные последствия предлагаемых альтернативных вариантов решений с целью их сопоставления и выбора наиболее эффективного.

Профессионально разработанный и периодически актуализируемый прогноз — неотъемлемая составляющая процесса выработки и принятия важных управленческих решений.4.