Экспертные методы: проблемы и технологии их применения

К основным проблемам совершенствования экспертных технологий относятся следующие.

1. Формирование экспертной комиссии.

Одной из центральных проблем при формировании экспертной комиссии является определения качества эксперта.

При формировании экспертной комиссии необходимо предусмотреть возможность эффективного взаимодействия экспертов, входящих в ее состав, с целью получения полной и адекватной оценки объекта экспертизы.

2. Организация и проведение экспертиз.

Ряд работ посвящен организации и проведению экспертиз. Это, прежде всего, работы по систематизации многочисленных разновидностей метода «Дельфи», касающиеся, в основном, совершенствования процедур обмена информации между экспертами в процессе экспертизы. Дальнейшее развитие получили методы мозговой атаки, сценариев, ситуационного анализа.

В настоящее время все большее значение приобретает проведение комплексных экспертиз при оценке сложных объектов.

3. Получение экспертной информации.

Широкое распространение получили методы экспертных ранжирований и гиперупорядочений, классификаций, парные и множественные сравнения и др.

При практическом использовании значительное внимание уделяется как качественным, так и количественным методам получения экспертной информации.

Разрабатываются методы измерения экспертной информации. К числу основных проблем относятся:

проблема представимости экспертной информации;

проблема единственности измерений;

проблема адекватности.

4. Определение результирующих экспертных оценок.

Одной из центральных проблем обработки экспертной информации является определение результирующих экспертных оценок — результата коллективной работа экспертов. Для этой цели был введен аналог расстояний — мера близости между ранжированиями, классификациями и т. д.

Это позволило разработать корректные способы определения результирующих экспертных оценок, такие как медиана Кемени, метод строчных сумм и др.

5. Многокритериальные оценки.

Многокритериальный опыт использования методов и процедур экспертного оценивания показал, что во многих случаях, хотя и не во всех, оценки объектов экспертизы экспертами оказывались более точными при использовании методов многокритериального оценивания.

6. Анализ результатов экспертизы.

Полученная экспертная информация обязательно должна быть проанализирована. Получили развитие методы оценки согласованности экспертных суждений, высказанных в виде ранжирований, парных сравнений и т. д. При этом установлена связь между коэффициентами ранговой корреляции, характеризующие согласованность экспертных суждений, и упомянутыми ранее мерами близости.

Скорее поставлены, чем решены проблемы оценки степени конъюнктурности, конформизма и других факторов, характеризующих адекватность экспертной информации.

7. Компьютерная система поддержки.

Характерным для современного этапа использования методов экспертного оценивания является широкое применение компьютерных систем поддержки. К числу таких систем могут быть отнесены экспертные системы, позволяющие использовать знания и опыт экспертов-специалистов высокой квалификации специалистами менее высокой квалификации для решения задач, возникающие в их практической деятельности.

Система поддержки принятия решений, находящая применение в различных областях, в качестве одной из основных составляющих использует результаты экспертного оценивания.

Однако наиболее важным классом компьютерных систем, позволяющих обеспечить сопровождение и поддержку непосредственно процедур получения, обработки и анализа экспертной информации являются, с нашей точки зрения, автоматизированные системы экспертного оценивания (АСЭО).

АСЭО обеспечивает технологическое сопровождение, необходимое методическое и информационное обеспечение процесса экспертного оценивания при организации и проведении экспертиз с учетом специфического характера проводимой экспертизы 1, с. 17 — 20.

Для прогнозов развития науки и техники, будущих открытий и изобретений, для которых не имеется достаточной теоретической базы в момент составления прогноза, составления картины будущего мира широко применяется один из методов, связанный с обобщением и статистической обработкой мнений группы экспертов, получивший название метода «Дельфи». Этот метод относится к классу методов групповых экспертных оценок. Он был разработан и применен в США впервые в 1964 году сотрудниками научно-исследовательской корпорации РЭНД О. Хелмером и Т. Гордоном [3, с.155].

Происхождение названия этого метода связывают с понятиями «дельфийский оракул». Дельфийский оракул — наиболее известное в Древней Греции место религиозных пророчеств. Дельфийский оракул находился в городе Дельфы при храме Аполлона, считавшегося покровителем и прорицателем. Пророческие изречения в Дельфийском оракуле от имени Аполлона давала жрица-пифия.

Метод «Дельфи» наиболее целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для решения существующей проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора необходимых данных; процесс получения и анализа необходимых данных слишком дорогостоящий [5, с.30].

В методе «Дельфи» предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии [6, с.26]. Это достигается равномерностью процедуры, возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения. Еще одно важное свойство — обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших «крайние» точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертизы по методу «Дельфи» проводятся, чаще всего, в 4 тура при помощи анкетирования [6, с.26].

На первом туре экспертам сообщается цель экспертизы, и формируются вопросы, на которых составляют основное содержание экспертизы. Вопросы предъявляются каждому эксперту персонально в виде анкеты, иногда сопровождаемой пояснительной запиской. Если предъявляемые экспертам вопросы достаточно сложны, целесообразна предварительная разработка приближенной модели исследуемой системы, чтобы правильно ориентировать эксперта, конкретизировать цели и предмет экспертной процедуры, показать характер возможных ответов.

Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших «крайние» точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов — медиану, верхнюю и нижнюю квартили, т. е. значение оцениваемой альтернативе, выше и ниже которых расположены 25% численных значений оценок. Расстояние между квартилиями характеризует разброс экспертных оценок, и тем самым характеризует согласованность точек зрения экспертов.

Вводятся следующие обозначения:

t0 — значение наиболее ранней оценки;

t0,25 — значение оценки, определяющей 25% наиболее ранних оценок (из всех имеющихся), — нижний квартиль;

t0,5 — значение оценки разделяющей упорядоченную по оси времени совокупность оценок на две равные по количеству оценок части — медиана;

t0,75 — значение оценки, определяющей 25% наиболее поздних оценок (из всех имеющихся), — верхний квартиль;

t1,0 — значение наиболее поздней оценки;

Значение t0,15 принимается за показатель обобщенного мнения экспертов об ожидаемом времени свершения определенного события [5, с.32].

Степень согласованности мнений экспертов определяют коэффициентом вариации.

где — среднее квадратическое отклонение оценок;

yi — оценка каждого эксперта;

— число экспертов, участвующих в экспертизе.

Медиана — значение признака, которое находится в середине ранжированного ряда. Для нахождения медианы ряда с четным числом вариант складывают две средние варианты и делят сумму пополам.

На втором туре «Дельфийской» процедуры экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших «крайние» точки зрения [6, с.27]. Обоснования принимаются анонимно, без указания давших их экспертов. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки [5, с.31]. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргументацией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение. На четвертом туре каждому эксперту предоставляется распределение оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку в свете полученной информации. Как показывает практика, желаемое согласие наступает к четвертому туру.

В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго или третьего туров. Тогда необходимость проведения следующих туров отпадает.

При прогнозировании, в целях минимизации расходов, на прогноз стараются привлекать минимальное число экспертов при условии обеспечения ошибки результата прогнозирования не более b, где 0.

При использовании метода «Дельфи» следует учитывать следующее:

• 1. Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.
• 2. Время между турами опросов должно быть не более месяца.
• 3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.
• 4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомится с причиной той или иной оценки, а также и для критики этих причин.
• 5. Должен проводиться систематический отбор экспертов.
• 6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.
• 7. Нужна формула согласованности оценок, основанная на данных самооценок.
• 8. Следует установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.
• 9. Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

Следует также отметить, что использование меридианы и квартилей в методе «Дельфи» имеет помимо положительной стороны и отрицательную. В частности при рассмотрении оценок группы экспертов оценка, слишком сильно отличающаяся от других, практически исключается, не смотря на то, что она может оказаться более верной, чем остальные, т. е. большинство экспертов могут сойтись в ошибочной оценке [1, с.159].

Правда, подобные отклонения, по мнения авторов метода «Дельфи», компенсируются автором до некоторой степени тем, что по данному методу эксперта, несогласного с большинством, просят высказать причины несогласия. Все эксперты имеют возможность не согласиться с этими причинами и могут принять во внимание или отвергнуть их, переоценивать свое мнение или остаться при нем.

Так что оценка, далеко отстающая от других, отбрасывается фактически лишь в том случае, если эксперту не удается достаточно веско аргументировать свою точку зрения.

Имеется и другая трудность. Это трудность четкой формулировки вопросников. Максимальная точность достигается за счет громоздкого стиля изложения, вызывающего отрицательную реакцию у отвечающих на анкету. Здесь также надо найти оптимум между четкостью и лаконичностью поставленных вопросов, дабы все участники одинаково их интерпретировали. Другим недостатком дельфийского прогноза является то, что ответы высококомпетентных экспертов как бы разбавляются оценками менее информированных специалистов, кроме того, в ряде случаев, одни и те же специалисты включены в разные группы (чего допускать нельзя).

В заключение можно сказать, что, несмотря на указанные недостатки, метод «Дельфи» является достаточно надежным инструментом получения экспертной информации. С помощью метода «Дельфи» выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им, вместе с тем, периодически взвешивать свои суждения с учетом ответов доводов коллег. Пересмотр и возможность изменения прежних оценок на основе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулирует опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.