Экспертное оценивание. 
Характеристика, виды и порядок проведения экспертного оценивания

Экспертное оценивание — процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

Его задачей является выражение своего мнения о качестве объекта или явления по определенной шкале в соответствии с предусмотренными для этого правилами.

Основное содержание метода экспертных оценок заключается в рациональной организации работы одного или нескольких специалистов над поставленной проблемой с регистрацией и последующей обработкой полученных данных.

Существует две группы экспертных оценок:

1. Индивидуальные методы основаны на использовании мнений экспертов, независимых друг от друга. Информация, которую получает заказчик от эксперта, отличается уникальностью и ориентацией на проблему, имеющую локальный характер.

Несмотря на то, что знания отдельного эксперта являются ограниченными, что не всегда дает возможность получить максимально достоверную информации об объекте оценки, обращение к этим методам является достаточно обоснованным. Преимущества этих методов заключены не только в дешевизне индивидуальных экспертиз, но и в характере самой процедуры, отличающейся глубиной и последовательностью проникновения в предмет. Использование индивидуальных методов позволяет исключить возможность межличностного влияния, способного исказить достоверность экспертной оценки. Ряд экспертных методов трудно отнести к индивидуальным или коллективным. Кроме того, в процессе их применения также используются как качественные, так и количественные критерии. Таким образом, можно выделить особую группу эвристических методов, значение которых заключается в мобилизации творческого мышления в решении сложных комплексных задач.

1. Метод гирлянд и ассоциаций, разработанный в 70-е г. советским ученым Г. Бушем, предполагает изучение схожего по свойствам объекта, на базе сличения которых выявляются особенности, характерные для исследуемого объекта.

Метод предполагает прохождение следующих этапов.

• 1. Определение аналогов объекта.
• 2. Выбор случайных объектов.
• 3. Составление комбинаций из элементов гирлянд аналогов объекта и случайных объектов.
• 4. Составление перечня или таблицы признаков случайных объектов.
• 5. Развитие идей посредством поочередного присоединения к объекту и его аналогам признаков случайных объектов.
• 6. Генерирование гирлянд ассоциаций (поочередно из каждого признака случайных объектов вырабатывается гирлянда «вторичных» понятий и признаков).
• 7. Развитие новых идей путем попыток комбинирования элементов гирлянды ассоциаций по признакам с элементами гирлянды аналогов объекта.
• 8. Выбор альтернативы, то есть анализ полученного множества идей и принятие решения о прекращении генерирования гирлянд ассоциаций и комбинирования понятий.
• 9. Оценка и отбор рациональных вариантов идей.
• 10. Выбор предпочтительного варианта.

Сферой применения названного метода может стать сложная проблемная ситуация, слабо изученная, в отношении которой нет сложившегося мнения. Метод может быть реализован только при условии большой предварительной работы, заключающейся в глубоком изучении свойств аналогов исследуемого объекта, целесообразности их привлечения, формировании психологической установки экспертов и т. д.

• 2. Метод парных сравнений основан на простом сопоставлении экспертом альтернативных вариантов, из которых он должен выбрать наиболее предпочтительный. Метод позволяет рассчитывать равноценность или принципиальную несравнимость представленных альтернатив, в связи с чем они исключаются из анализа. В ходе такого сравнения эксперт не только отбирает лучшие варианты, но и формулирует критерии, позволяющие осуществить такой выбор, подчеркивая свойства и признаки отобранной альтернативы.
• 3. При использовании метода векторов предпочтений эксперту предъявляется весь набор оцениваемых альтернативных вариантов и предлагается для каждого из них указать, сколько альтернативных ему вариантов он опережает. Полученную информацию можно изобразить в виде вектора, одним из компонентов которого является число альтернативных вариантов, превосходящих первый, вторым компонентом — число альтернатив, которые превосходят второй и т. д. Примером векторного представления 10 альтернативных вариантов служит такая последовательность (5,0,7,3,2,1,4,9,8,6).

Упоминая в системе предпочтения каждый из вариантов не более одного раза, эксперт проводит строгое ранжирование представленных вариантов на основе предварительно сформулированного критерия. Использовать этот метод можно и при коллективной экспертизе, представляя коллективный взгляд на соотношение рассматриваемых альтернатив.

4. Метод фокальных объектов, разработанный в 50-е гг. XX века американским ученым Ч. Вайтингом, заключается в перенесении признаков случайно отобранных аналогов на исследуемый объект. Отличительным признаком данного метода является то, что он совершенно исключает количественный подход и нацелен, главным образом, на концентрацию внимания исследователя на так называемом фокальном объекте, служащим основой сопоставления с объектами, составляющими поле направленного случайного поиска. Фокальные точки спонтанно выбираются всеми индивидами в силу особой роли первых в отношении социально однородной группы, сформированной вокруг базовых ценностей, которые разделяют члены таких групп.

Примером фокального объекта может служить примечательное для данного территориального образования культовое здание, служащее местом встреч.

В пользу использования этого метода при проведении экспертных оценок говорит то обстоятельство, что значительная часть научных открытий делается на основе обобщения фактов, находящихся на периферии стратегии направленного поиска. Путем сопоставления фокального объекта и группы случайных объектов производится сравнение аналоговых признаков с признаками фокального объекта, по результатам которого производится сравнение объектов и определяется перечень мер по совершенствованию роли фокального объекта в моделируемом процессе.

Процедура применения метода предполагает прохождение следующих этапов.

Выбор фокального объекта.

Выбор трех-пяти случайных объектов.

Составление списков признаков для каждого случайного объекта.

Генерирование идей посредством присоединения к фокальному объекту признаков случайных объектов.

Развитие полученных сочетаний путем свободных ассоциаций.

Оценка полученных идей и отбор полезных решений.

5. Индивидуальный экспертный опрос возможен в форме интервью или в виде анализа экспертных оценок.

Метод интервью означает беседу заказчика с экспертом, в ходе которой заказчик в соответствии с разработанной программой ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей.

Анализ экспертных оценок предполагает индивидуальное заполнение экспертом (экспертами) разработанного заказчиком формуляра, по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути в ее решении. Свои соображения эксперт выносит в виде отдельного документа, составленного на основе тщательного обследования объекта. Анализ экспертных оценок может быть произведен на основе использования ряда методов, в основе которых лежит выбор оптимальной альтернативы в определении варианта решения.

• 6. Метод средней точки используется при большом количестве альтернативных решений. Для этого формулируются два альтернативных варианта решения, один из которых менее предпочтителен, второй наиболее. После этого эксперту предлагается подобрать третий альтернативный вариант, оценка которого расположена между значениями первой и второй альтернативы. Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.
• 7. Метод Черчмена-Акоффа.

В соответствии с этим методом все альтернативные варианты ранжируются по предпочтительности, и каждому из них эксперт назначает количественные оценки. Если один вариант (al) по предпочтительности выше другого (а2), то их значения суммируются (al + а2).

Эксперт сопоставляет по предпочтительности альтернативный вариант (al) и сумму других альтернативных вариантов.

Если (al) остается предпочтительным, то и его значение будет выше суммарного значения других альтернативных вариантов, в противном случае — наоборот. Если альтернативный вариант (al) на каком-то этапе оказался предпочтительнее суммы остальных вариантов и для оценок это соотношение подтверждается, то (а1) из дальнейших рассмотрений исключается.

Преимуществом данного метода является допущение экспертами корректировок в ходе обсуждения альтернативных вариантов. Например, в ходе оценки может определяться сумма наибольшего числа альтернативных вариантов, исключающая менее предпочтительные, которая меньше, чем (al). Если альтернативные варианты правильно иерархизированы с точки зрения предпочтительности, т. е. значение каждого предыдущего альтернативного варианта больше суммы последующих, то в корректировке оценки экспертов нет необходимости. В противном случае, корректировка экспертных оценок является целесообразной.

8. Метод лотерей.

В соответствии с методом имеющиеся альтернативы распределяются в порядке убывания предпочтительности, для обозначения которой эксперт указывает такую вероятность (р), при которой альтернативный вариант (а2) равноценен лотерее; альтернативный вариант (al) встречается с вероятностью (р), а альтернативный вариант (а3) встречается с вероятностью (1 -р). На основе последовательной оценки альтернатив можно рассчитать линейную функцию полезности, внеся в обозначение альтернативных вариантов численные значения:

a1p1 + a2p2 + …anрn,.

где: р — вероятности, с которыми рассматриваются альтернативные варианты al, а2, an.