Методы экспертных оценок

При изучении использования методов экспертных оценок уделяют особое внимание следующим вопросам:

• 1) подходы к формированию групп экспертов, которые включают:
  • • требования к экспертам,
  • • размеры группы,
  • • вопросы тренировки экспертов; оценки их компетентности;
• 2) формы и методики организации опроса экспертов. Различают формы организации опроса: анкетирование, интервью, смешанные формы опроса. Методики: анкетирование, мозговая атака, деловые игры и др.;
• 3) подходы к оцениванию результатов опросов: ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, попарных сравнений и др.;
• 4) методы обработки экспертных оценок;
• 5) способы определения согласованности мнений экспертов, достоверности экспертных оценок и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса.

При проведении такого вида экспертного опроса, как социологические измерения, обычно используют качественные шкалы («очень важно», «важно», «скорее важно, чем нет» и т. д.) или дают оценку некоторому качественному признаку («полностью согласен», «согласен», «не согласен», «категорически не согласен» или «да», «скорее да, чем нет», «скорее нет, чем да», «нет» и т. д.).

Полученным качественным оценкам ставятся в соответствие количественные оценки степени значимости на основе использования соответствующих методов обработки результатов. Так, при использовании пятибалльной шкалы оценка ответов может быть приведена к следующим числовым значениям: «полностью согласен» — 5; «согласен» — 4, «нейтрален» — 3, «не согласен» — 2, «полностью не согласен» — 1, а при итоговой обработке полученных результатов можно применить суммарные оценки.

Хотя подходы и методы, используемые при проведении экспертиз, безусловно, зависят от конкретных задач и условий их проведения, нельзя не учитывать некоторые особенности, присущие проведению всех экспертных опросов.

Первая особенность — наличие двух классов проблем, для решения которых применяются экспертные оценки.

Для проблем первого класса характерны хорошая обеспеченность информацией и возможность использования принципа «хорошего измерителя», в соответствии с которым эксперт является хранителем большого объема информации, а групповое мнение экспертов — близким к истинному.

Обычно неизвестная характеристика исследуемого явления представляется случайной величиной, поэтому индивидуальная оценка специалиста-эксперта о достоверности и значимости исследуемого события отражает закон распределения этой величины. Обоснование объективности экспертных оценок и достоверности обобщенного коллективного мнения основывается на том предположении, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок, получаемых от группы экспертов.

К первому классу можно отнести задачи коллективного принятия решений по формированию целей, совершенствованию методов и форм управления. Повышение объективности результатов требует выявления и тщательного анализа противоречивых мнений.

В отношении проблем второго класса знаний для уверенности в справедливости названных предположений недостаточно и экспертов нельзя рассматривать как «хороших измерителей», а к обработке результатов экспертного опроса нужно подходить с осторожностью, не используя при этом методы усреднения (справедливых для «хороших измерителей»), которые в данном случае могут привести к существенным ошибкам. В этом случае мнение одного (единичного) эксперта, уделяющего большое внимание исследованию малоизученной проблемы, может оказаться более значимым, чем мнения других экспертов. К задачам второго класса в основном применяют качественную обработку результатов.

Вторая особенность, учитываемая при применении экспертных оценок, заключается в том, что экспертные оценки несут в себе не только узко-субъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса. Это справедливо и в отношении проблем, относящихся к первому классу.

С целью устранения недостатков, связанных с этой особенностью, рекомендуется при применении экспертных опросов обращать особое внимание на формирование экспертной группы и на методы обработки результатов опроса с учетом редких и противоречивых мнений. К усредненным оценкам, получаемым при обработке результатов экспертных опросов, рекомендуется относиться как к некоторой «общественной точке зрения», которая зависит от уровня знаний общества относительно предмета исследования, причем этот уровень может меняться по мере развития системы и знаний о ней.

Создание регулярной системы работы с экспертами способствует получению информации о сложной проблеме.

Третья особенность, которую необходимо учесть при применении метода экспертных оценок, заключается в том, что эксперт-лидер при организации экспертного опроса в форме Дельфи-процедуры с устным обсуждением результатов оценки между турами опроса может постепенно «увести» группу экспертов в желаемом направлении. Эта особенность носит название «эффект Эдипа».

Метод «дельфийского оракула» (Дельфи-метод) представляет собой итеративную процедуру при проведении мозговой атаки с целью снижения влияния психологических факторов при проведении заседаний и повышения объективности результатов.

Существуют различные варианты использования Дельфи-процедур:

• • упрощенный вариант предполагает организацию последовательных итеративных циклов мозговой атаки;
• • в случае использования более сложного варианта разрабатывается программа последовательных индивидуальных опросов с применением методов анкетирования, при этом исключаются контакты между экспертами, но предусматривается ознакомление с мнениями друг друга между турами;
• • использование развитых вариантов Дельфи-процедуры предполагает программы последовательных индивидуальных опросов с применением методов анкетирования. При этом уточняются вопросы анкет от тура к туру, а экспертам присваиваются весовые коэффициенты значимости их мнений (коэффициенты компетентности), вычисляемые на основе предшествующих опросов, которые также уточняются от тура к туру и учитываются при получении обобщенных результатов опроса. Иногда от экспертов требуется обоснование своей точки зрения, что снижает риск внушаемости и приспособляемости к мнению большинства.

Использование Дельфи-метода как средства повышения объективности экспертных опросов связано с использованием обратной связи, так как организуются ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов.

В связи с тем, что не всегда можно доказать репрезентативность выборки, использовать классический частотный подход к оценке вероятности при обработке экспертных опросов бывает сложно, потому наметились следующие перспективные направления развития экспертного оценивания с целью повышения его объективности и достоверности:

• • применение теории нечетких множеств Заде при определении характера вероятности экспертной оценки;
• • представление об экспертной оценке как степени подтверждения гипотезы или как вероятности достижения цели исследования;
• • разработка методов организации сложных экспертиз, которые предполагают расчленение большой неопределенности на части, введение критериев оценки и применение различных форм опроса;
• • применение метода решающих матриц Поспелова и его модификации;
• • использование методов экспертных оценок значимости составляющих иерархических структур, предложенных в методике ПАТТЕРН;
• • использование информационных оценок степени влияния нововведений на реализацию целей.

Далее рассмотрен подход к организации экспертной обработки данных, получаемых в ходе оценки и анализа СИБ. Сущность его заключается в реализации эвристического алгоритма, приспособленного к решению конкретной задачи. Проиллюстрируем работу алгоритма на примере получения информации о значимости той или иной угрозы информационной безопасности для конкретного филиала предприятия.

Во-первых, формируется цель работы. На данном этапе производится выявление т угроз, исходя из предварительного анализа.

Во-вторых, формируется экспертная группа. Здесь определяется количество экспертов Л, формируется матрица-строка их ответов по каждой j-и угрозе для первого филиала:

Далее находится среднее значение оценок группы по j-и угрозе:

После этого определяется отклонение оценки каждого эксперта от среднего значения оценок группы по всем угрозам:

В результате формируется матрица отклонений.

по которой находится среднее отклонение оценок каждого эксперта по всем угрозам от среднего значения оценок группы:

а затем определяется матрица-строка.

Эксперты нумеруются по мере удаления их оценок от среднего значения оценок группы. В итоге устанавливается кортеж их предпочтения:

В-третьих, формируются правила работы экспертной группы. На этом этапе упорядочиваются угрозы, начиная с наименее значимой:

которым приписываются ранги.

В-четвертых, определяется оценка степени согласованности экспертов. При проведении этой оценки результаты ранжирования представляются в виде матрицы рангов. Затем определяется сумма рангов по каждой j-й угрозе в соответствии с выражением.

После этого вычисляется средняя сумма рангов:

В заключение определяется коэффициент конкордации:

Если Ф > 0,5, то существует достаточная степень согласованности между мнениями экспертов. Если Ф < 0,5, то группа экспертов корректируется путем исключения последнего эксперта в кортеже, пересчитывается коэффициент конкордации и т. д., до получения нужной степени согласованности.

Если эксперт не может указать порядок убывания двух или нескольких угроз, он приписывает каждой из них одинаковый ранг. В этом случае коэффициент конкордации вычисляется по зависимости.

где Zj_t — число одинаковых рангов в ?-м ранжировании.

Следующим этапом является этап собственно экспертной оценки, результатом которого в данном случае будет построение морфологической матрицы.

В заключение отметим, что для повышения активизации экспертов иногда сочетают процедуру Дельфи с элементами деловой игры: эксперту предлагается провести самооценку, ставя себя на место конструктора, которому реально поручено выполнение проекта, но созданию системы.