О выборе методики экспертного опроса

Практический опыт использования методов принятия решений показал, что предпочтение, где это возможно, следует отдавать достаточно простым методам. Это положение относится и к экспертным методам. Стремление получить максимально точный результат с помощью сложного метода, в основе которого лежат субъективные оценки экспертов, во многих случаях оказывается невыполнимой задачей. Часто повышение точности полученных результатов носит мнимый характер. Кроме того, как правило, отсутствуют объективные данные, с помощью которых мы можем судить об уровне точности полученных результатов. К числу таких объективных данных относятся истинные значения оценок, которые на момент проведения экспертизы отсутствуют (если бы они были, то зачем проводить экспертный опрос?) или их принципиально невозможно получить.

Одним из направлений усложнения используемых экспертных методов, на наш взгляд, не приводящих к повышению точности полученных результатов, является чрезмерное усложнение методов оценки компетентности экспертов. Учет при определении компетентности экспертов таких не влияющих на нее прямым образом факторов, как возраст эксперта, его здоровье, занятия спортом, чтение художественной литературы и т. п., предлагаемые некоторыми авторами, усложняет проведение экспертизы и обработку полученных данных, и в то же время возникают большие сомнения в повышении точности результатов экспертного опроса. Действительно, на субъективный по своей природе экспертный метод накладывается субъективный метод определения компетентности экспертов, к тому же учитывающий еще в большей степени субъективные косвенные факторы.

Такой подход, наоборот, может привести к понижению точности полученных результатов. Вообще возникает вопрос: в какой мере учет компетентности экспертов даже прямым образом, не принимая в расчет косвенных факторов, способствует повышению точности окончательных оценок? Может, предварительный тщательный отбор компетентных экспертов является более надежным и простым способом добиться приемлемых результатов, чем учет их компетентности в последующих расчетах?

Для ответа на эти и другие вопросы, связанные с выбором методики экспертного опроса, нами был проведен эксперимент. Были опробованы различные варианты проведения экспертного опроса при экспертной оценке отдельных факторов и направлений совершенствования планирования повышения производительности труда в электротехнической промышленности^[1] [5].

Перед тем как изложить содержание эксперимента и полученные результаты, рассмотрим ряд вопросов, связанных с выбором рациональной методики обработки экспертной информации.

Рекомендации относительно использования при определении окончательного результата экспертного опроса среднеарифметической оценки и коэффициента конкордации нашли применение при обработке данных эксперимента по выбору лучшего варианта проведения экспертного опроса. В нем участвовали три группы экспертов, в состав которых вошли специалисты в области производительности труда. В состав первой группы (10 человек) входили работники Минэлектротехпрома. Во вторую группу (5 человек) входили работники Госплана СССР, третью группу (4 человека) составляли сотрудники промышленного предприятия.

Такой подход к формированию экспертной группы дал возможность оценить поставленную проблему с позиций трех уровней планирования.

Выявлена система факторов и мероприятий, определяющих рост производительности труда в электротехнической промышленности. Данная система была представлена в виде дерева, состоящего из четырех уровней. На втором уровне содержалось 5 общих факторов, на третьем — 16 конкретизированных факторов, на четвертом — 39 мероприятий. В обобщенном виде была выделена 21 группа факторов и мероприятий, в состав которых входило 60 более мелких составных элементов. Эксперимент проводился при оценке относительной важности этих факторов и мероприятий.

Целью эксперимента являлось:

1. Определение лучшей формы задания вопросов экспертам. Рассматривались два варианта анкет. В первом варианте в анкете приводился перечень уровней значимости оцениваемых факторов.

Эксперт должен был подчеркнуть соответствующий уровень значимости. В процессе обработки полученных результатов отдельные оценки приводились к шкале, в которой сумма оценок нормировалась единицей.

Во втором варианте анкет эксперт должен был назначить коэффициент относительной значимости (КОВ) отдельным факторам и мероприятиям сразу, исходя из условия нормирования суммы оценок единицей. (Данная методика будет рассмотрена в главе 12.).

2. Определение степени влияния учета компетентности отдельных экспертов на окончательные оценки. Учет компетентности осуществлялся с помощью анкеты (см. табл. 9.1).

В качестве основного критерия сравнения различных вариантов проведения экспертного опроса следует назвать степень приближения полученных оценок к их истинным значениям. Такую оценку возможно провести апостериорно при экспертном определении факторов и показателей, имеющих конкретный смысл, например стоимость и сроки осуществления тех или иных проектов и программ. Что касается КОВ, то здесь принципиально отсутствует возможность даже апостериорно установить, правильно или нет они были определены экспертами. Действительно, на основе каких фактов или данных удастся установить, что коэффициент относительной важности какой-то цели должен был быть 0,3, а не 0,1, как его определили эксперты?

Поэтому в качестве критериев правильности выбора той или иной методики проведения экспертного опроса с известной степенью условности рассматривалось влияние различных вариантов проведения экспертного опроса на полученные значения КОВ и на степень согласованности мнений экспертов, определяемую с помощью коэффициента конкордации.

В таблице 9.2 приводятся результаты экспертной оценки КОВ и определенных на их основе рангов важности общих факторов повышения производительности труда. Эти результаты являются типичными для всего проведенного эксперимента. На основании данных таблицы 9.2 можно сделать вывод, что в некоторых случаях значения КОВ существенно зависят от формы конкретной постановки вопросов экспертами; ранги же важности оцениваемых общих факторов практически остались без изменения.

Что касается степени согласованности экспертов, то здесь получены весьма противоречивые результаты (табл. 9.3). Для первой подгруппы экспертов для второго варианта проведения экспертного опроса значение W существенно выше, чем для первого варианта. Для второй и третьей подгрупп экспертов получены обратные результаты. В целом для трех подгрупп степень согласованности экспертов для второго варианта повысилась.

Из этих хотя и весьма ограниченных данных вытекает, что однозначного вывода о предпочтительности одного из двух вариантов формулирования вопросов перед экспертами сделать нельзя. В зависимости от специфики решаемой проблемы, видимо, можно использовать оба способа, учитывая, однако, что первый вариант является менее трудоемким, более понятным для использования и что его можно применять практически для любого числа оцениваемых событий. Поэтому ему следует отдать предпочтение, тем более что от ненормированных оценок легко перейти к нормированным.

Результаты экспертной оценки.

Таблица 9.2

Таблица 9.3

Согласованность экспертов.

В таблице 9.2 приводятся также результаты учета влияния компетентности экспертов, типичные для всего проведенного эксперимента. Учет степени компетентности экспертов практически не меняет значения КОВ и рангов важности. Эксперимент, кроме того, показал, что значения W в результате учета компетентности экспертов могут увеличиваться, уменьшаться, оставаться без изменений. Каких-либо закономерностей этих изменений установить не удалось. Поскольку определение компетентности экспертов предполагает постановку перед ними ряда дополнительных вопросов и дополнительные затраты времени на обработку и учет полученных результатов, ее лучше учитывать косвенным образом, проводя отбор для участия в экспертизе действительно высококвалифицированных специалистов, а не путем использования формализованных процедур в процессе обработки собранной экспертной информации. При отборе экспертов можно использовать соответствующие методы оценки их компетентности.

Использование показателя согласованности экспертов W позволяет выявить совокупность экспертов, внутри которой согласованность достаточно высока. На основе таких данных можно косвенным образом, постфактум, уточнить первоначальное суждение о компетентности экспертов. Для этого поочередно оценки всех экспертов исключаются из суммарной оценки, и подсчитывается значение W для оставшихся оценок. Если коэффициент W окажется выше, чем W для полной совокупности экспертов, то данный эксперт исключается из совокупности. Если же он оказывается меньше, чем W для полной совокупности экспертов, то данный эксперт остается в совокупности.

Данную процедуру затем повторяют для оценок оставшихся экспертов, и так поступают до тех пор, пока значение W не перестает увеличиваться.

Такой математический анализ, осуществленный на ЭВМ, необходимо дополнять содержательным качественным анализом. Дело в том, что данный подход вносит дополнительный элемент субъективизма в расчет экспертных оценок. Действительно, идя по такому пути, в ряде случаев можно просто подогнать полученные данные под желаемый результат. Основания для исключения оценок какого-либо эксперта из окончательных результатов появляются только в том случае, когда зафиксировано отклонение мнения данного эксперта по значительному количеству рассмотренных вопросов и когда исключение оценки данного эксперта приводит к довольно существенному увеличению значения W (не менее чем на 10%).

Кроме того, должны существовать объективные основания, позволяющие не учитывать мнения таких экспертов. В данном эксперименте такая ситуация не возникла. При оценке КОВ для 21 группы факторов и мероприятий не были выявлены эксперты, мнения которых по значительному количеству оцениваемых факторов и мероприятий существенно отличались бы от мнения остальных.

Однако при выявлении относительной важности отдельных направлений совершенствования экономики, которым способствует развитие генераторостроения, оказалось, что исключение оценок одного эксперта по всем вопросам повышает степень согласованности экспертов в среднем на 15—20%. Более тщательный анализ уровня компетентности данного эксперта в исследуемой области дал объективные основания для исключения его оценок из последующего анализа.

• [1] Хотя данный эксперимент был проведен около 20 лет назад и объекта исследования (электротехническая промышленность СССР) сейчас не существует, можно утверждать, что методика исследования и полученные результаты являются инвариантнымик объекту исследования. Вследствие этого полученные результаты не потеряли своейактуальности и в настоящее время. (Примеч. авт.)