Экспертные оценки (методы субъективных измерений)

Характеристика экспертных процедур В предыдущей лекции были рассмотрены часто применяемые в практической деятельности статистические методы количественной оценки экономического риска.

Вместе с тем существуют ситуации, когда по различным причинам, в значительной мере в связи с отсутствием достоверной информации, использование статистического метода не представляется возможным.

В таких случаях широко применяются методы, использующие результаты опыта и интуицию, то есть эвристические методы или методы экспертных оценок.

Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений. Общей направленностью этих процедур является использование человека как «измерительного прибора» для получения количественных оценок процессов и суждений, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

Примерами традиционных эвристических процедур являются различные экспертизы, консилиумы, совещания и т. п., результатом которых являются экспертные оценки состояния объекта исследования.

Метод экспертных оценок находит достаточно широкое применение в различных областях деятельности, и на его основании реализуются серьезные и дорогостоящие мероприятия. Одной из сфер его применения является качественный анализ и количественная оценка экономического риска.

Рассмотрим кратко характеристику экспертных процедур.

В практической деятельности применяются как индивидуальные, так и групповые (коллективные) экспертные оценки (опросы).

Основными целями использования индивидуальных экспертных оценок являются:

• — прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем. Применительно к анализу и оценке риска это выявление источников и причин риска, прогнозирование действий конкурентов, установление всех возможных рисков, оценка вероятности наступления рисковых событий, назначение коэффициентов относительной важности (значимости последствия) и ранжирование рисков, выявление путей снижения риска и многое другое;
• — анализ и обобщение результатов, представленных другими экспертами;
• — составление сценариев действий;
• — выдача заключений на работу других специалистов и организаций (рецензии, отзывы, экспертизы и т. п.).

Достоинством индивидуальной экспертизы является оперативность получения информации для принятия решений и относительно небольшие затраты.

В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок.

Указанный недостаток призваны устранить или ослабить коллективные экспертные оценки.

Процессу группового обсуждения по сравнению с индивидуальными оценками присущи некоторые отличительные особенности: коллективные оценки, как правило, менее субъективны, и решения, принятые на их основе, связаны с большей вероятностью осуществления.

Используя групповые экспертные процедуры, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т. е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать «истинный» ответ.

Можно выделить следующие типы групповых экспертных процедур:

• — открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;
• — свободное высказывание без обсуждения и голосования;
• — закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса.

Опыт показал, что традиционные методы обсуждения вопросов, поставленных перед группой экспертов, относящихся к первому типу экспертных опросов, не всегда обеспечивают эффективное достижение цели — достоверность полученных оценок.

Эти методы страдают рядом недостатков, таких, как влияние авторитетных и «напористых» участников на суждение остальных и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично.

Поэтому на практике при подготовке решений по широкому кругу вопросов (в том числе по проблемам анализа и оценки риска) все большее распространение находят второй и третий типы групповых экспертных оценок.

Второй тип групповых экспертных оценок предусматривает отсутствие любого вида критики, препятствующей формулировке идей, свободную интерпретацию идей в рамках поставленной проблемы.

Такой метод обсуждения получил названия метода коллективной генерации идей (по американской терминологии — метод «мозговой атаки»). Он направлен на получение большого количества идей, в т. ч. и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.

Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других.

Исследование эффективности метода коллективной генерации идей показало, что групповое мышление производит на 70% больше ценных новых идей, чем сумма индивидуальных мышлений.

С помощью этого метода может успешно решаться ряд задач управления риском:

• — выявление источников и причин риска, установление всех возможных рисков;
• — выбор направлений и путей снижение риска;
• — формирование полного набора и качественная оценка вариантов, использующих различные способы снижения риска или их комбинацию и др.

К числу важнейших недостатков метода коллективной генерации идей относится значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

При использовании результатов групповых экспертных процедур, осуществляемых посредством открытого обсуждения поставленных проблем, следует учитывать такое явление как «сдвиг риска».

Феномен сдвига риска означает, что после проведения открытой групповой дискуссии возрастает уровень рискованности принимаемых решений.

Существует ряд гипотез, объясняющих это явление — диффузия ответственности, ознакомления, лидерства, изменения полезности, риска как ценности и др.

В настоящее время наиболее распространенным объяснением явления «сдвига риска» является использование гипотезы риска как ценности. Она исходит из идеи, согласно которой люди ценят риск, и в групповой ситуации многие из них, в том числе и так называемые осторожные индивиды, стремятся повысить свой статус в группе. Поэтому в условиях групповой дискуссии они меняют свои оценки в сторону большего риска с целью создать о себе представление как о людях решительных, способных и умеющих рисковать. Таким образом, данная гипотеза исходит из того, что сотрудники стремятся рисковать не меньше, чем другие члены коллектива. Если у конкретного члена группы уровень предпочтения риска оказывается значительно ниже среднего для группы, то это может вызвать у него беспокойство и опасения по поводу того, как к этому отнесется группа.

Третий тип групповых экспертных оценок — закрытое обсуждение поставленных проблем — позволяет в значительной степени устранить указанные выше недостатки первого и второго типов экспертных процедур.

Примером экспертных процедур третьего типа может быть метод «Дельфи» — по имени греческих дельфийских оракулов.

В методе «Дельфи» сделана попытка усовершенствовать групповой подход к решению задач прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами, без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений. Это позволяет исключить влияние авторитетных и «напористых» участников на суждение остальных, а также уменьшить или исключить явление «сдвига риска».

Метод «Дельфи» предусматривает проведение экспертного опроса в несколько туров.

Во время каждого тура эксперты сообщают свое мнение и дают оценку исследуемым явлениям. При обработке информации, полученной от экспертов, все оценки располагают в порядке N1,…, Nm их убывания, затем определяют медиану (М) и квартили (Q1, Q2).

Экспертов, чьи оценки попадают в крайние интервалы (не лежат внутри диапазона Q1 — Q2), просят обосновать свое мнение по поводу назначения ими оценок. С их обоснованием и выводами, не указывая, от кого они получены, знакомят остальных экспертов.

Подобная процедура позволяет специалистам изменять в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить или которыми пренебрегли в первом туре опроса. Благодаря этому результаты второго и последующих туров опроса дают, как правило, меньший разброс оценок.

После получения оценок второго тура снова рассчитываются медиана и квартили.

Этот процесс продолжается до тех пор, пока продвижение в направлении повышения совпадения точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.

Метод «Дельфи» наиболее целесообразен при количественных оценках отдельных рисков и всего проекта в целом — определении вероятности наступления рисковых событий, оценке величины потерь, вероятности попадания потерь в определенный интервал и т. п.

Учитывая большую условность метода экспертных оценок, некоторые специалисты относятся к нему с недоверием, считая, что нет гарантии того, что полученные оценки достоверны. Действительно, точно оценить достоверность полученных результатов нельзя. Вместе с тем, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

В действительности это не всегда так, и можно привести примеры, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.

Однако, как показала практика использования экспертных оценок, в подавляющем большинстве случаев при согласованности мнений экспертов их оценки оказывались правильными.

Следует отметить, что при нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информации об исследуемом объекте и недостаточной компетентностью экспертов, возможна и погрешность совсем другого рода, обусловленная заинтересованностью экспертов в результатах экспер­тизы, что обязательно скажется на их достоверности. Наличие такого рода погрешностей может значительно искажать оценки.

Устранение указанных недостатков достигается использованием соответствующих методов и в первую очередь посредством правильной организации экспертной процедуры, начиная от подбора экспертов до обработки их мнений.

Характерными особенностями методов экспертных оценок и моделей их реализации как инструмента научного решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация всех этапов экспертизы, обеспечивающая эффективность работы на каждом из этапов и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов на основе формальной групповой обработки результатов их мнений. Эти особенности отличают методы экспертных оценок от обычной давно известной экспертизы, применяемой в различных сферах человеческой деятельности.