Основные этапы процесса экспертного оценивания

Более подробного рассмотрения требуют основные этапы процесса экспертного оценивания. К ним относят:

• · формирование цели и задач экспертного оценивания;
• · формирование группы управления и оформление решения на проведение экспертного оценивания;
• · выбор метода получения экспертной информации и способов ее обработки;
• · подбор экспертной группы и формирование при необходимости анкет опроса;
• · опрос экспертов (экспертизу);
• · обработку и анализ результатов экспертизы;
• · интерпретацию полученных результатов;
• · составление отчета.

Задачу на проведение экспертного оценивания ставит ЛПР. Этап формирования цели и задач экспертного оценивания является основным. От него зависит надежность получаемого результата и его прагматическая ценность. Формирование цели и задач экспертного оценивания диктуется существом решаемой проблемы. Здесь должны быть учтены следующие факторы: надежность и полнота имеющейся исходной информации, требуемая форма представления результата (качественная или количественная), возможные области использования полученной информации, сроки ее представления, имеющиеся в распоряжении руководства ресурсы, возможность привлечения специалистов других областей знаний и многое другое. Задача оформляется в виде руководящего документа (например, решения на проведение экспертного оценивания).

Для подготовки решения и руководства всей дальнейшей работой назначается руководитель экспертизы. Он определяет состав группы управления. Группа управления осуществляет обратную связь с экспертами либо методом Дельфи, суть которого подробнее будет рассмотрена в следующей лекции настоящего дистанционного курса, либо методом совещаний с обсуждением результатов анонимных опросов.

На группу управления возлагается не только вся организационно-плановая работа по обеспечению благоприятных условий для эффективной творческой деятельности экспертов, но и аналитическая работа по подбору экспертной группы, определению методов получения и обработки информации, составлению анкет — опросников, содержательной интерпретации получаемых результатов.

Этот большой и сложный круг решаемых задач требует включения в состав группы управления высококвалифицированных специалистов как в области рассматриваемой проблемы, так и в других областях — психологии, математики, медицины, социологии.

Подбор экспертной группы обычно производится в несколько этапов. Вначале устанавливают отрасли знаний так или иначе связанные с рассматриваемой проблемой. Затем намечается список «потенциальных» экспертов, которые по своим профессиональным качествам являются специалистами в этих областях знаний. Такой предварительный отбор может быть легко произведен на основе доступной информации о профессиональной подготовке кандидата: должность, ученое звание и степень, стаж практической деятельности, количество публикаций, участие в других экспертизах.

При этом желательно, чтобы кандидат в экспертную группу имел широкий кругозор и эрудицию. Сама же группа не должна, по возможности, состоять из представителей одной отрасли или специальности, чтобы исключить влияние ведомственных интересов и не сделать получаемые результаты тенденциозными.

При формировании экспертной группы необходимо решать задачи по качественному и количественному отбору экспертов. При отборе экспертов по качественному признаку учитываются такие требования к ним, как:

• · компетентность в исследуемой области;
• · эрудированность в смежных областях;
• · объективность;
• · заинтересованность;
• · деловитость;
• · способность к выделению главного;
• · способность творчески решать задачи, метод решения которых неизвестен;
• · способность противопоставить массовому мнению свое мнение;
• · способность видеть проблему с различных точек зрения.

В ходе определения количества экспертов необходимо учитывать, что при малом их числе появляется излишнее влияние оценки каждого эксперта, а при большом числе трудно вырабатывать единое мнение и снижается роль крайнего мнения, которое не всегда может быть ошибочным.

Оптимальная численность экспертов может быть определена по формуле.

N = 0,5 (3/b + 5) человек, где b — необходимая точность экспертизы в процентах, деленная на 100, т. е. 1? b? 0.

Если в экспертизе предполагается использовать метод комиссий или другой метод открытых опросов, то состав группы экспертов должен быть однородным, чтобы исключить «давление авторитетов» .

Первоначально намеченный список кандидатов подвергается дальнейшему анализу для решения вопроса о численном составе экспертной группы, который зависит от ограничений финансового, временного и организационного характера. В окончательный список включаются те кандидаты, которые являются наиболее компетентными.

Компетентность эксперта есть степень его квалификации в определенной области знаний. Она определяется на основе анализа его профессиональной деятельности, широты кругозора по перспективам развития рассматриваемой проблемы. Использование методов отбора кандидатов в экспертную группу обеспечивает более высокую надежность экспертизы.

Процедуры опроса различаются как по форме общения с экспертом, так и по способу постановки ему вопросов. К ним относятся: индивидуальные и групповые, очные и заочные, открытые и закрытые опросы. При выборе конкретной процедуры опроса необходимо учитывать не только реальные ограничения на процесс проведения экспертизы, но и достоинства и недостатки этих процедур. Так, например, очные опросы более предпочтительнее заочных по информативности, так как позволяют исключить возможное неправильное истолкование экспертом вопросов анкеты. Более того, при заочном опросе эксперт вообще может не дать ответа на некоторые вопросы ввиду их непонимания, хотя при очном опросе это затруднение может быть оперативно устранено за счет переформулировок и уточнений поставленных вопросов. Относительно величины затрат на получение информации и исключения психологического давления на эксперта со стороны группы управления более предпочтительнее заочный опрос.

Способ постановки вопросов эксперту регламентирует определенную свободу в его ответах. Если группа управления желает получить конкретный ответ по интересующей проблеме и нет уверенности, что сам эксперт захочет дать этот ответ, как правило, используют процедуру закрытого опроса. Эта процедура предусматривает постановку перед экспертом таких вопросов, в формулировке которых заведомо содержится перечень альтернативных ответов.

Если вопрос предусматривает ответ в форме только «да» или «нет», то такой вопрос называется закрытым. Если же требуется указать один из более чем двух предлагаемых вариантов ответа, то такой вопрос называется веерным. Достоинство чисто закрытых и веерных вопросов в том, что экспертиза проводится оперативно, эксперты хорошо понимают поставленную задачу и уверенно работают, имея перед собой набор альтернативных ответов. Однако навязывание экспертам ответов исключает возможность выражения ими своего мнения в том случае, если оно не совпадает с альтернативными ответами, и снимает с него моральную ответственность за качество ответа. Поэтому процедуру закрытого опроса целесообразно использовать при анализе характера неопределенностей, выборе метода моделирования и определения типа модели, анализе полученных результатов, то есть в тех случаях, когда набор альтернатив достаточно очевиден.

Процедура открытого опроса дает полную свободу в ответах эксперта по рассматриваемой проблеме. Вопрос ставится в наиболее обшей форме, отражая лишь существо задачи. Такая процедура применяется в ситуациях, требующих нетривиального решения. По своему целевому назначению открытый опрос сходен с методом коллективной генерации идей. Недостатки этой процедуры заключаются в том, что требуются неформальные методы обработки информации и высокая квалификация экспертов.

Процедура открытого опроса, как правило, применяется в задачах формирования исходного множества стратегий, выбора показателей и критериев эффективности, прогнозирования поведения других субъектов операции и в других случаях, требующих обнаружения с помощью экспертов неясных элементов проблемной ситуации.

Для устранения недостатков каждой из рассмотренных процедур необходимо их комплексное использование. Так, например, при проведении закрытого опроса можно предоставить экспертам возможность вообще не выбирать одну из представленных альтернатив или предлагать собственный ответ на вопросы.

После получения информации от экспертов производится ее анализ и обработка с целью выявления согласованности мнений отдельных специалистов и формирования (если это необходимо) коллективного мнения. Решение последней задачи осуществляется с помощью специальных процедур, позволяющих выявить и учитывать компетентность экспертов (процедура выявления компетентности экспертов, процедура формирования группового мнения).

Этап интерпретации полученных результатов необходим для организации обратной связи в процессе экспертного оценивания.