Отбор экспертов и формирование экспертных групп

Выбор эксперта или группы экспертов — одно из самых важных решений, принимаемых при организации и проведении экспертизы. Данное решение является функцией Организатора, и именно на нем лежит ответственность за компетентность экспертов и их способность должным образом выполнить задачи конкретной экспертизы. Обычно у специализированных экспертны структур (ведомственных или свободно функционирующих) имеется своя экспертная сеть, из которой эксперты выбираются дл проведения той или иной экспертизы. Для выявления специалистов, потенциально способных выступить в качестве экспертов используют различные методы отбора, которые можно разделит па три группы — методы априорные, апостериорные и тестовые.

Априорные методы оценки специалистов как экспертов не используют информацию о предыдущем опыте участия в экспертизах независимо от того, был такой опыт или нет. Среди них самым простым и самым распространенным методом можно считат рекомендацию лица, заслуживающего доверия в данном вопросе.^[1]

Помимо простой неформальной рекомендации существует формализованный метод, основанный на рекомендации и имеющий название «снежного кома». Суть данного метода состоит том, что к нескольким уже известным авторитетным специалиста в интересующей области обращаются с просьбой назвать тех, тог они могут порекомендовать в качестве экспертов. К названны лицам обращаются с гой же просьбой и на основе их ответов, исключая возникшие повторы, формируется новый список. К специалистам из этого списка вновь обращаются с той же просьбой Процедура повторяется до тех пор, пока в списке перестанут появляться новые имена. Полученный список с большой вероятностью составит полный перечень потенциальных экспертов в данной области и в дальнейшем из него можно проводить выборк нужного числа экспертов уже другими способами^[2].

Самым простым и поэтому самым ненадежным является так называемый способ объективной оценки компетентности (ил документационный) — отбор по объективным документальны данным. Основными признаками такого отбора могут быть уровень и характер образования, род занятий, место работы и должность, стаж работы по данному профилю и пр. В качестве дополнительных признаков используются: количество публикаций, индекс цитирования, участие в значимых проектах, возраст и пр Такой метод позволяет получить необходимые объективные сведения о потенциальных экспертах, но не позволяет избежать значительной формальности подхода, что может повлечь за собо ошибки выбора экспертов.

Преодолеть этот недостаток можно на основе использования метода самооценки компетентности, когда оценку себе выставляют сами потенциальные эксперты. Процедура предусматривает самооценку по определенному набору критериев и по заданной шкале (балльной, вербально-балльной или вербальной). В качестве таких критериев можно использовать основные профессиональные качества (знания, опыт, навыки, интуиция) личностные характеристики (интеллект, креативности, принципиальность, контактность), которыми должен обладать эксперт. Дл оценки этих критериев может быть выбрана, например, ранговая вербальная шкала: «высокий» — «средний» — «низкий уровень» (в числовом выражении это будет соответствовать: 1; 0,5; 0).

Например, для самооценки используются три критерия «знания», «опыт», «способность предвидеть события» Эксперт сам оценивает себя по указанным критериям, затем рассчитывается совокупный коэффициент по формуле:

где Кзос — коэффициенты самооценки по соответствующим критериям; К — комплексная самооценка специалиста

Для того, чтобы специалист мог рассматриваться в качестве эксперта, его комплексная самооценка должн быть выше 0,5 баллов⁴'.

В качестве других критериев могут использоваться «знакомство с источниками информации по проблеме» (отечественные, зарубежные, патентные и лр.), «уровень знания объекта экспертизы» (знание нормативной правовой базы, статистических, социологических, аналитических данных и пр.).

Методы самооценки, с одной стороны, дают положительный результат, поскольку никто лучше самого эксперта не представляет совокупности знаний и опыта, которыми он обладает. С друго стороны, человек склонен ошибаться, оценивая собственные возможности, и давать субъективные оценки.

Более надежные результаты предварительного оценивания дают взаимооценки экспертов, получаемые с использованием метода экспертных таблиц (или метода списков). Суть метода состоит в том, что формируется группа специалистов, каждому и которых предлагается указать, кого в этой группе он оценивае как потенциального эксперта. Процедура оценивания проводитс в два этапа. На первом определяется, сколько раз каждый чле группы был назван «экспертом» другими членами. На основе это информации формируется таблица № 1 (табл. 4.2).

Число полученных голосов далее рассматривается как «весовой коэффициент» эксперта и составляется таблица № 2 уточненных взаимных оценок, в которой каждому поданному за эксперта^[3]

голосу придается вес проголосовавшего. Эта процедура позволяет проранжировать специалистов по их экспертным качествам^[4]В (табл. 4.3).

Таблица 4.2

Оценочная таблица № 1

Таблица 4.3

Оценочная таблица № 2

В рассмотренном в таблицах 4.2 и 4.3 условном примере взаимную оценку друг другу дают 5 специалистов, которые в ходе голосования получают от 4 до 1 голоса в подтверждение своей значимости как эксперта, при этом 2 специалиста получили по 3 голоса, т. е. их первая оценка была одинаковой. Далее число полученных голосов используются в качестве весового коэффициента каждого эксперта, например, эксперт 1 получил 2 голоса — его весовой коэффициент равен 2, поэтому данные им оценки умножаются на 2 и т. д. Откорректированные таким образом высказывания сумме дают более обоснованную оценку каждого эксперта которую можно рассматривать как ранговую оценку компетентности. При этом два эксперта, получившие на первом этапе по 3 голоса, на втором приобрели разные ранговые оценки.

При более сложном методе взаимооценки эксперты могут не ограничиваться составлением ранжированного списка, но и указывать, например, степень знакомства экспертов с объектом экспертизы (на этом основан «метод подпроблем»). При явной полезности метода взаимных оценок у него есть существенный недостаток, состоящий в том, что участвующие специалисты должны достаточно хорошо знать друг друга.

Апостериорные методы основаны на оценке результатов участия эксперта в предшествующих экспертизах. Этими методами можно воспользоваться лишь при неоднократном участии эксперта в экспертизе.

Самым распространенным методом этой группы является учет у каждого эксперта отношения успешно проведенных экспертиз к их общему числу. Проблема, однако, состоит в том, чт считать успешной экспертизой. Один из критериев успешност связан с достоверностью оценок, высказываний, предположени или прогнозов эксперта. На этом основана оценка достоверност суждений — в качестве критерия достоверности рассчитываетс относительная частота случаев, когда оценки эксперта впоследствии подтверждались реальными событиями.

Например, оценку достоверности суэ/сдений моэ/сет сделать каждый читатель аналитического журнал «Власть», где периодически публикуются ответы эксперто финансового рынка на вопросы: какими будет курс рубля темпы инфляции, мировые цены на нефть, курс доллара евро через год, полгода, в течение месяца. Взяв в руки журнал через соответствующий отрезок времени, можно оценить достоверность суэ/сдений интересующего нас эксперта.

Если экспертиза была основана на получении от группы экспертов некой общей результирующей оценки, то каждый участник может быть оценен по отклонению своей индивидуальной оценк от результирующей. Данный метод оценки качества эксперто основан на расчете коэффициента отклонения. Но пользоватьс этим методом нужно с осторожностью, потому что иногда именн отклоняющиеся мнения и оценки являются верными.

Оценка компетентности эксперта может быть проведена на основе результатов парных сравнений, сделанных им в ходе реальной экспертизы. При выборе парных предпочтений у эксперто часто возникают противоречивые высказывания (например, когд парами сравниваются три объекта А, В, С и, по мнению эксперта объект, А предпочтительнее объекта В, объект В — объекта С, а Собъекта А, что нелогично. При экспертизе могут использоваться более длинные цепочки сравнений, приводящие к противоречию Естественно что, чем меньше противоречий в суждениях эксперта тем более компетентным он считается.

В целом оценка эффективности работы эксперта в составе группы обязательно должна проводиться, так как, обладая весомыми знаниями и опытом, эксперт может недостаточно четко понимать цели и задачи экспертизы, содержательный смысл необходимых оценок, может нечетко аргументировать свои суждения проявлять противоречивость оценок при сравнении объектов экспертизы и т. д.

Тестовые методы ориентированы на установление профессионального уровня и определение навыков и опыта, необходимых для эффективного участия в экспертной деятельности, а также наличие соответствующих личностных качеств эксперта.

Тестирование как стандартизированная методика измерения различных свойств, характеристик, состояний личности широк применяется в образовании, психологии, медицине и пр. Тес представляет собой серию относительно кратких испытаний (вопросов, задач, ситуаций), результаты выполнения которых являются индикаторами исследуемых свойств. Применительно к процедуре отбора экспертов могут быть использованы тесты достижений (измерение профессиональных знаний, умений и навыков) тесты интеллекта (определение уровня интеллектуального развития и выявление особенностей структуры интеллекта), тесты личности и пр. Тестовые методы могут использоваться как в априорном, так и апостериорном режиме.

В качестве априорного варианта рассмотрим тестовое оценивание профессионализма эксперта. Степень профессионального знакомства эксперта с объектами экспертизы проявляется в «чувствительности» его оценок. Эксперт, глубоко знакомый объектами экспертизы, различает при их оценке больше тонкостей, нюансов, чем осведомленный более поверхностно. Для определения степени профессионализма экспертов формируется тестовый набор объектов экспертизы, обладающих различной интенсивностью оцениваемого экспертами свойства (например, уровен конфликтности или политической/элскторальной активности социальных групп и пр.). Эксперты ранжируют предложенный набор объектов по интенсивности оцениваемого свойства, относя одному рангу (в одну группу) объекты с одинаковой интенсивностью. Степень «чувствительности», осведомленности эксперта определяется либо сопоставлением указанного им ранжирования эталонным, либо — с ранжированиями других участников тестирования. При этом значение имеет не только выделенное эксперто количество рангов, но и упорядоченность объектов по интенсивности оцениваемого свойства.

Тесты на воспроизводимость экспертных оценок основаны на том, что стабильное воспроизведение одних и тех же оценок говорит о профессиональной компетентности эксперта и его пригодности к экспертной работе (например, числовые оценки сравниваются их разностью, ранжирования или классификации — мерой близости). Тестовые проверки, с помощью которых определяется воспроизводимость оценок эксперта, должны отстоять дру от друга на время, в течение которого эксперт забудет результат предшествующего тестирования.

С помощью психологических и интеллектуальных тестов могут быть установлены личностные характеристики эксперта.

Следует отметить, что не существует единой общепризнанной методики оценки качества экспертов и их пригодности для участия в конкретной экспертизе. Целесообразность применени существующих методов зависит от условий и задач экспертног оценивания. Эти же факторы определяют количество экспертов привлекаемых к работе.

• [1] hllp://wwv.golden IO.ru/prqjects/ige html
• [2] Теория прогнозирования и принятия решений — М.: Высшая школа, 1977.-С. 151.
• [3] Основы прикладной социологии. Учебник для вузов.- М.: Интерн раке. 1996.-С. 64.
• [4] Основы прикладной социологии: Учебник для вузов — М.: Ингерпракс, 1996.-С. 65−66.