Способы отбора экспертов из сформированного банка данных по кандидатам

Способы, основанные на использовании коэффициентов компетентности.

1) Оценивание со стороны коллег Экспертов просят указать коллег из числа уже имеющихся в банке, которых наиболее рационально привлечь для оценивания именно данного объекта.

Иногда в литературе упоминают возможность получения оценки компетентности со стороны коллег в виде некоторого балла.

Такие оценки нежелательны по следующим причинам:

• 1) оценка со стороны коллег может оказаться лишь оценкой взаимоотношения экспертов.
• 2) сама попытка взвесить компетентность эксперта неэтична как по отношению к оцениваемому специалисту, так и к оценивающему.

Кандидат в эксперты, зная, что его суждениям придают меньший вес, склонен отказаться от участия в экспертизе.

• 3) нет никаких экспериментальных доказательств, что оценки экспертов, имеющих большие коэффициенты компетентности, точнее или надежнее, чем оценки экспертов с меньшими коэффициентами.
• 2) Коэффициент компетентности как функция документальных оценок

где k — коэффициент компетентности;

— значения оценок, приписываемых эксперту за определенные документальные показатели;

— коэффициент весомости.

ГОСТ 23 554.1−79 «Эксплуатационные методы оценки качества промышленной продукции».

K = 0,4 * Kарг + 0,6 * Kсам, где.

Kарг — коэффициент аргументированности. Рассчитывается пропорционально количеству публикаций, конференций и т. д;

Kсам — коэффициент знакомства. Его эксперт назначает его себе сам.

Современная литература не советует опираться на подобные расчеты.

На включение специалиста в экспертную группу могут влиять не общие сведения о документальных показателях, а только те данные, которые относятся к объекту предстоящей экспертизы.

Опыт практической работы свидетельствует, что результативность работы эксперта значительно больше зависит от заинтересованности в результатах работы, добросовестного отношения к работе, чем от введения коэффициентов компетентности.

3) Отбор экспертов по результатам тестирования Тестирование может осуществляться следующими способами:

1. по результатам решения тестовых задач Способ целесообразно применять, когда членам экспертной группы предстоит многократно решать однотипные задачи, требующие знания правил, инструкций, юридических положений и т. д.

2. психометрическое тестирование Применяется в тех случаях, когда для участия в экспертизе требуется некоторый минимум развития психофизиологических функций, например: оценка качества дисплеев ЭВМ.

3. тестирование по результатам оценивания тестового объекта Группа уже сложившихся экспертов оценивает некоторый объект, затем оценку того же объекта проводят кандидаты в эксперты. По числу совпавших оценок судят о пригодности кандидатов для предстоящей экспертизы.

4) Отбор экспертов по результатам участия в деловых играх Успешность деятельности игрока в деловой игре фиксируют в виде некоторой суммы выигрыша. По ней судят о его способности исполнять ту или иную должность. Этот показатель может служить и для оценки его способностей исполнять обязанности эксперта.

Достоинство: Деловые игры развивают и тренируют инициативу эксперта и необходимые профессиональные навыки.

Ограничения применения метода:

• § трудно придумать деловую игру, в которой достаточно полно проявились бы все необходимые способности кандидата в эксперты;
• § не всегда специалист, успешно выступивший в деловой игре, так же хорошо проявит себя в реальной обстановке.
• 5) Использование рейтинга экспертов

В тех случаях, когда специалиста неоднократно привлекают для участия в экспертизе и есть возможность оценить степень соответствия его прошлых оценок истине, можно ввести величину, называемую рейтингом экспертов.

Изначально при включении в банк всем экспертам присваивают одинаковый рейтинг, например, 100 баллов. Если специалист участвовал в некоторой экспертизе и его оценка впоследствии оказалась соответствующей истине, то рейтинг может быть повышен.

Например, за очень хорошую оценку рейтинг возрастает на 5 баллов, а в случае хорошей оценки — на 3 балла.

Ошибочная оценка снижает рейтинг эксперта на определенное число баллов. Изменения рейтинга могут быть введены за предоставляемую экспертом дополнительную информацию (+), за отказ от участия в экспертизе (-).

Спустя некоторое время эксперты приобретают различные значения рейтинга. Дальнейший их отбор может быть проведен с учетом этой величины. Оплата работы экспертов также может зависеть от рейтинга эксперта.

Можно предусмотреть критерии отказа от дальнейшего привлечения специалиста к работе в экспертной группе (например, если его рейтинг ниже 20 баллов).

Отбор экспертов по их самооценке.

1) Самооценка по направлению Если экспертизу поступающих объектов проводят неоднократно и объекты можно разделить на направления таким образом, что экспертиза каждого направления требует привлечения особой группы специалистов, то применяют данный метод.

Организаторы подразделяют всю область возможной экспертизы на направления, и каждый кандидат в эксперты отмечает те из них, в работе по которым он хотел бы участвовать и наоборот. Эти сведения заносят в банк. При поступлении на экспертизу очередного объекта организаторы определяют направление, к которому принадлежит объект и отбирают соответствующих специалистов в экспертную группу.

Достоинства:

• § в экспертную группу попадают специалисты, чувствующие себя уверенно в отношении объекта экспертизы;
• § при условии систематической работы в экспертной группе растет квалификация специалиста как эксперта;
• § способ удобен для автоматизированного отбора экспертов в тех случаях, когда их число велико, и они разобщены территориально.

Недостатки:

• § организатор может неточно определить направления, к которым относятся представленные на экспертизу объекты; экспертная группа окажется неверно сформирована;
• § эксперты, отобранные в соответствии с оценками, полученными задолго до экспертизы, к моменту экспертизы могут изменить ориентацию своей работы и не обнаружить желания участвовать в экспертизе.
• 2) Самооценка по объекту экспертизы

Кандидатам в эксперты объявляют задачу и знакомят их с объектом предстоящей экспертизы. После этого каждый из них принимает решение, участвовать в работе экспертной группы или нет.

Этот способ лишен недостатков предыдущего способа, но труднее в реализации, так как требуется проведение опроса всех кандидатов, включенных в банк в кратчайшее время. Количество отобранных экспертов может оказаться слишком большим или малым, что потребует дополнительных мер по корректированию состава экспертной комиссии.

Способы, основанные на минимизации расхода ресурсов Всегда не хватает временных и финансовых ресурсов.

Например, для проведения экспертизы требуется отрывать экспертов от их основной деятельности и оплачивать их работу в экспертной группе или требуется вызывать экспертов из других городов (оплата командировочных). При этом организаторы выбирают прежде всего тех экспертов, которые на момент экспертизы не заняты срочной работой и тех, кто находится поближе.

Достоинство: минимизация ресурса.

Недостатки:

• § возможность появление школ;
• § из-за лимитирования кол-ва экспертов может не оказаться специалистов того или иного профиля и не может быть обеспечен всесторонний анализ объекта экспертизы;
• § результаты работы слишком маленькой экспертной группы может не вызвать доверия со стороны заказчика экспертизы.