Требования к методам экспертной оценки и эксперту

Существуют основные требования к методам экспертной оценки:

• а) должны быть однозначно сформулированы цели, предмет и область применения методики. Предмет, диагностический конструкт (концепт), должен быть сформулирован в теоретических понятиях и соотнесен на теоретическом уровне с системой релевантных концептов. Должна быть четко выделена область применения, под которой подразумевается особая социальная среда или сфера общественной практики (производство, медицина, семейная жизнь и т. п.), контингент испытуемых (пол, возраст, образование, профессиональный опыт, должностное положение). Должны быть конкретизированы цели использования результатов: для прогноза успешности профессиональной деятельности, для психологического вмешательства, для принятия правовых, административных решений, для прогноза стабильности коллектива и т. п.; инструкции по применению снабжаются указанием на требуемую квалификацию экспертов, их необходимое количество для получения надежных данных по методу независимых оценок;
• б) инструкции по применению должны пройти специальные испытания на однозначность их выполнения экспертами по отношению к некоторому эталонному набору данных (текстов, рисунков, звукоили видеозаписей и т. п.);
• в) процедура обработки результатов должна включать в себя такое документирование промежуточных этапов обработки, которое позволило бы перепроверить конечный результат другому эксперту;
• г) пользователи-разработчики должны иметь возможность воспроизвести нормативное исследование по измерению экспертной согласованности на эталонном наборе данных;
• д) головная организация должна вести банк данных, обеспечивая подготовку пользователей и их переподготовку (в соответствии с пересмотренными стандартами методики).

Любая методика, неудовлетворяющая перечисленным выше требованиям, не может считаться профессиональной психодиагностической методикой. Методики должны проходить аттестацию в рамках головных методических организаций в обязанности которых входит составление библиотек «аттестованных психодиагностических методик». Вся инструктивная литература по методикам, не прошедшим аттестацию, не может считаться пригодной для применения в практической психологии. Это не исключает возможность применения неаттестованных методик в исследовательских целях.

Общие требования, предъявляемые к эксперту Подбор конкретных экспертов проводится на основе анализа качества работы каждого из предлагаемых экспертов. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. В проблеме подбора экспертов можно выделить две составляющие — составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов. Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. Используются для этой цели разнообразные способы:

оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов;

коллективная оценка кандидата в эксперты как специалиста в данной области;

самооценка кандидата в эксперты;

аналитическое определение компетентности кандидатов в эксперты.

Однако всем этим методам присущи определенные недостатки, в том числе: отсутствие единой общепризнанной методики оценки; высокая трудоемкость оценки; возникновение проблем этического характера при использовании субъективных методов оценки.

В ходе указанной работы зачастую применяют одновременно несколько способов: самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

Независимо от избранного способа оценки качеств кандидатов эксперты должны соответствовать во всех случаях определенным требованиям. А. С. Малинин и В. И. Мухин предлагают для описания экспертов, с точки зрения оценки качества решения проблемы, использовать следующие характеристики:

профессиональная компетентность — степень квалификации эксперта в определенной области знаний, обладание компетенцией (компетенция — круг вопросов, для решения которых лицо обладает необходимыми знаниями и умениями);

наличие практического и исследовательского опыта в исследуемой области;

креативность (умение решать творческие задачи) — это способность видеть контекст (существенные по отношению к данной проблеме обстоятельства) и создавать на его основе модели необходимых изменений, т. е. разрабатывать альтернативы;

конформность — с одной стороны, способность личности к действительному преобразованию индивидуальных установок в результате внутреннего принятия позиции окружающих, которая оценивается как более объективная и обоснованная (обычно играет положительную роль), а с другой стороны, неустойчивость мнения, подверженность влиянию более авторитетных членов группы (играет отрицательную роль).

аналитичность — в широком смысле способность эксперта к анализу и самоанализу, в узком смысле — способность анализировать проблемную ситуацию, т. е. выделять в ней элементы, определять связи между ними и функциональные зависимости, что позволяет находить место рассогласования в системе и разрабатывать модели требуемых изменений;

широта мышления — это способность эксперта представлять исследуемую сущность не только в общем контексте, но и в других контекстах, формирующих новый аспект исследуемой сущности;

глубина мышления — это способность эксперта представлять максимально возможное множество аспектов исследуемой сущности именно в данном контексте;

самокритичность — способность эксперта абстрагироваться от эмоционального контекста и объективно оценивать собственную позицию.

Среди других характеристик можно назвать:

научная интуиция;

заинтересованность в объективных результатах экспертной работы;

независимость суждений;

деловитость (собранность, умение переключаться с одного вида деятельности на другой, коммуникативность, мотивированность действий);

объективность;

высокая общая эрудиция.

Для независимой экспертизы весьма важна этика поведения эксперта, прежде всего его честность, неподкупность, ответственность.

Мкртычян выделяет следующие профессионально важные качества эксперта:

Профессиональные мотивы, цели, интересы Профессиональные способности Профессиональные самосознание Профессиональный тип мышления, А также соответствующие профессиональные способности, охватывающие прежде всего сферу интеллектуальных действий эксперта:

• 1. Исследовательско-аналитические способности, обеспечивающие планирование и проведение эмпирических исследований, анализ их результатов.
• 2. Рефлексивные способности, понимаемые в данном контексте как способности к умственной реконструкции и моделирования эмпирического опыта.
• 3. Прогностические способности, обеспечивающие создание обоснованных прогностических моделей инновационного процесса и его участие в проектировании развития образовательного процесса.
• 4. Способности к диалоговому общению, взаимодействию, сотрудничеству со всеми участниками экспертного процесса.

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения.

Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные (групповые) и смешанные. Таким образом, указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное) и каждая из них имеет ряд разновидностей:

анкетирование;

интервьюирование;

дискуссия;

мозговой штурм;

совещание;

деловая игра.

В общем случае проведение экспертных работ должно соответствовать определенным правилам в зависимости от целей этих работ. К таким правилам относятся:

применение системного подхода при проведении экспертных работ;

обеспечение преемственности в проведении экспертных работ;

использование обратной связи с экспертами;

регулярное привлечение к работе экспертов;

обеспечение рационального баланса гласности и конфиденциальности экспертных работ и результатов экспертизы;

создание условий для персонификации суждений экспертов;

обеспечение условий для соблюдения экспертами полной независимости при выражении своих суждений;

создание условий для демократического проведения экспертных работ и ответственности субъектов экспертизы;

однократность проведения экспертизы.

Таким образом, экспертные методы основаны на совокупном мнении специалистов чаще в пересекающихся областях деятельности: социологии, психологии, математике, логике и т. д.