Процедуры и механизмы отбора экспертов в сфере образования

Существующие процедуры и механизмы отбора экспертов и экспертных организаций

Выбор экспертов представляет собой весьма непростую проблему. В определенном смысле экспертный способ решения того или иного вопроса опирается не на наиболее распространенные суждения, а на более компетентные. Есть носитель информации, а есть — компетентный специалист. Именно последний может обладать качеством экспертности — способности выполнять функции эксперта. При этом, чтобы претендовать на статус эксперта, специалисту, кроме собственно профессиональной компетентности, необходимы также и другие качества: авторитетность, практический опыт по обсуждаемым вопросам, способность и готовность давать содержательную экспертную информацию и т. д. [18].

Вообще оценка качества эксперта — очень тонкий и сложный вопрос, не имеющий однозначного ответа. Если ответ на вопрос, как подобрать эксперта для проведения той или иной экспертизы, кроется в списке экспертных задач и квалификационных требований к эксперту, то вопрос о качестве выполнения экспертом работ остается на данный момент без ответа. В ситуации квалификационной экспертизы, осуществляемой на основе стандартизированных норм, критерием может являться количественное отношение правильных суждений и ошибок [29].

Поскольку результат экспертизы напрямую зависит от уровня компетентности специалистов, задействованных в ней, необходимо правильно организовать отбор. Таким образом, для проведения экспертизы должны быть отобраны высокопрофессиональные специалисты, хорошо знакомые с соответствующей предметной областью, обладающие достаточным опытом, способные выносить обоснованные объективные суждения и адекватно оценивать значимость множества критериев и показателей используемых оценочных систем [31].

Многие задачи, связанные с поиском экспертов, предполагают нахождение ответов на следующие вопросы [32]:

• — кто обладает требуемыми компетенциями для решения данной задачи?
• — кто обладает смежными и дополнительными компетенциями по отношению к решению задачи?
• — какими компетенциями обладает данный эксперт?
• — какой у эксперта эмоциональный и креативный потенциал? и т. д.

Таким образом, поиск экспертов можно рассматривать как комплексную задачу, состоящую из нескольких этапов [45]:

• 1. формирование запроса (определяется, какие компетенции нужны для решения задачи и стратегия поиска);
• 2. выявление экспертов, в процессе которого происходит выделение экспертов, ранжирование экспертов;
• 3. подбор экспертов, в процессе которого определяются те эксперты, которые наилучшим образом отвечают потребностям. Т. е. из списка потенциальных экспертов выбираются с высоким рейтингом, учитывается доступность эксперта, решаемые им текущие задачи.

Например, в работах [22,40] выделены следующие подходы к привлечению экспертов к участию в экспертизе:

• 1. Метод назначения: минимальные затраты на подбор экспертов, однако нарушается принцип добровольного участия.
• 2. Социометрический метод: обеспечение потенциальной возможности участия в экспертизе всех по социометрическому критерию отбора, связанному с проблематикой экспертизы.
• 3. Метод анализа «следов деятельности»: публикации, цитирование, участие в экспертизе.
• 4. Подбор экспертов для проекта в единой базе данных. Принципы наполнения базы данных: анализ профессионального опыта в рамках биографии; социальный статус; уровень развития компетенций; опыт участия в экспертизе.

Следует отметить, что процедуры отбора экспертов должны основываться на комбинации различных методов.

В зарубежных документах [48,56,57] отмечено, что при проведении процедур отбора экспертов необходимо учитывать следующие условия:

Members must be independent and in a position to make unbiased judgments. Any possible conflict of interest must be disclosed.

The selection criteria for experts must be established and published.

The selection should be made by the relevant authority and not by the group of experts themselves.

Members must be committed to treat all material and findings as strictly confidential.

Таким образом, при отборе экспертов следует обратить внимание на следующее:

• 1. Критерии отбора экспертов должны быть понятны и доступны;
• 2. Отбор экспертов должен проводиться не самой группой экспертов, а компетентными людьми, имеющих независимость;
• 3. Отбор экспертов должен проходит конфиденциально.

Вся процедура отбора экспертов для привлечения к процедурам контроля (надзора) в рамках исполнения переданных полномочий Российской Федерации в области образования состоит из двух этапов [35].

На первом этапе происходит получение и обработка информации об эксперте, позволяющей определить его соответствии критериям отбора: прохождение аттестации экспертом, включение сведений об эксперте в реестр свидетельств.

На втором этапе происходит непосредственный отбор экспертов: принимается решение о необходимости привлечения экспертов к проведению конкретной проверки данного определенного образовательного учреждения; проводится отбор экспертов, соответствующих установленным критериям отбора, с использованием реестра свидетельств об аккредитации путем случайной выборки; уточняется согласие экспертов на привлечение к проверке, наличие/отсутствие обстоятельств, препятствующих привлечению к проверке; заключается с экспертом гражданско-правовой договор; готовится проект приказа о проведении проверки.

По второму параграфу первой главы данной работы можно сделать вывод, что оценка компетентности специалистов центральная задача экспертного отбора, которая вызывает наибольшие разногласия у исследователей. В литературе описываются два подхода к этой задаче.

Первый подход — априорный — состоит в оценке компетентности до начала экспертизы и нацелен, собственно, на выбор экспертов и формирование экспертных групп.

Для измерения компетентности применяются следующие основные методы: самооценка специалистов, их взаимная оценка, судейский метод, документальный метод, тестовый метод. Результаты их использования зависят от личных свойств людей, симпатий и антипатий, скромности и самоуверенности и т. д.

В работах [23,24] указано, что методы отбора экспертов сводятся к двум основным подходам: объективному и субъективному. Первый предполагает использование организаторами исследования специальных методик отбора, второй — привлечение к процедуре отбора самих потенциальных экспертов либо научной общественности, из среды которой они отбираются.

Объективный подход имеет, в свою очередь, два варианта — документальный и экспериментальный. Документальный метод [23,24,31] предусматривает подбор экспертов на основе анкетных и социально-демографических данных (ученая степень, звание, должность, стаж работы по специальности и в области, связанной с предметом исследования и т. д.). В комплектовании групп экспертов могут учитываться также, пол, возраст и другие социально-демографические показатели. «По существу для определения компетентности экспертов только документальный метод может быть использован при разработке методики количественной оценки компетентности экспертов» Найда А. А. Разработка методики количественного опредления уровней компетентности экспертов // Межотраслевая информационная служба. — 2007. — № 1 — с. 19−29.

Когда проводят документальный метод оценки компетентности по таким фактическим данным, как число публикаций, участие в конференциях и экспертных комиссиях, рабочий стаж, владение иностранными языками, ученая степень/звание и т. д., то он по существу естественным образом дополняет информацию об эксперте, используемую при самооценке, и как бы обусловливает необходимость «повышения документальности» этой информации. Другими словами, чем большее число ответов эксперта на вопросы анкеты могут быть подтверждены им документально, тем более объективной окажется итоговая оценка его компетентности. Однако применяя документальный метод, нужно иметь в виду следующее: большая часть факторов, влияющих на документальную оценку, в той или иной степени уже учитывается при взаимооценке и других частных оценках; влияние факторов документальности зависит от области работы эксперта.

Экспериментальный метод [23,24,31,36] проводится на основе испытания, тестирования кандидата в эксперты либо по результатам эффективности его прежней экспертной деятельности. Оба методических приема требуют большой деликатности по отношению к будущему эксперту. Так, тестирование не всегда приемлемо с этической точки зрения. Проверка же эффективности рекомендаций кандидата по опыту его прежней работы фактически означает неформальную аттестацию специалиста. Поэтому оба приема должны носить, скорее, вспомогательный характер, применяться в сочетании с документальным подходом и другими приемами.

Тестовый метод заключается в проведении испытаний, в ходе которых оцениваются особенности эксперта, от которых зависит его качество. Обычно тестируются два критерия: владение профессиональной лексикой и уровень информативности по решаемой проблеме.

Таким образом, с помощью тестов оценивают такие свойства экспертов, как квалиметрическую и профессиональную компетентность.

При разработке и применении тестовых заданий следует соблюдать ряд требований:

эксперт должен ясно понимать постановку тестовой задачи и условия, которым должно удовлетворять ее решение;

вероятность случайного угадывания решения задачи должна быть близка к нулю и задача должна иметь точное решение;

должна быть обоснована близость тестовой задачи и тех реальных задач, которые приходится решать эксперту.

Всегда можно поставить под сомнение утверждение типа: «чем старше специалист и чем больше у него публикаций, тем он лучше как эксперт». Зато трудно оспорить то, что тщательно проверенный на какой-то задаче человек будет примерно также решать и аналогичную задачу. Важно только обеспечить тщательность проверки и сходство тестовой и реальной задач [36].

Таким образом, тестовый метод ставит задачу оценки компетентности наиболее верно — для того, чтобы судить о пригодности специалиста, надо его проверить на деле. Однако, данный метод требуют большой деликатности по отношению к будущему эксперту. Так, тестирование не всегда приемлемо с этической точки зрения. Кроме того, валидность и надежность тестов нередко вызывает сомнения.

Субъективный подход также распадается на несколько приемов. Один из них — аттестация [22,30,31], когда подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы с отводом тех из них, кто не набрал определенного минимума голосов. Здесь могут использоваться методики с расширяющимися кругами экспертов в несколько туров. В первом туре круг экспертов составляет списки кандидатов в эксперты. Туры повторяются до тех пор, пока состав кандидатов в эксперты не стабилизируется. Затем проводится расчет коэффициентов компетентности экспертов в зависимости от числа включений в списки.

Другой прием — метод взаимной оценки [22,30,31] будущих экспертов — является по существу разновидностью первого со всеми его особенностями и ограничениями.

Третий прием — метод самооценки [22,30,31] степени компетентности и объективности.

Самооценка субъективно зависит от текущего момента в профессиональной деятельности и заключается в ответах на вопросы:

Насколько вы информированы?;

В решении каких задач Ваша эффективность проявились бы лучше всего?;

Проранжируйте свои сильные и слабые стороны и т. п.

Отвечая на вопросы, кандидаты оценивают свою осведомленность, эрудицию в области предмета исследования, критичность своих оценок по определенной шкале. В последующем может производиться расчет средних значений каждого кандидата и суммарная сфера компетентности экспертов. Здесь, правда, имеется опасность неадекватности данных в виде завышенных самооценок.

Таким образом, ни один из перечисленных методов и приемов не может служить «универсальной отмычкой» в решении вопроса об отборе экспертов и что методика такого отбора должна базироваться на сочетании различных приемов.

Второй подход — апостериорный — заключается в определении компетентности по результатам экспертизы и нацелен на учет компетентности при обработке данных опроса и на отбор экспертов для будущих экспертиз.

Самый простой метод оценки компетенции эксперта — это вычисление среднеарифметического значения компетенции по результатам проведенных экспертиз. Таким образом, накопление всей истории экспертиз, проведенным конкретным экспертом, позволит сформировать объективную оценку его компетенции. Также можно отметить, что показателями компетентности могут служит экспертные заключения эксперта, так как «a well written expert report can enhance the credibility of an expert and shorten trial testimony, as well as being advantageous in efforts to resolve a case prior to trial. …, it is useful if the expert is able to write a good report without a lot of assistance"Robin J. Harper. Selecting your expert: criteria to determine the «right» expert for your case. Legal Education Society of British Columbia, 2009.

Следует отметить, что вопрос об оценке компетентности экспертов сложен, а «успешность участия в предыдущих экспертизах — хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т. е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций…), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять"Орлов А. И. Менеджмент. М., 2003. .

Таким образом, отбор экспертов следует проводит с помощью следующих инструментариев:

1. Анкетирование.

Для полноценного определения соответствует ли эксперт установленным критериям или нет недостаточно сведений, содержащихся в заявлении об аккредитации, и копий документов об образовании и стаже работы. Необходимо получить расширенную информацию о профессиональных качествах и достижениях эксперта, которая позволила бы осуществить надлежащий отбор экспертов в соответствии с разработанными критериями. В связи с этим, после прохождения процедуры аккредитации эксперта и вручения свидетельства об аккредитации, эксперту предлагается заполнить анкету. Анкета позволяет собрать информацию об эксперте в соответствии с разработанными критериями отбора. Здесь необходимо учитывать Федеральный закон № 294-ФЗ и основной нормативный правовой акт, регулирующий защиту, сбор и обработку персональных данных Федеральный закон от 27 июля 2006 г. № 152-ФЗ «О персональных данных», также такие нормативные правовые акты, как Постановление Правительства РФ от 16 марта 2011 г. № 174 «Об утверждении Положения о лицензировании образовательной деятельности», где устанавливается специфика привлечения экспертов.

Например, ст. 7 Федерального закона № 152-ФЗ гарантирует конфиденциальность персональных данных. Таким образом, любые сведения об эксперте попадают под эту категорию. Данные обстоятельства следует иметь в виду при разработке процедур привлечении экспертов и их оценке на соответствие предъявляемым требованиям.

Анкета должна предусматривать предоставление экспертом следующей информации:

• — о наличии конфликта интересов эксперта с возможными объектами государственного контроля (надзора), лицензионного контроля;
• — о прохождении повышения квалификации и (или) профессиональную переподготовку по вопросам осуществления государственного контроля (надзора) в сфере образования;
• — об опыте участия в работе экспертных комиссий лицензирующих органов по лицензированию образовательной деятельности, аккредитационных комиссий по проведению аккредитационной экспертизы;
• — о признании профессиональным сообществом, в частности, о наличии публикаций за последние пять лет в периодических изданиях по вопросам, относящимся к осуществлению государственного контроля (надзора) в сфере образования, о включение эксперта в действующие экспертные, общественные советы, комиссии, рабочие группы федеральных органов исполнительной власти, органов исполнительной власти субъектов Российской Федерации, осуществляющих управление в сфере образования либо функции по контролю и надзору в сфере образования, об осуществление экспертом преподавательской работы в системе высшего профессионального либо дополнительного профессионального образования по проблемам, относящимся к осуществлению государственного контроля (надзора) в сфере образования;
• — о рекомендациях, характеризующих профессиональные компетенции эксперта, от региональных, региональных отраслевых, межрегиональных (отраслевых, межотраслевых), общероссийских (отраслевых, межотраслевых) объединений работодателей, по основному месту работы эксперта.

Содержание вопросов анкеты также должно предоставлять следующую информацию: индивидуальную (пол, возраст); сведения об образовании, профессиональном опыте; сведения о ключевых знаниях, умениях и навыках в сфере образования; сведения о мотивах работы и оценки качества в области образования; сведения о поручителях.

Следует отметить, что формирование анкеты, позволяющей адекватно оценить компетентность эксперта, и как следствие этого, образования группы экспертов с высоким уровнем профессиональной пригодности является целью, стоящей перед организаторами любой экспертизы [16].

2. Тестирование.

Тестирование позволяет выявить уровень свойств кандидата в эксперты. Существуют следующие виды тестов: мотивационные, профессиональные, личностные (социальные навыки, особенности поведения, способность к адаптации к новому виду деятельности).

Тестирование проводится с целью проверки уровня и качества теоретической подготовки эксперта для решения профессиональных задач в рамках проведения государственного надзора за соблюдением законодательства Российской Федерации в области образования, государственного контроля качества образования, лицензионного контроля. Содержание тестирования определяется в зависимости от видов деятельности, по которым эксперт прошел аккредитацию. Таким образом, набор тестовых заданий должен соответствовать виду деятельности, к которому привлекается эксперт.

Таким образом, с помощью тестов необходимо оценить такие свойства экспертов, как уровень информативности по решаемой проблеме и профессиональная компетентность.

3. Собеседование.

Устное собеседование может рассматриваться как единственная либо дополнительная (к тестированию) форма отбора. В последнем случае к устному собеседованию допускаются эксперты, успешно сдавшие тестирование.

В отличие от тестирования для проведения устного собеседования необходимо создать аттестационную комиссию, поскольку в данном случае будет производиться содержательная оценка профессиональных компетенций эксперта. Состав комиссии должен быть не менее трех человек.

Устное собеседование проводится с целью выявления наличия у эксперта практических навыков и умений по проведению мероприятий по соответствующему виду деятельности: государственному надзору за соблюдением законодательства Российской Федерации в области образования, государственному контролю качества образования, лицензионному контролю.

Устное собеседование проводится путем непосредственного общения эксперта и членов комиссии. Устное собеседование должно включать в себя доклад эксперта о его функциональных обязанностях в рамках проведения какой-либо конкретной процедуры в рамках тех или иных мероприятий по государственному контролю (надзору) в сфере образования. Доклад эксперта может сопровождаться соответствующими вопросами членов комиссии, направленными на выявление умения эксперта решать те или иные практические вопросы и ситуации, возникающие в ходе данного мероприятия.

Таким образом, за время собеседования необходимо получить представление о манере поведения, личных качествах, интеллекте, чувстве ответственности, коммуникативных навыках эксперта.

Следует отметить, что вышеизложенные инструментарии практически соответствует процедуре assessment center, который является методом комплексной оценки персонала, основанный на использовании взаимодополняющих методик, ориентированный на оценку реальных качеств сотрудников, их психологических и профессиональных особенностей, соответствия требованиям должностных позиций, а также выявление потенциальных возможностей специалистов [63].

Состав процедур аssessment center может варьироваться. Чаще всего данная процедура состоит из трех основных блоков:

• 1) Анкетирование и тестирование;
• 2) Собеседование;
• 3) Деловые игры (моделирующие упражнения).

Таким образом, при отборе экспертов целесообразно добавить блок «деловые игры».