Способы получения экспертных оценок и пути повышения их точности

Эксперты, количественно оценивающие уровень профессиональной эффективности штатных работников, используют балльные шкалы (с градацией шкал от 5 до 7). Если градаций меньше 5, то возникают трудности в различении работников по успешности; если градаций больше 7, то возникают трудности в работе экспертов, снижающие точность оценок.

Наряду с дискретными балльными шкалами, используют также графические шкалы, когда эксперт имеет возможность выбрать плавный, непрерывный количественный показатель оцениваемого феномена.

Разработаны технологии работы экспертов, повышающие точность их оценок. К ним относятся шкалы рейтинга поведения и шкалы наблюдения за поведением.

Разработка шкал рейтинга поведения включает следующие этапы [3, с. 58]:

• 1) выявление профессиональных задач и ситуаций (в процессе психологического анализа профессии);
• 2) описание форм поведения, характеризующихся как хорошее, среднее и плохое выполнение данной работы;
• 3) конкретным формам поведения присваивают численные показатели в порядке уменьшения значения (10 — отличное поведение… 1 — очень плохое);
• 4) устраняют те формы поведения, по поводу которых у экспертов возникает много разногласий;
• 5) шкала поведения упорядочивается таким образом, чтобы она отражала весь значимый спектр поведения.

При разработке шкал учитывается мера согласия экспертов в отнесении данного утверждения к разным категориям. Для 7-балльных шкал разность между квартилями распределения не должна превышать 1,5 балла (для 9-балльной шкалы — 2 балла).

Когда шкала оценки поведения подготовлена, эксперты отмечают по ней утверждения, которые правильно характеризуют данного субъекта. Затем балльные оценки по совокупности суждений суммируются, это и есть интегральный показатель профессиональной успешности каждого работника [13].

Шкалы наблюдения за поведением строятся на основе метода наблюдения и последующего ранжирования работников по степени их профессиональной успешности (пригодности). Порядок работы таков:

• 1) составляется список группы по алфавиту;
• 2) выбирают субъекта с максимальной эффективностью и присваивают ему ранг 1, его фамилия вычеркивается и заносится в новый список;
• 3) выбирают субъекта с минимальной эффективностью (ранг = п, где п — число лиц в группе), его фамилия вычеркивается;
• 4) из оставшихся выбирают субъекта с максимальной эффективностью, присваивают ему ранг 2 и т. д.

Процедура продолжается до тех пор, пока не будут проранжированы все члены группы. Таким образом, все члены рабочей группы оказываются оцененными по эффективности.

Используется также способ ранжирования работников по эффективности методом парных сравнений. При этом каждый субъект сравнивается с каждым другим, входящим в группу, и указывается, кто из них имеет большую профессиональную эффективность (пригодность). Далее подсчитывается количество нар, в которых было отмечено преобладание данного субъекта, и по этому показателю ему присваивается ранг. Максимальное количество пар (N) устанавливается по формуле.

где п — численность группы.

Необходимо учитывать также следующие наиболее типичные ошибки экспертов:

• • эффект ореола: человеку, получившему высокую оценку по какому-либо параметру, присваивают и далее уже незаслуженно высокие оценки по другим параметрам;
• • эффект снисходительности: эксперт склонен всегда давать завышенные оценки;
• • ошибка центральной тенденции', эксперт склонен использовать средние оценки, избегая крайних показателей;
• • эффект контраста, эксперты оценивают не сами показатели компетентности человека (по отношению к некоторому установленному требуемому уровню), но показатели оцениваемого человека по отношению к окружающим его людям [3].

Для повышения точности работы экспертов следует подбирать экспертов, учитывая их компетентность; специально обучать их по возможности четко и однозначно определять особенности субъекта, подлежащие оценке; использовать мнение не одного, а нескольких экспертов; оценивать всю группу работников поочередно по каждому свойству, а не по всем свойствам сразу [13].

Описанные техники получения количественных показателей эффективности профессионального труда могут потребовать трудоемкого исследования в том случае, если продукт труда четко не задан, работник выполняет в разное время различные функции, отмечается низкий уровень регламентации способов работы. Также принципиально невозможно получить четкие количественные индикаторы эффективности труда, если обследуемый вид работы, по сути, трудом не является, если это скорее псевдотрудовая деятельность.

Накопленный в индустриальной психологии опыт изучения, анализа реальных форм профессионального поведения и оценки его эффективности используется в современной практике применения ситуационно-поведенческих тестов, в разработке моделей профессиональных задач для решения вопросов аттестации уже работающего персонала и прогнозирования будущей эффективности кандидатов на вакансии (см. гл. 11−12).

Прогнозирование профессиональной пригодности носит, как правило, вероятностный характер и рассчитано на небольшой период времени (от двух до пяти лет). Это обусловлено тем, что успешность профессиональной деятельности человека определяется многообразием факторов, связанных с самим работником, а также изменчивостью объективной трудовой ситуации.

Еще в 60-е гг. XX в. были намечены этапы разработки системы психологического прогноза успешности деятельности работников [8], которые и в наше время сохраняют свою актуальность:

• 1) психологическое изучение профессиональной деятельности, направленное на построение психограммы успешного работника (включающей перечень желательных ПВК, а также возможных медицинских и психологических противопоказаний);
• 2) подбор существующих (или разработка новых специализированных) методов психодиагностики (психологических тестов) для каждого ПВК из намеченного перечня;
• 3) разработка количественных критериев оценки ПВК у обследуемых с помощью каждого психологического теста, а также количественных критериев оценки эффективности их труда;
• 4) разработка правил преобразования исходной информации при тестировании по частным методикам в интегральную диагностическую оценку успешности испытуемого (по психологическому тестированию);
• 5) определение психометрических показателей пригодности разработанной системы психологического прогнозирования успешности деятельности.

В практике психологического прогнозирования профессиональной пригодности наряду с методами, моделирующими профессиональные задачи и ситуации, используются психодиагностические методы, имеющие широкое прикладное значение. К ним относятся методы психологического обследования (исследования пространственных представлений, характеристик зрительного восприятия — остроты зрения, глазомера, цветового различения и пр., исследования памяти, мышления, психомоторики, свойств личности, темперамента, мотивационной сферы, психических состояний, профессиональных интересов и склонностей), методы изучения межличностных отношений и групповых процессов, методы психодиагностики состояния здоровья и акцентуаций личности, других личностных характеристик [5].

Психометрической оценке методов прогнозирования профпригодности посвящена гл. 11 настоящего пособия; технология центров оценки как наиболее адекватная для аттестации и прогнозирования успешности менеджеров разного уровня представлена в гл. 12.

Выводы

Технологии профотбора персонала базируются на концепциях, описывающих и объясняющих связь эффективной профессиональной деятельности работника и субъектных факторов, оказывающих на результаты труда существенное влияние. От психологов, занятых данной проблемой, требуется умение оценивать социально ожидаемый продукт и профессиональную эффективность в любом виде труда.

Современные концептуальные психологические модели профотбора интегрируют влияние на эффективность труда многих качеств его субъекта. Среди них — личностные свойства, черты характера, задающие отношение к труду, обществу, государству, конкретной профессии; мотивы и ценностные ориентации; состояние физического и психического здоровья; совокупность способностей, склонностей, знания, умения, навыки, готовность к труду, трудовая воспитанность личности и пр.

Технологии профессионального отбора основываются на современных психологических теориях деятельности, субъекта, личности, сознания, саморегуляции, на концепциях дифференциальной психологии и тестологии.

Практика профессионального отбора зависит от социально-экономических условий жизни общества; предполагается, что количество кандидатов превышает число вакансий на рынке труда; при этом труд осуществляется в условиях заключения договора найма, исключающих внеэкономическое принуждение, реализуется в условиях демократического общества, осуществляющего защиту и контроль прав как работающих, так и интересы работодателя, организации, общества в целом.

Практика участия психологов в процедурах аттестации кадров и психологического профессионального отбора в настоящее время признана и принята в цивилизованных странах мира, включая Россию, и представлена как в силовых структурах, так и во всех других организациях общества, производящих социально ценные продукты.