Обсуждение результатов. 
Валидность моделей личности в практике оценки

В нашем исследовании нам удалось ответить на главный вопрос — какая модель личности наиболее валидна в практике оценки персонала и измерения эффективности работы. Этой моделью оказалась CPI — California Psychological Inventory.

Данная модель была разработана как определенный аналог MMPI, но для практики работы не в клинических случаях, а для выборок людей без психиатрических отклонений. Наиболее распространенная в исследованиях версия опросника включает в себя 434 пункта, некоторая часть которых напрямую позаимствована из MMPI (Gough, 1987). Методика построена по нормативному типу, и достаточно длительна по времени.

Попробуем проанализировать содержание методики. В ней выделяется 18 показателей (факторов), сгруппированных в 4 типа: 1) измерение уравновешенности, властности, уверенности в себе и межличностной адекватности; (2) измерение социализации, ответственности, внутриличностных ценностей, и характера; (3) измерение потенциала к достижениям и интеллектуальной эффективности; (4) измерение типов интеллектуальной активности и интересов (Gough & Bradley, 1996). Три фактора из 18 выполняют роль служебных показателей. Также существует так называемая Folk Concept Scales для этой модели, где выделяется 20 факторов: доминантность, потребность в статусе, коммуникабельность, социальность, принятие себя, независимость, эмпатия, ответственность, социализация, самоконтроль, чувствительность, общественность, самочувствие, толерантность, конформность, склонность к достижениям, интеллектуальность, открытость, гибкость, маскулинность (в оригинале — Dominance, Capacity for Status, Sociability, Social Presence, Self-acceptance, Independence, Empathy, Responsibility, Socialization, Self-control, Good Impression, Communality, Well-being, Tolerance, Achievement via Conformance, Achievement via Independence, Intellectual Efficiency, Psychological-mindedness, Flexibility, and Femininity/Masculinity). Модель слабо представлена в РФ, особенно с сфере работы с персоналом.

Исходя из содержания модели сложно выдвинуть предположения, почему именно она оказалась наиболее связанной с показатели эффективности работы. Можно лишь рекомендовать ее более глубокое изучение в рамках этих задач. Тем не менее, она содержательно отличается от других моделей, и в этом может быть ее преимущество.

Стоит сказать, что в ответе на основной вопрос исследования нам было важнее разработать технологию сравнения моделей и апробировать ее на практике, чем построить окончательный рейтинг и выделить лучшие модели. Любые новые данные могут существенно повлиять на рейтинг и изменить положение моделей в нем, но нам важнее было показать, что модели можно и важно сравнивать друг с другом, в том числе чтобы отбирать наиболее применимые для практики.

Следующие вопросы, которые нас интересовали, касались причин различия в валидности между моделями. Нам удалось найти несколько причин и оснований, которые могут влиять на валидность моделей.

Первое основание — это подходы, в рамках которого модель может быть разработана. Наиболее продуктивными оказались клинический и профессиональные подходы. Возможно, первый подход позволяет выделять хорошо дифференцирующие людей качества в поведении (так как в основе своей имеет классификацию симптомов), второй изначально нацелен на диагностику успешности (поэтому также концентрируется на качествах, важных именно в работе).

Вторая причина, и на наш взгляд более существенная, заключается в дробности моделей и наличии узких, специфических качеств, которые позволяют модели лучше «цепляться» за столь же специфические критерии успешности и условия, в которых она проявляется. Более интегральные модели (такие как Big Five, EPI и MBTI) показывают худшие показатели валидности по этой же причине (что показано практически статистически значимо). Все это позволяет рекомендовать использовать в практике более специализированные и дробные модели личности. Стоит заметить, что многие модели имеют подфакторы (практически любые из перечисленных нами в исследовании моделей). Однако во многих исследованиях взаимосвязи ищутся на уровне интегральных факторов, что делает такую модель менее конкурентоспособной. Можно предположить, что широко распространенная в исследовательской практике модель Big Five была бы более валидна, если бы исследователи пытались отслеживать валидность не на уровне пяти интегральных факторов (в «угоду» содержательной валидности), а на уровне подфакторов (ориентируясь на критериальную валидность).

К сожалению, нам не удалось ответить на другие вопросы исследования, которые касались валидности моделей и уровня позиции, типа инструмента и так далее, в связи с ограниченным объемом данных по этим критериям. Тем не менее, нам удалось найти несколько исследований, которые раскрывают ответы на некоторые вопросы, и здесь также хотелось бы их обсудить, в контексте общего вопроса — что же позволяет увеличить валидность модели личности?

В первую очередь можно отметить исследование Tett Et al. 2003, в котором сравнивалась валидность интегральных показателей модели HPI (7 факторов), и так называемых HICs — подфакторов (41). В результате исследования было показано, что подфакторы в гораздо большей степени объясняют вариативность критерия успешности, чем интегральные показатели модели. Во многом на этом в модели HPI и других строятся дополнительные показатели, прогнозирующие успешность в той или иной деятельности. Для нас же важно, что данной исследование показывает, как специфические факторы оказываются продуктивнее интегральных.

Мета-анализ, который мы уже не раз упоминали в своей работе (Tett, Jackson & Rothstein, 1991) также дает ответы на некоторые вопросы, а именно — более высокие показатели валидности моделей достигаются в исследованиях, в которых применяется предварительная процедура анализа работ (job analysis), и которые строятся по конфирматорному типу. То есть в тех исследованиях, где заранее анализируется работа и под нее подбирается модель или хотя бы гипотезы (какие качества будут нужны в работе), показатели валидности могут в разы превышать те, которые получаются в исследованиях обратного типа — без анализа работы и со случайной моделью. Таком образом, предварительное изучение работы и тех черт, которые могут влиять на эффективность позволяет подобрать лучшие модели, или как минимум — черты, и получить в итоге большую валидность для искомой ситуации. Подтверждают предыдущие оба предположения исследователи в статье Jenkins & Griffith, 2004.

Любопытные данные были получены в исследовании Jackson & Corr, 1998. В ряде исследований авторы замеряли связь между показателями по личностным моделям и критериям успешности. На индивидуальном уровне данные связи были не велики с сравнимы со многими, которые были получены в нашем исследовании. Но как только исследователи выходили на группой уровень (например, сравнивали общей уровень экстраверсии у группы успешных и неэффективных), то показатели связи становились в разы больше. Данное направление тоже может быть весьма интересным для применения относительно моделей личности.

Также в ряде исследований было показано, что валидность зависит не только от модели личности, но и от того, насколько сам инструмент, ее измеряющий, релевантен поведению именно на работе (Heller et al., 2009; Hunthausen et al., 2003). Исследования показывают, что методики, описывающие именно рабочее поведение в рамках модели имеют большие показатели валидности относительно эффективности на работе, чем просто те же черты в общих жизненных ситуациях.

Таким образом, ряд наших предположений имеют косвенное подтверждение в исследованиях, но не относительно каждой из моделей, а относительно общей ситуации с моделями личности (обычно на примере модели Big Five).

Стоит рассмотреть и ограничения нашего исследования, которые безусловно могут влиять на полученные результаты. В первую очередь, нужно выделить проблему выборки. В нашем исследовании использовался первичный поиск данных, не были включены диссертации, внутренний поиск по литературе, письма авторам и т. п. Безусловно, расширение выборки может дать иные данные для исследования и результатов. Во вторую очередь, стоит упомянуть проблему кодирования данных, в которой участвовал один эксперт (в классическом мета-аналитическом исследовании привлекается группа экспертов и замеряется согласованность). В конце следует сказать о том, что не все модели личности были включены в этот анализ, и данные по некоторым также могли бы повлиять на общие результаты.

В завершении хотелось бы обсудить два практических вопроса — что дает применение моделей личности на практике, что означает рейтинг моделей для решения практических задач. Ведь зачастую именно практика ставит запросы на точное и надежное прогнозирование в области изучения человеческих ресурсов, и стремится к максимальным показателям.

Что касается применения моделей личности на практике, то в научной среде отчасти устоялось определенное двуполярное мнение. С одной стороны, диагностика личностных качеств не позволяет получить высокий уровень объясняемой дисперсии успешности в работе, с другой — так называемые integrity tests могут давать достаточно высокие показатели валидности (Schmidt & Hunter, 1998). На примере наших данных мы также попытались рассчитать эффективность от применения моделей личности на практике.

Если брать средние значения по моделям, то процент объясненной дисперсии успешности (как самый строгий показатель) действительно будет достаточно низким — в самом лучшем случае всего 8%. Но если учитывать предположения Тейлора — Рассела о сложности работы и жесткости отбора на ту или иную должность, то в среднем точность отбора с применением модели личности может вырасти до 64% (Шмелев, 2013).

Что касается применимости полученного рейтинга на практике, то мы склонны полагать, что модели из верхушки рейтинга (например, CPI), действительно могут оказаться более продуктивными с точки зрения валидности в общих универсальных ситуациях (с учетом специфики выборки и позиций, на которых были собраны данные). Но в целом любая модель может дать хорошие показатели валидности, если она 1) содержит много специфических факторов; 2) применяется вместе с анализом работы по конфиматорному типу; 3) специализирована относительно поведения на работе.