Аналитические обзоры по валидности моделей и инструментов в практике оценки

Проблематика прогностической валидности достаточно часто затрагивается в работах, посвященных изучению соотношения личностных качеств и будущей профессиональной успешности. Это и не удивительно, ведь практика постоянно требует подтверждения эффективности используемых инструментов. Само по себе понятие прогностической валидности метода связано с его способностью предсказывать будущую успешность.

Под прогностической валидностью понимают информация о том, с какой степенью точности и обоснованности методика (тест) позволяет судить о диагностируемом психологическом качестве спустя определенное время после измерения. Она отражает временной интервал, на который распространяется обоснование такого суждения. Сведения о такой валидности имеют самое непосредственное отношение к раскрытию предсказательной силы методики, выяснению степени обоснованности сформулированного на ее основе ближайшего и более отдаленного прогноза, анализу значимости получаемых в показателей с точки зрения экстраполирования результатов на будущее. Принято различать прогностическую и текущую валидность в зависимости от временной связи между критерием и тестом. При этом обе они относятся к критериальной валидности. Иногда употребляется термин предсказательной валидности. Термин «предсказание», по мнению А. Анастази (1982), может использоваться как в широком смысле, означая прогноз на основе данных тестирования поведения испытуемого в реальной (критериальной) ситуации, так и в более узком смысле, указывая лишь на временной интервал.

В качестве валидизации критерия могут выступать не только показатели актуального поведения, но и ожидаемые результаты деятельности, обучения и т. д. Процедура определения прогностической валидности опирается на анализ корреляции между оценками по измерениям и предсказанными результатами деятельности, формирующимися свойствами личности и т. п. Вместе с тем различие двух видов критериальной валидности связано не только с временными пределами критериальных сопоставлений. Валидность текущая и прогностическая отражают разные цели применения методики: текущий диагноз, оценка настоящего положения, с одной стороны, и прогнозирование развития качества или успеха в деятельности — с другой.

В рассматриваемых работах могут затрагиваться оба аспекта критериальной валидности. Естественно, за счет больших трудозатрат на получение информации о будущем поведении, многие исследования опираются на выявление текущей валидности (сравнение с теми внешними показателями, которые можно собрать одновременно с измерениями по конкретной модели личности). Поэтому в нашей работе также предстоит определить, насколько богато поле данных по прогностической валидности, или же данную работу невозможно провести, не привлекая данные по текущей валидности.

Другой вопрос, который так или иначе связан с имеющимися исследованиями валидности моделей личности, упирается в проблематику внешних критериев. Как правило, можно выделить три группы критериев, с которыми исследователи проводят сравнение при определение валидности модели. Первая группа затрагивает общие показатели успешности профессиональной деятельности. Как правило, они связаны с качеством выполнения работы в целом, и могут базироваться на производственных данных, рейтингах и оценках руководителей и коллег. Вторая группа связаны с выполнением конкретных рабочих операций или видов деятельности (например, аналитическая работа, управленческая деятельность, продажи и коммуникации). Третья группа может быть связана с изучением успешности в определенных профессиональных областях, с прогнозированием карьерного развития. Несмотря на взаимную связанность этих критериев, данное разнообразие может существенно усложнять сравнение данных по моделям, когда для одной из них будут данные по определенной профессиональной области, а по другой — нет.

В научной литературе содержится достаточно большое количество статей, базирующихся либо на мета-аналитических, либо частных исследованиях, посвященных валидности той или иной модели в практике оценки и прогнозированию успешности. Например, обзорная статья, которая, тем не менее, дает общее представление о валидности моделей в практике отбора и оценки, а также затрагивает ключевой вопрос исследования — сравнение моделей друг с другом, на примере противопоставления модели Big Five и более специальных моделей (Rothstein & Goffin, 2006). Также в статье рассматриваются интересные эффекты, которые могут влиять на валидность инструментов и моделей.

В отдельную группу можно вынести мета-аналитические исследования валидности Big Five относительно успешности профессиональной деятельности. Этой теме посвящено достаточно большое количество статей, к примеру Ones, Dilchert, Viswesvaran & Judge (2007) в своем мета-аналитическом исследовании опираются еще как минимум на 10 подобных работ, анализируя общую валидность модели Big Five, валидность относительно различных типов работ (простая, одиночная, лидерская деятельность и т. п.), а также видов профессиональной деятельности (профессий: менеджеры, специалисты по продажам, полицейские и т. п.). Помимо этой работы можно отметить мета-анализы по этоц модели таких авторов, как Hurtz & Donovan, 2000, Barrick & Mount, 1991.

Некоторые исследователи делают попытки доработки популярной модели Big Five, выделяя более интегральные факторы и изучая их валидность относительно успешности работы (Linden, Nijenhuis & Bakker, 2010), либо выявляя стабильность лишь ряда факторов из классического пятифакторного набора (Saggino, 2000), что в обоих случаях создает новую модель личностных качеств и может быть использовано для соотнесения по показателям валидности в практике оценки. К примеру, отдельное мета-аналитическое исследование, которое посвященно проблеме критериальной валидности интегральных факторов Стабильности и Пластичности модели Big Five (Alessandri & Vecchione, 2012). В работе Schmidt & Hunter, 1998 аторы также приводят данные, что наибольшей валидностью может обладать не сама модель Big Five, а отдельные ее факторы (например, сознательность и самоконтроль).

Некоторые исследователи, напротив, расширяют модель Big Five, добавляя значимые черты и изучая их предсказательную силу для прогнозирования успешности работы (Johnson, Rowatt & Petrini, 2011). В статье речь идет о черте Честности-Смирение (Honesty-Humility) как 6 показатели модели, который может служить хорошим предиктором для ряда рабочих навыков по сравнению с классическими 5 факторами.

Ряд исследований связано с изучением валидности 16PF относительно успешности работы. В статье Jenkins & Griffith (2004) приводятся данные мета-анализа взаимосвязи между факторами данной модели и общими показателями успешности профессиональной деятельности.

Исследованию валидности MBTI в литературе уделено гораздо меньше внимания. Есть отдельные исследования, посвященные изучению валидности методики в конкретных областях (например, Furnham & Stringfield (1993) изучали валидность модели для предсказания успешности в управленческой деятельности). Также ряд статей посвящено изучению соотношения модели MBTI с 16PF, EPQ и Big Five (The location of the Myers-Briggs type indicator in personality factor space). Тоже справедливо относительно ряда других моделей, которые затрагиваются в нашем исследовании.

Помимо научных данных существует еще целый пул данных, которые предоставляют сами разработчики инструментов, опирающихся на те или иные модели. Эти данные содержаться в руководствах к методикам (manual & handbooks), публикациях на сайтах и конференциях и т. д. В них можно найти данные как по взаимной взаимосвязи моделей друг с другом (например, MBTI FormM MANUAL SUPPLEMENT), так и сравнительных исследованиях критериальной валидности в конретных исследованиях (например, P. Saville, How Valid Is Your Questionnaire?). Поиск и обработка такого типа данных также является задачей нашего исследования.

В завершении приведем исследование, которое можно назвать модельным относительно нашей работы (исследование, которое можно принять за образец текущему исследованию) В работе Morey et al. (2007) рассматривается исследование, которое посвящено изучению валидности нескольких моделей психологических расстройств (PD). В работе изучаются модели «Большой Пятерки» (FFM), «Перечень неадаптивных и адаптивных личностей (SNAP) и DSM-IV (CLPS). Авторами рассматриваются различные виды валидности и способности моделей прогнозировать проявления личностных расстройств на практике. В частности, изучаются показатели конструктной валидности, стабильности моделей, а также прогностической валидности. В исследовании проводится сравнительный анализ моделей по данным показателям. Отличительной особенностью данного исследование является метод сбора данных — не с помощью мета-анализа других исследований, а непосредственное проведение конкуретного исследования с помощью методик, измеряющих показатели моделей. Тем не менее, ряд приемов и подходов, задействованных в исследовании Morey et al. представляется возможным использовать и в нашем исследовании.

В заключении можно сказать, что большинство мета-анализов на текущий день ставило целью определение валидности личностных моделей в практике оценки только на примере одной модели — Big Five. Другие модели либо приводились к Big Five, либо не рассматривались по отдельности. Сравнительный анализ валидности моделей мог провидится только в конкретных исследований, но редко в каких модели сравнивались в количестве большем, чем несколько штук. Проведенный обзор литературы лишь подтверждает актуально и новизну нашего исследования, основная цель которого — сравнительный анализ валидности моделей личности методом мета-анализа.