Процедура и методика исследования

Первичным этапом любого мета-аналитического исследования является сбор литературы, выбор метода мета-анализа и критерия (показателя), по которому он может проводится. Для нашего исследования был выбран метод, разработанный Hunter & Schmidt (2004). Данный метод активно применяется в мета-аналитических исследованиях схожего типа (расчета мощности валидности различных инструментов прогнозирования успешности в работе), позволяет работать с таким показателем валидности, как коэффициент корреляции ®, и также позволяет учитывать ошибки измерения, которые заложены как в самих инструментах (тестах), так и в критериях эффективности (показателей успешности работы).

Сбор данных проводился по четырем основным источникам (см. Таблицу 3), которые включали в себя поиск научных статей с исследованиями валидности, так и технических отчетов по методикам, не опубликованным в научных журналах.

Поиск статей или публикаций поводился по единой технологии. В начале в поисковую строку любого источника вводилось лишь наименование модели (например, «MBTI»), после чего экспертно анализировались абстракты статей или сами статьи на предмет соответствия теме исследования (то есть наличия исследования на тему валидности относительно успешности в работе в любом формате и на любой должности, а также в успешности в подготовке к работе (тренинги) и пр.). После анализа списка дополнительно в поисковые строки вводились такие уточняющие слова, как «validity» и «job performance», и полученный список заново отсматривался на предмет появления новых статей. В большинстве случаев первичный поиск позволял получить до 90−95% статей, которые после выводились с уточняющим поиском.

Следует сразу оговорится, что поиск статей в классическом мета-анализе проводится в более расширенном виде, анализируются списки литературы в статьях, которые встречаются в первичном поиске, проводится поиск по базам диссертаций и неопубликованным работам, рассылаются письма авторам, чьи работы не содержат нужных данных с просьбой их уточнить и т. п. Все это позволяет получить больше данных, в том числе отрицательных, которые обычно не публикуются, но являются очень важными для мета-анализа. В нашем исследовании мы ограничились лишь первичным поиском в силу характера работы и ограниченности ресурсов на полномасштабное исследование.

После сбора первичных данных на предмет соответствия теме необходимо было выбрать статистический критерий (показатель) включения статей в исследования. Классическим показателем для мета-анализа Hunter & Schmidt является коэффициент корреляции ®, который встречался и в большинстве наших данных, поэтому этот коэффициент был выбран нами для проведения мета-анализа. Стоит отметить, что определенный процент статей мог вообще не содержать данных по корреляции модели с показателем успешности (в таком случае статью приходилось исключать из выборки), часть статей (особенно 60−80 годов) содержало данные по сравнению средних (tили Fкоэффициенты), которые по специальным формулам могли быть переведены в переведены в показатели r (подробнее о переводе см. Student Handout — Meta-Analysis.pdf). Часть статей по ряду моделей была включена в анализ из других мета-анализов, которые могли содержать либо сырые данные (непосредственные показатели r, например Tett, Jackson & Rothstein, 1991), либо уже подсчитанные по аналогичной технологии мета-аналические показатели (для модели Big Five, Hurtz & Donovan, 2000).

В итоге был получен финальный список из 86 статей и технических отчетов, который был закодирован в матрицу сырых данных со следующими показателями:

• · Авторы (указание авторов публикации)
• · Название публикации
• · Год публикации
• · Модель (16 PF, MMPI, MBTI & etc.)
• · Надежность модели (тип — альфа кронбаха, тест-ретест или оба типа)
• · Надежность модели (коэффициент)
• · Выборка исследования (размер)
• · Тип исследования (Научная статья или технический отчет)
• · Вид критерия успешности (Job performance (O), Job ratings (S), Training (T), Персональные данные (P))
• · Надежность критерия (коэффициент)
• · Тип профессии (Manager, Sales, White collar, Blue collar, Service, Other)
• · Статус профессии (гражданская или военная)
• · Указание профессии (наименование, если есть)
• · R mean (абсолютная усредненная корреляция модели с критерием)
• · № R mean (кол-во корреляций)
• · R significant (абсолютная усредненная значимая корреляция модели с критерием)
• · № R significant (кол-во значимых корреляций)

В кодировании матрицы участвовал один эксперт, стаж работы в области оценки персонала — 8 лет. Частично данные матрицы приведены в приложении № 1.

Далее стоит остановится на двух таких важных моментах, как расчет R mean и R significant, и данных по надежности моделей и критериям. Расчет R mean производился по технологии, описанной Tett, Jackson & Rothstein, 1991, которая стоится на расчете абсолютной средней корреляции факторов модели с критерием. В данном исследовании мы отдельно ввели понятие R significant как абсолютная усредненная значимая корреляция модели с критерием. Так как мы сравниваем модели друг с другом по мощности объяснительной способности, нам было важно не только понять, насколько модель способна быть связанной с критерием успешности, но и в какой степени она способна производить значимые корреляции в исследованиях. Приведем пример. Возьмём данные вымышленного исследования, например показатели корреляции между факторами модели Big Five и успешностью в управлении:

Для расчета R mean нам достаточно взять каждый показатель r по модулю, и получить среднее значение. В данном случае оно будет равно 0,18. Для расчета R significant мы берем только значимые корреляции по модулю, и усредняем их — получая уже 0,28. Таким образом, в данном исследовании модель Big Five имеет среднюю мощность в полтора раза меньшую, чем значимую. Но в практике зачастую для использования модели отбираются именно значимые корреляции, таким образом их также важно учитывать в исследовании.

Вторым важным моментом является учет показателей надежности моделей и критериев успешности, которые позволяют скорректированный коэффициент мощности P mean (Hunter & Schmidt, 2004). Надежность модели фактически равна коэффициенту альфакронбаха или данным тест-ретеста (или их среднему), надежность критерия зависит от его типа (например, это объективный показатель успешности, рейтинг со стороны коллег или супервизоров и т. п.). Идеальной ситуацией является та, где в исследовании авторы перепроверяют как надежность модели, и надежность критерия, и приводят эти показатели (хотя таких исследований в нашей выборке оказалось не больше 15%). В остальных случаях приходится брать те показатели надежности моделей, которые приводятся в технических отчетах по методикам, и данные из других мета-анализов, где приводятся показатели средней надежности критериев в зависимости от их типа.

Как видно, границы надежности моделей находятся в рекомендованном в психометрике диапазоне от 0,75 и в среднем достаточно близки друг к другу. Только модель MMPI имеет более низкую надежность, отчасти на чем и строится классическая критика этой модели. Тем не менее, нужно понимать, что чем ниже показатель надежности модели, тем в большей степени она будет скомпенсирована показателем P mean в мета-аналитическом исследовании.

Данные получены из сравнительных мета-аналитических исследований (Tett, Jackson & Rothstein, 1991, Barrick & Mount, 1991). Наибольшей надежностью (стабильностью) обладают объективные показатели работы, но часто в ввиду сложности сбора данных их заменяют рейтингами и субъективными оценками, которые имеют более низкую надежность и большой разброс значений (от 0,4 до 0,8 с одним ст. откл). Также могут использоваться исследования, где люди либо учатся, либо имитируют работу (тренинги). Также есть прием измерения эффективности через сравнения с персональными данными (например, принадлежность к профессии, рост дохода или статуса в профессии). В случае работы с этими данными поправка на надежность критерия не производилась ввиду отсутствия по ним данных о надежности.

Таким образом, в нашем примере для получения P mean коэффициенты R mean и R significant нужно было бы скорректировать на показатели надежности модели и критерия, и дальше произвести все необходимые расчеты (Hunter & Schmidt, 2004). Все расчеты выполнялись в программе MS Excel по формулам авторов. В дальнейшем результаты расчетов были частично проверены с использованием синтаксиса SPSS, написанным специально для этого метода (Field & Gillett, 2010), и показали полное совпадение результатов.

В качестве промежуточных выводов в описании методики и процедуры хотелось бы отметить пожелания для стандартов научных публикаций — включать матрицы сырых корреляций моделей (или иных предикторов успешности) и критериев в публикации. Данная информация поможет существенно упростить технологию проведения мета-анализа и увеличит возможности для его качественного проведения.