Этапы проведения метаанализа

Основными этапами проведения метааналитического исследования являются следующие.

Выбор области исследования, а также независимых и зависимых переменных, связи между которыми будут анализироваться.

На этом этапе проводится формулирование исследовательской гипотезы (о том, какой «взвешенный» эффект ожидается), выбор формы операционализации переменных и разработка критериев, на основе которых те или иные исследования будут включены или исключены из метааналитической базы данных.

Систематический поиск исследований и сбор соответствующей информации

На данном этапе сами индивидуальные исследования, включаемые в метааналитическую базу данных, аналогичны выборке испытуемых в индивидуальных исследованиях. Поиск исследований включает поиск в научных журналах, сборниках тезисов конференций, сборниках статей, книгах, диссертациях и списках литературы в этих источниках. В настоящее время наибольшую ценность представляют электронные системы поиска литературы: SCOPUS, Web of Science, Google Scholar и др. Полезную информацию могут предоставить и специалисты в той области, в которой проводится метаанализ: например, предоставив материалы неопубликованных исследований. Включение таких исследований необходимо из-за эффекта «архивного ящика» {publication bias или file drawer problem).

Эффект архивного ящика заключается в том, что в научных журналах чаще публикуются значимые результаты и размер эффекта в этих исследованиях выше, чем в неопубликованных.

Поскольку неопубликованные исследования «уходят в стол», это выводит их из поля обсуждаемых в научной области и потенциально ведет к сильным искажениям результатов и тем самым неверным представлениям об исследуемых процессах.

Кодирование полученных данных и индивидуальных характеристик найденных исследований

Сюда относится и выбор размера эффекта (например, в случае, если в исследовании приведено несколько результатов), и приведение размеров эффектов к единой метрике, и оценка варьирующих индивидуальных параметров исследований, могущих повлиять на вариативность в размерах эффектов.

Выделяют три типа таких параметров: существенные (например, тип экспериментального воздействия), методологические (например, тип дизайна исследования) и внешние (год публикации и др.). Обычно множество исследований кодируется несколькими экспертами или лаборантами, согласованность оценок которых проверяется на части исследований.

Статистический анализ (синтез) эффектов, полученных в исследованиях

Примерами могут служить эксплораторный анализ размеров эффектов (поиск экстремальных значений, или так называемый outliers), подсчет мер центральной тенденции (невзвешенных и взвешенных) и оценка уровня значимости полученных индексов центральной тенденции. Такая оценка, например, производится при использовании доверительных интервалов вокруг среднего: консервативным подходом является заключение о статистической значимости полученного в метаанализе среднего эффекта в том случае, когда 95% доверительный интервал вокруг эффекта не включает ноль.

Оценка вариативности размеров эффектов

Гетерогенность размеров эффектов в различных исследованиях оценивают с помощью таких критериев, как хи-квадрат и тест гомогенности. Стандартное отклонение размера эффекта позволяет оценить вероятность наличия опосредующих переменных, которые могут приводить к этой гетерогенности. Интериндивидуальная вариативность размеров эффектов в случае обнаружения гетерогенности и потенциальных опосредующих переменных может быть смоделирована как их функция.

Обсуждение и оценка размера эффекта, интерпретация результатов, выводы

Эта очевидная стадия работы включает написание метааналитического отчета, в котором приводится подробное описание процедуры метаанализа на всех его этапах, списки и критерии отбора включенных исследований, обоснование выбора метааналитической модели, обсуждение размера эффекта и т. д.

Для этого, например, используется шкала, разработанная Коэном. В случае коэффициентов корреляции предполагается, что значение коэффициента (по модулю) располагается на шкале, разбивающей эффекты на маленькие (/•= .10), средние (г = .30) и большие (г = .50).

Указанные шесть стадий отражают скорее логическую, нежели историческую, последовательность проведения метаанализа: некоторые стадии «перекрываются», а исследователи часто естественным образом возвращаются к ранее пройденным стадиям. Это происходит, например, когда становятся доступны новые данные, когда выявляются недостатки системы кодирования результатов исследований, применявшейся на ранних этапах, и т. д.