Метааналитические исследования в психологии

Метаанализ как новое средство интеграции и обобщения результатов психологических исследований

Первый этап метааналитических исследований

В психологии — бурно развивающейся науке, как и во многих других сферах научного знания, количество теоретических и эмпирических исследований растет с каждым днем. Рост объема данных затрагивает как области относительно устоявшейся проблематики, так и лишь недавно появившиеся направления. При этом возникает проблема систематического и регулярного обобщения новых результатов как таковых и в их связи с уже накопленной базой знаний.

Классическим, или консервативным, подходом к такой систематизации является нарративный (дискурсивный) литературный обзор — неотъемлемая часть любого исследования и публикации его результатов. Однако эта традиция анализа проблемного поля исследований имеет ряд ограничений, основными из которых можно назвать отсутствие формализованного подхода к сопоставлению результатов, полученных в различных работах, и высокий уровень субъективности выполняемого обзора, ведущий к систематическим искажениям в обобщениях и заключениях (reviewer bias). Важным шагом па пути к преодолению указанных недостатков и большей объективности в генерализации выводов, учитывающих результаты всех (или почти всех) проведенных к определенному моменту исследований на ту или иную тему, явилось появление метода метаанализа данных, получившего особо широкое распространение в последние два десятилетия. Целью главы является ознакомление с краткой историей развития метаанализа, основными подходами, целями, задачами, ограничениями и примерами.

Если вспомнить три условия причинного вывода, то можно отнести метааналитические исследования (МАИ) к области взаимодействий второго и третьего условий — оценивания неслучайности взаимосвязей переменных и сопоставления конкурирующих объяснений устанавливаемых эмпирических зависимостей. Любая гипотеза, как отмечалось ранее, открыта для дальнейшей проверки. При этих проверках (другими исследователями, другими средствами операционализации, на других выборках и новом экспериментальном материале) накапливаются новые результаты, которые в одних исследованиях свидетельствуют в пользу, а в других — против такой гипотезы. Интеграция всего поля накапливаемой эмпирии невозможна на пути простого обзора работ. С одной стороны, речь идет о сотнях подлежащих оценке фактов. С другой стороны, решение по принципу «большинства» свидетельств не может быть правомерным в случае научных теорий и фактов. В принятии решения о том, какой же факт установлен в целом комплексе исследований (на заданную тему), метаанализ выступает процедурой, посредством которой как бы взвешиваются все накопленные данные (с учетом их надежности, сделанных статистических решений и т. д.) и строится индекс «суммарного» факта. Таким образом, метаанализ является крайне важным методом в психологии, играющим особую роль в интеграции результатов, ежегодно продуцируемых десятками тысяч исследователей по всему миру в самых различных областях.

Разработка метода метаанализа первоначально была тесно связана с запросами науки и практики в медицине, ведь именно в этой области особенно высока цена принимаемых решений, которые связаны с необходимостью обобщения различных и часто противоречащих друг другу результатов. В самом начале XX в., а именно в 1904 г., К. Пирсоном было выполнено фактически первое МАИ, которое было посвящено изучению эффективности вакцинации от оспы, в ходе которого применялась новая для того времени техника подсчета средних и взвешенных средних коэффициентов корреляции. Однако популярность метаанализ приобрел только к концу XX в., когда появилась необходимость в методах синтеза огромного количества информации, получаемого ежегодно в таких областях, как медицина и психология. Рост количества метааналитических исследований, разработка соответствующих программных пакетов и методических подходов были связаны в первую очередь с признанием большей ценности рассмотрения паттернов распределения результатов множества исследований, нежели результатов отдельных исследований.

Сам термин " метаанализ" впервые был использован Дж. Глассом в его докладе в роли президента Американской ассоциации исследований в области образования (American Educational Research Association) в 1976 г. Им же в соавторстве с М. Смит был выполнен крупнейший для того времени систематический обзор всех исследований эффективности психотерапии, который стал реакцией на непрекращающиеся острые дискуссии о потенциальной неэффективности психотерапии, вызванные, в частности, Г. Айзенком, который в 1965 г. на основе анализа всего шести исследований сделал заключение о том, что 75% невротиков испытывают улучшение состояния вне зависимости от вовлеченности в психотерапию.

М. Скривен чуть позже предложил этическому комитету Американской психологической ассоциации требовать от психотерапевтов предоставления клиенту информации о том, что психотерапевтические процедуры, через которые он пройдет, по эффективности не превышают эффект плацебо: сильное заявление с потенциально серьезными последствиями для всей практики психотерапии и психологического консультирования. В последовавших за этим литературных обзорах использовался метод подсчета соотношения значимых/незначимых результатов (voting methocl) на основе достаточно малого количества исследований.

Дж. Гласе и М. Смит опубликовали в 1977 г. результаты анализа уже 375 исследований, в которых исследовалась эффективность различных видов психотерапии в отношении целого ряда показателей психологического благополучия (тревожность, самооценка, адаптированность и т. д.) на материале общей выборки в более чем 25 000 испытуемых. Ирония заключается в том, что полученные авторами результаты вернули исследователей к цифре 75%, указанной ранее Айзенком, но в прямо противоположном смысле: было показано, что в среднем клиент, прошедший психотерапию, чувствует себя лучше, чем 75% людей из контрольной группы (т.е. разница составила .68 стандартного отклонения). Гласе и Смит не только продемонстрировали необоснованность нападок на психотерапию, но и показали важность проблемы аккумулирования и интеграции знаний, накопленных в определенной области, для решения которой и был предложен метод метаанализа.

В наиболее общем виде метаанализ можно определить как метод ассимиляции, обобщения и интеграции результатов множества исследований. Хотя метаанализ часто обсуждается как количественный статистический метод1, более адекватным видится рассмотрение его как метода исследования, предполагающего систематическое изучение литературных источников, тщательное формулирование гипотез, разработку критериев включения/исключения исследований из метаанализа, переструктурирование и статистический синтез результатов исследований и соответствующих размеров эффектов, поиск опосредующих переменных и соответствующее оформление выводов.

Три основных вопроса, на которые может дать ответ метаанализ, связаны с установлением: 1) мер центральной тенденции распределения результатов исследований, полученных во множестве работ, 2) вариативности этих результатов, 3) возможности объяснения и предсказания вариативности устанавливаемых эмпирических фактов. В этом случае МАИ направлено на выявление типичного (или «среднего») результата исследований, что достигается за счет комбинирования размеров эффектов, уровней значимости и доверительных интервалов вокруг среднего размера эффекта. При этом устанавливается средняя мера отклонения результатов отдельных исследований от полученного среднего результата путем сравнений размеров эффектов (и уровней значимости), а также проведения различных тестов гомогенности размеров эффектов. В случае обнаружения значимых различий в получаемых результатах проводится поиск опосредующих переменных, могущих влиять на результаты исследований путем сравнения этих результатов как функций различных характеристик самих исследований.

Переход к оценке психологических гипотез на основе метаанализа требует от исследователей изменения культуры использования статистических средств, поскольку предполагает работу с базами данных множества исследований, в которых были использованы разные средства оценки получаемых эффектов.