Истинные экспериментальные планы в межгрупповых схемах

Существенным элементом планирования межгрупповых экспериментов является способ образования групп. Наиболее строгий критерий требует рандомизации, или случайного порядка образования групп, когда из имеющейся или потенциальной выборки людей попадание в каждую группу основывается на применении последовательности случайных чисел (например, по соответствующим таблицам). Межиндивидуальные различия, или различия между субъектами и неравенство между группами, — основной источник угроз внутренней валидности при межгрупповых схемах.

Межиндивидуальные различия — любые различия между людьми (испытуемыми), которые в межгрупповом эксперименте или квазиэксперименте в качестве побочной переменной могут влиять на ЗП или взаимодействовать с НП, что нарушает вид исследуемой каузальной зависимости.

Иногда увеличение выборок рассматривается как путь контроля несистематической изменчивости, связанной с составом групп (например, приближение эксперимента к «бесконечному»). Однако создание (отбор испытуемых) групп с большим числом участников проблемы возможной неэквивалентности выборок не решает, так как:

• — и при рандомизированном порядке отбора в разных группах могут оказаться «похожие» по тому или иному свойству люди: например, в одну группу случайно попали наиболее способные и трудолюбивые ученики, в другой оказались наименее способные или лентяи. Это случайно сложившееся неравенство групп может как скрыть, так и усилить экспериментальный эффект;
• — при больших п вступает в действие закон больших чисел — хоть какое-то случайное различие между группами будет устанавливаться (безотносительно к НП), и чем больше участников эксперимента, тем больше вероятность, что ПП скажутся на различии (тем больше смешений).

Другим важным элементом является собственно схема сравнений, или межгрупповой план. Приведем три (см. рис. 10.2, 10.3 и 10.4), ставших классическими.

Рис. 10.2. План 1 — простой план для экспериментальной и контрольной групп, без предварительного тестирования Согласно приведенной на рис. 10.2 схеме проводится большинство исследований, в которых предполагается, что рандомизация — /? — как стратегия отбора испытуемых в группы из популяции позволяет рассматривать группы как эквивалентные и приписывать различие в ЗП именно действию НП. Экспериментальный эффект для межгрупповых схем выглядит как результат сравнения выборочных значений ЗП (измеренного психологического показателя) в экспериментальной и контрольной группах.

В табл. 10.3 приведен пример плана обработки данных для сравниваемых групп; индексами обозначены номера испытуемых, сами испытуемые — буквой 5. На самом деле, если измерения психологического показателя у них независимы (случай с независимыми выборками), число испытуемых в экспериментальной и контрольной группах может различаться.

Используемый в дальнейшем план обработки данных определяет здесь некоторые ограничения (на этих проблемах, как и других аспектах использования статистических критериев для количественной оценки результата исследования, здесь останавливаться не будем, так как это предмет другого курса — использования схем обработки данных).

Таблица 10.3 Простой план для двух эквивалентных групп

Более сложным вариантом является рандомизированный блочный план. Он используется, когда образуются подгруппы в каждой группе — например, испытуемые были записаны на эксперимент в разные промежутки времени, тем самым они образовали блоки. Тогда, возможно, пришедшие в более позднее время уже более осведомлены относительно эксперимента. Другой источник возникновения блоков — участие в эксперименте испытуемых из ранее имевших место «естественных» групп. Например, в выборку испытуемых включаются ученики других классов или блоки могут образовываться из учеников, скажем, с разной успеваемостью. Тогда реализуется стратегия случайного распределения слоев, а слой может выступать блоком в формальном плане. Уравнять экспериментальную и контрольную группы с точки зрения смешения с блоковыми ПП («знание об эксперименте», ученики разных классов или с разной успеваемостью и т. д.) можно, отправляя в случайном порядке испытуемых из каждого блока в экспериментальную и контрольную группы. Современные способы обработки данных позволяют вычислить ОРД основного экспериментального фактора и эффект блока.

Предварительное тестирование частично решает проблему учета и контроля исходного уровня ЗП, однако не полностью, поскольку неэквивалентность групп может быть скрыта в неизмеренных переменных, но влияющих на изучаемый базисный процесс.

Рис. 10.3. Два обозначения одного плана 2 с предварительным и итоговым тестированием для экспериментальной и контрольной групп.

Соответствующий «истинный» экспериментальный план, по Д. Кэмпбеллу, представлен как план с предварительным и итоговым тестированием и контрольной группой. Он имеет вид схем 1 и 2 на рис. 10.3.

Для планов с предварительным и итоговым тестированием ОРД фактора, или экспериментальный эффект, подсчитывается уже как сравнение разницы в приращениях ЗП между экспериментальным и контрольным условиями: (02 — О,) — (Ол — 03). Соответственно меняются используемые статистические критерии.

При достаточно хорошем контроле угроз внутренней валидности такие планы сравнения ЗП — при наличии экспериментальной и контрольной групп — могут иметь недостаточную внешнюю валидность.

Например, как отмечалось, при измерении установок, тесты могут содержать столько непривычных для человека или «враждебных» утверждений, что само предварительное тестирование (измерение О, и 03) влияет на убеждения личности и изменяет ее сензитивность в отношении социальных проблем, имеющих этнический подтекст.

Рис. 10.4. План Соломона (план 3).

Р. Соломон — один из авторов, специально анализировавших подобного рода эффекты тестирования, показал, например, что предварительное тестирование повышало успешность экспериментального обучения чтению. Эффект вводимого Х-воздействия для группы, не подвергнутой сенсибилизации посредством тестирования, может быть иным или не столь сильным. Таким образом, обобщение зависимости между уровнями экспериментального фактора (X) и показателями ЗП (тестирования О) может быть ошибочным при переносе ее на обычные группы. Целям специального контроля эффекта тестирования служит план Соломона, схема которого включает сравнение четырех групп: двух экспериментальных и двух контрольных, а удвоение их числа связано с введением фактора «наличие или отсутствие предварительного тестирования» (рис. 10.4).

Если имеет место случай, когда экспериментатор оказывается перед наличным составом испытуемых, который обусловлен не используемой им стратегией отбора, а не известными ему обстоятельствами (выборка не является случайной), испытуемых остается только распределить по экспериментальной и контрольной группам. Если же он контролировал отбор испытуемых (или групп) из популяции, это определяется как контроль состава групп, а не только их эквивалентности, что влияет на последующие выводы о возможности переноса установленной зависимости на популяцию.