Эксперименты в естественных условиях и рандомизация как стратегия отбора испытуемых

В отличие от выборочных обследований, представляемых в следующем параграфе, план, или дизайн, полевого эксперимента включает управление со стороны экспериментатора воздействующим фактором — НП. При проверке каузальной гипотезы уровни НП отличаются для эквивалентных выборок. Однако для полевого исследования организовать эквивалентные выборки непросто.

Допустим, разработан новый метод обучения и предполагается эмпирическая проверка гипотезы о его большей эффективности. В психолого-педагогических исследованиях это обычная экспериментальная модель — сравнение экспериментальной и контрольной групп, испытуемые в которых прошли через разные условия независимой переменной «метод обучения». Часто в исследовании речь идет при этом не только о педагогическом эффекте, но и о том психологическом изменении, которое предположительно стоит за эффектом. Согласно логике установления экспериментального факта, необходимо будет сравнить результаты нового и старого методов в естественных условиях обучения (например, в школе или вузе).

Желая достичь эксперимента полного соответствия, исследователь будет выбирать полевое исследование. Но придя в реальные учебные заведения, он столкнется с проблемой использования реальных классов и групп, которые уже имели историю своего становления (фон развития) и могут различаться, но составу участников (их уровню знаний, достигнутого интеллектуального развития). Вряд ли в экспериментальных целях будет позволено вмешиваться в учебный процесс путем создания специальных групп, т. е. перетасовывая состав классов.

Зависимой переменной может выступать показатель академической успеваемости (оценки на экзамене, в текущих контрольных), показатель удовлетворенности обучением (при соответствующем опросе участников и выставлении, скажем, баллов по заданной шкале) или сложный индекс изменений в том процессе, который структурно иным образом задавался при новом методе обучения. Собственно, педагогический или психологический эффект достигнут — это предмет специального обоснования сути «приобретений» субъекта учебной деятельности.

Обсудим, как можно задать для такого типа исследований экспериментальные условия.

Во-первых, это могут быть обычные для учеников условия школы, колледжа, вуза, кружка и т. д. Тогда в разных (но не менее чем в двух) учебных группах занятия проводятся разными методами. В случае, когда заранее объявляют, что в определенном классе или кружке определенного преподавателя будет опробован новый метод обучения, трудно сохранить равенство условий. Обычно ученики (или их родители) стремятся записаться в экспериментальную группу, полагая, что экспериментальная — значит лучшая. Мотивация, которую иногда называют «стремлением подвергнуться экспериментальному воздействию», в этой группе, уже будет существенно отличать процессы обучения как в классе, так и при подготовке домашних занятий. И это будет происходить независимо от переструктурирования самих психолого-педагогических изменений в учебном процессе. При экспериментировании это называется вариантом смешений — смешений уровней экспериментального фактора (в данном случае воздействие типа метода) и ПП.

Чтобы избежать подобных смешений, исследователи могут не объявлять о том, что идет сравнение учебных единиц, и о том, что методы обучения в классах или кружках будут различаться. Тогда сохранится мотивационная эквивалентность групп. Труднее избежать другого смешения — с индивидуальными особенностями преподавателя, которые также влияют на процесс обучения. Так, увлеченный преподаватель часто достигает лучшего эффекта обучения не в силу особенностей метода, а в силу системы отношений, в которой ученики действуют более заинтересованно, ответственно и т. д. Предложить одному и тому же преподавателю работать разными методами сложно, так как он может невольно проявить предубеждение по отношению к какому-то из методов (и тем самым направить в процессе обучения изменение результатов в сторону предпочитаемого).

Итак, в полевом исследовании, где условия деятельности полностью соответствуют обычным для испытуемых, может создаваться экологически валидная ситуация. Валидная в данном случае означает оценку правильности организации эксперимента с точки зрения как его целей (проверки гипотезы), так и возможности последующих обобщений. Эти обобщения будут касаться, с одной стороны, оценки выявленных преимуществ метода обучения, а с другой — тех условий и других видов деятельности, на которые возможен перенос установленного эффекта (или экспериментальной зависимости). Тождество условий эксперимента обычным условиям жизнедеятельности позволяет здесь прямо переносить обобщения па подобные виды обучения для других учебных единиц, учебных заведений, где возможно применение экспериментально опробованного метода (в случае, если он действительно показал большую эффективность).

Однако достижение полного соответствия переменных может повлечь за собой все те смешения, которые связаны с неравенством групп как исходных «единиц» или различиями в мотивации при специальном создании групп (в силу указанной мотивации экспертизы или эффекта добровольцев). Поэтому выходом может служить проведение так называемого слепого опыта.

Слепой опыт — это создание такого условия, когда факт проведения исследования и его цели неизвестны его участникам.

Учет этических аспектов — существенное обоснование возможности таких опытов. Но этика психологического исследования — самостоятельная проблема, не сводимая к вопросу о возможности слепых опытов. Для контроля за этим аспектом во многих странах функционируют (при соответствующих научных организациях и учебных заведениях) этические комитеты. Их цель — обеспечить права людей как участников исследования и учесть последствия предполагаемых взаимодействий с психологом. Ввести человека в ситуацию обследования или исследования, обеспечить разумное раскрытие целей, вывести из ситуации, обеспечив обратную связь и личностную поддержку (дебрифинг) — все эти компоненты взаимодействия экспериментатора с испытуемыми подлежат контролю со стороны экспериментатора и предварительной (и последующей) оценке членов этического комитета.

Не будем сейчас приводить примеры широко известных искусственного" тюремного эксперимента" Ф. Зимбардо и социально-психологического эксперимента С. Милгрема при изучении «деструктивной повинуемости легитимным авторитетам», выполнявшегося в 1960 г. в подвале Йельского университета, и ряда других исследований, по отношению к которым возникала проблема этичности именно в контексте моделируемых экспериментальных условий, имевших следствием проявление со стороны участников агрессии, насилия и т. п. Сегодня, скорее всего, не было бы возможности (разрешения) их провести. Вместе с тем на конференции Американской психологической ассоциации (АПА) в 1975 г. Д. Кэмпбелл присоединился публично к мнению М. Шерифа, что эксперименты по «повинуемости» можно рассматривать как самый глубокий вклад в науку со стороны социальной психологии.

В полевых условиях проводятся эксперименты, направленные как на проверку теоретических гипотез, так и в практических целях. При этом понятно, что не всякое полевое исследование является по своему дизайну экспериментом.

Широкую популярность получила классификация экспериментов Д. Кэмпбелла, предложившего для выделения истинного эксперимента жесткий критерий рандомизации как отбора испытуемых из популяции. В истинном эксперименте, пусть и проводимом в естественных условиях, должна быть не только выделена управляемая ПП и осуществлен контроль уровней ее представленности в группах, но также на основе стратегии рандомизации достигнута эквивалентность групп, которые должны стать при формировании выборок как бы равными по составу участников. Только в таком случае различие в ЗП можно будет связывать именно с осуществленным воздействием, т. е. влиянием НП.

Рандомизированной называют случайную последовательность и стратегию случайного отбора испытуемых в группы.

Рандомизация как стратегия отбора из популяцииэто обеспечение случайного представительства потенциальных испытуемых в реальных выборках, с которыми будет работать психолог, проводя эксперимент или выборочное обследование.

Рандомизация как стратегия подбора в экспериментальные и контрольные группы — обеспечение их эквивалентности, когда состав испытуемых заранее определен (экспериментатор имеет дело с наличным составом выборки).

Итак, случайной выборка становится, если испытуемые выбирались не наобум, а с помощью стратегии случайного отбора, предполагающей равновероятность попадания в экспериментальную и контрольную группы любой «единицы» популяции. Как и при образовании случайных выборок для проведения выборочных обследований, в эксперименте также процедура организации случайной выборки нацелена на уменьшение искажений в измеряемых психологических характеристиках со стороны влияний побочных переменных и ошибок измерений. При формировании случайных выборок исследователь не контролирует возможные влияния на результаты измерения психологических свойств со стороны предшествующих исследованию факторов. По рандомизация дает уверенность в равновероятном попадании разных людей (с разным предварительным опытом, разной выраженностью психологических свойств и т. п.) в сравниваемые выборки, что делает их эквивалентными (до введения НП).

Рассмотрим в качестве примера истинного эксперимента рандомизированное полевое испытание новой программы преподавания физики в вузах — Гарвардский проект по физике [Мастак, 19 981. Этот проект можно рассматривать также как осуществленный в практических целях эксперимент, поскольку теоретически не обосновывался предполагаемый эффект влияния нового метода обучения па академические успехи студентов колледжей.

При этом в области психологии образования можно указать также множество теоретически обоснованных путей проектирования образовательной среды, когда в полевом исследовании верифицируются возможности новых методов обучения, построенных на базе определенных теорий. Отечественная психология здесь имеет опыт экспериментирования в обосновании теории развивающего обучения в образовательной системе Д. Б. Эльконина — В. В. Давыдова. Но при этом новый тип обучения реализуется в полевом исследовании в рамках отдельно взятой школы. Отбор учеников в такую школу вряд ли можно считать случайным (из-за желания многих «быть подвергнутым экспериментальному воздействию» конкуренция родителей заменяет случайный отбор в экспериментальную школу).

Гарвардский проект интересен именно планированием, включившим всю популяцию (преподавателей, а через них — студентов) в процедуру отбора участников исследования (экскурс 5.2). Была реализована рандомизация как стратегия отбора участников исследования из всей популяции обучавшихся предмету (в рамках страны).

Экскурс 5.2

Целью полевого эксперимента было оценивание нового курса, но физике в высшей школе по сравнению с традиционным изложением, сложившимся в американских университетах.

Сравнение курсов производилось по нескольким показателям, характеризующим успеваемость студентов и их эмоциональное отношение к курсу. Новый курс выступал в роли экспериментального воздействия, или нововведения, или (в статистической терминологии) «обработки» экспериментальных единиц. «Единицами» здесь были студенты, слушающие курс физики на соответствующем факультете университета. Существующий курс физики служил контрольным условием. Предполагалось сравнить эффективность его преподавания по старой и новой программам, чтобы в дальнейшем использовать последнюю, если ее прохождение позволит студентам проявить лучшие знания.

В эксперименте участвовали преподаватели и студенты, которым эти преподаватели читали соответствующие курсы физики.

Рассмотрим, как реализовывалась стратегия рандомизации при отборе испытуемых как участников исследования. Преподаватели отбирались случайно из 16 911 тех, кто обучает физике и зарегистрирован в Национальной ассоциации США. Этот момент очень важен здесь популяция и преподавателей, и студентов абсолютно точно определена по спискам. И формирование выборок — полностью контролируемый в исследовании фактор.

Всего из генеральной совокупности (преподавателей физики) было выбрано 53 человека, и эта выборка, в свою очередь, была разделена на две численностью 34 и 19 человек в экспериментальной и контрольной группах соответственно. Экспериментальный курс должны были прочитать студентам 34 случайно выбранных преподавателя. Они и их студенты стали участниками экспериментальной группы. 19 других преподавателей и их студенты составили контрольную группу. Часть из выбранных преподавателей затем отсеялась из-за болезней участников или изменения их намерения участвовать в эксперименте.

В этом полевом исследовании проводилась специальная подготовка лекторов-физиков, которая состояла в том, что первая группа преподавателей в течение 6 недель обучалась новому методу ведения курса, а со второй (контрольной группой) проводились занятия по повышению квалификации преподавателей по прежней программе физики. Условия жизни и преподавателей, и студентов были обычными для их вуза и рассматривались как случайные факторы, влияющие па успеваемость обучающихся по физике.

Знание предмета у студентов, прослушавших новый курс, оказалось примерно таким же, как и у контрольной группы. По этому показателю новый курс не превзошел старый. Однако студенты, обучавшиеся у преподавателей экспериментальной группы, выразили большее удовлетворение курсом физики, нашли заложенный в программе исторический подход более интересным, учебники более читабельными, а физику — более понятной дисциплиной и без обширных знаний по математике. Студенты в контрольной группе считали предмет одним из наиболее трудных, а учебные пособия по нему — трудными для чтения. Таким образом, по показателям эмоционального отношения новая программа, но физике получила более высокую оценку.

Итак, рассмотренный проект оценивания курсов по физике служит примером полевого эксперимента для изучения преимуществ ноной программы по нескольким показателям. Результаты оценки по ним оказались различными. Это свидетельствует, что важно многоаспектно оценивать последствия введения тех или иных новшеств. В описанном примере элемент случайности оказался включенным на двух этапах: при выборе преподавателей (а следовательно, и студентов) и при назначении одного из курсов — нового или традиционного построения.

Как показал пример Гарвардского проекта, эффект может оказаться незначимым для одного показателя и значимым для другого. Именно социальная значимость изменения отношения к предмету (физике) послужила основанием последующего нововведения — введения новой методики преподавания физики в вузах страны.

Благодаря стратегии рандомизации в подборе испытуемых и распределению экспериментального и контрольного воздействий стало возможным распространить полученные выводы на исходные совокупности преподавателей и студентов. При нерандомизированном задании чтения курсов (например, исключительно по желанию вызвавшихся для этого преподавателей) неоднозначность интерпретации эффекта новой программы состояла бы в том, что экспериментальный курс могли согласиться прочитать более способные и энергичные преподаватели, а контрольный — пассивные и менее способные. Тогда эффект курса оказался бы смешанным с эффектом влияния личности преподавателя.

Далеко не все схемы межгрупповых сравнений выглядят таким же образом, как в представленном примере. Но в любом случае необходимо контролировать эквивалентность сравниваемых групп, в которых испытуемые подвергаются разным уровням воздействия экспериментального фактора и осуществляется контроль репрезентативности выборки испытуемых. Поэтому описание стратегий отбора и подбора групп — первый этап представления межгрупповых схем в любом учебнике; второе — это указание схемы фиксации зависимых переменных в соответствии с выбранным планом. Заключительным этапом является обобщение.