Валидность эксперимента. 
Общепсихологический практикум

Одно из наиболее распространенных определений валидности связывает это понятие с ответом на вопрос, насколько хорошо процедура исследования позволяет изучить тот предмет, для изучения которого она применяется, или же насколько хорошо выводы исследования обоснованы процедурами получения и обработки данных.

Валидность высока в том случае, когда независимая и зависимая переменные наилучшим образом операционализированы, точно измерены, никакие побочные переменные не влияют на зависимую переменную, все измерения правильно обработаны статистически, а выводы сделаны с учетом всех дополнительных переменных. Низкая валидность означает, что полученные результаты не содержат никакой информации о том, что хотел изучать исследователь, а если и содержат информацию, то о чем-то другом.

В качестве шуточного примера надежного, но абсолютно инвалидного исследования можно привести анекдот про таракана. Исследователь предполагает, что у таракана уши находятся на ногах. Если посадить таракана на стол и хлопнуть в ладоши, таракан убежит. Если оторвать таракану лапку, посадить на стол и хлопнуть в ладоши, таракан тоже будет убегать, но медленнее. По логике исследователя, это происходит потому, что таракан стал хуже слышать. Если оторвать таракану две лапки, он будет убегать еще медленнее, видимо, потому что еще хуже стал слышать. Если оторвать все лапки, то таракан вообще не убежит, но той же логике — потому что не слышит хлопков. Такой «эксперимент» абсолютно надежен — он будет воспроизводиться в 100% случаев, любыми экспериментаторами на любых членистоногих и не только членистоногих животных. Но он абсолютно не валиден, так как исследователь не имел права делать выводы про слух таракана, в то время как реально воздействовал на его двигательные органы.

Понятие валидности применяется не только к эксперименту, но и к любой исследовательской процедуре. Например, случается так, что, заполнив психологический тест, люди недоумевают: получившийся результат совсем не соответствует их представлениям о себе. Тогда они обращаются к вопросам теста и сами задаются вопросом о том, действительно ли, например, такие действия, как «схожу с ума», «говорю сам с собой», «бегаю или хожу пешком», «дразню кого-нибудь», помогают преодолеть стресс? Действительно ли, если они не делают всего этого, это значит, что они не умеют преодолевать свой стресс и не справляются с ним? Такие вопросы выражают сомнение в валидности теста.

В зависимости от нарушения, допущенного исследователем при получении или оценке данных и, соответственно, при формулировании выводов, выделяются разные виды валидности. Некоторые нарушения приводят к тому, что из данных невозможно сделать никаких выводов про гипотезу — ни подтверждающих, ни опровергающих ее. Другие нарушения лишь накладывают ограничения на эти выводы или области и способы их применения.

Далее мы будем обсуждать четыре вида валидности: внутреннюю, внешнюю, конструктную и статистическую. Мы обсудим также угрозы, связанные с их нарушением, рекомендации по их избеганию и особенности выводов из исследования при угрозе каждому виду валидности.

Внутренняя валидность

Внутренняя валидность отражает то, насколько результаты измерения зависимой переменной обусловлены изменением независимой переменной, а не каким-нибудь другим неконтролируемым фактором. Такой неконтролируемый фактор, как уже отмечалось выше, называется побочной переменной.

Таким образом, чем больше побочных переменных продумал и постарался избежать исследователь, тем выше внутренняя валидность, т. е. тем выше доверие к выводам исследования о причинах изменения зависимой переменной. При неподтверждении гипотезы валидного эксперимента (подтверждении контргипотезы) исследователь может быть вполне уверен, что проверяемая в его исследовании независимая переменная не влияет на зависимую.

Например, в психологических исследованиях в психиатрической клинике очень часто побочной переменной, угрожающей внутренней валидности, являются лекарства, которые принимают пациенты. Скажем, исследователь хочет выяснить, влияет ли заболевание шизофренией на продуктивность внимания. Для этого он набирает три группы для сравнения: здоровых людей, пациентов с небольшим стажем заболевания и пациентов с многолетним стажем. Таким образом, его независимая переменная — это стаж заболевания шизофренией, имеющая три уровня: нулевой стаж, маленький и многолетний. Зависимая переменная — эго успешность прохождения теста на внимание.

Для того чтобы доказать, что заболевание шизофренией влияет на продуктивность внимания. исследователь должен показать, что три группы сильно отличаются по результатам теста на внимание. Допустим, результаты исследования покажут, что это так: здоровые люди выполняют тест наиболее успешно, пациенты с маленьким стажем — существенно менее успешно, а пациенты с большим стажем заболевания — еще менее успешно. Значит ли это, что заболевание шизофренией сказывается на том, как работает внимание? Не обязательно. Возможно, не заболевание провоцирует ухудшение внимания испытуемых, а лекарства, которые они принимают. Здоровые испытуемые хорошо выполняют тест не потому, что они здоровые, а потому что не принимают психотропные препараты. Пациенты с маленьким стажем заболевания выполняют тест хуже не потому, что больны, а потому что принимают такие препараты, но они выполняют этот тест лучше, чем пациенты с многолетним стажем, потому что принимают более слабые препараты и в меньшей дозировке.

В итоге исследователь не знает точную причину ухудшения внимания испытуемых: заболевание шизофренией или действие лекарств. Оба фактора с равной вероятностью могут быть такой причиной, так как действуют одновременно и одинаково.

В данном примере влияние лекарств является побочной переменной, не проконтролированной исследователем. Исследователь не может сделать никаких выводов о своей гипотезе. Он не может утверждать, что гипотеза о влиянии заболевания шизофренией на продуктивность внимания подтвердилась, так как, возможно, влияет не заболевание шизофренией, а лекарства, принимаемые при этом заболевании. Но он также не может утверждать, что гипотеза не подтвердилась, и заболевание шизофренией никак не сказывается на продуктивности внимания, потому что возможно, что лекарства все-таки не причем, а на продуктивность внимания влияет именно заболевание.

Поскольку выводы о гипотезе в данном исследовании сделать невозможно, ценность полученных в нем результатов стремится к нулю, но причине низкой внутренней валидности проведенного эксперимента, которая явилась следствием систематического смешения эффектов переменной, рассматриваемой в качестве независимой (стаж болезни), и побочной переменной (влияния лекарств).

Побочные переменные особенно неприятны тем, что часто заранее невозможно спрогнозировать, какая особенность испытуемых или какое обстоятельство могут повлиять на зависимую переменную вместо независимой или вместе с ней. Исследователь может даже не знать о присутствии такого обстоятельства. Поэтому невозможно разработать систему мер, соблюдение которых гарантировало бы защиту от побочных переменных.

Для повышения внутренней валидности исследования прежде всего можно сделать две вещи. Во-первых, нужно подробно изучить литературу по теме исследования для того, чтобы выявить факторы, которые могут повлиять на зависимую переменную наряду с независимой. Во-вторых, необходимо проконтролировать известные и наиболее часто встречающиеся угрозы внутренней валидности. Вслед за Кэмпбеллом обычно выделяют семь угроз внутренней валидности, которые представляют собой различные источники побочных влияний на зависимую переменную. Рассмотрим их чуть более подробно.

Влияние истории (фона). Напомним, что общая структура эксперимента обязательно включает в себя предварительный замер зависимой переменной, воздействие на замеряемую переменную со стороны независимой переменной и заключительный замер. Большая проблема, которая возникает при этом у исследователя, состоит в том, чтобы устранить любые побочные воздействия на зависимую переменную между двумя замерами, кроме воздействия независимой переменной. Такие воздействия и называются влиянием истории или влиянием фона. Испытуемых нельзя изолировать от окружающего мира на период исследования, они подвергаются множеству воздействий, о значительной части которых исследователь даже не подозревает. И если одно или несколько из этих событий повлияют на состояние зависимой переменной, то внутренняя валидность исследования будет нарушена, поскольку изменение будет вызвано не независимой переменной, а побочной.

Поскольку устранить все воздействия на испытуемых невозможно, для контроля влияния истории исследователи используют контрольную группу испытуемых. Испытуемые контрольной группы подвергаются тем же замерам (предварительному и заключительному), что и испытуемые экспериментальной группы, но не получают воздействия независимой переменной.

Таким образом, исследователь сначала оценивает, возник ли ожидаемый эффект в экспериментальной группе — различаются ли результаты предварительного и заключительного замеров. Если результаты различаются, значит, некоторое событие повлияло на зависимую переменную между этими замерами. После этого исследователь сравнивает результаты экспериментальной и контрольной группы. Если эти результаты различаются, то за это различие ответственна независимая переменная, так как предполагается, что любые другие факторы влияли на обе группы, а независимая переменная — только на испытуемых экспериментальной группы. В том случае, если причиной изменения зависимой переменной стало некое неконтролируемое событие, то изменения между первым и вторым замером в экспериментальной и контрольной группе существенно различаться не будут.

Например, исследователя интересует, влияет ли хорошее настроение на способность решать задачи. Он фиксирует выраженность разных эмоций у испытуемых, например с помощью опросника «Самочувствие. Активность. Настроение», и просит решить несколько задач, потом показывает им смешной видеосюжет про животных, затем снова измеряет эмоции испытуемых и снова просит решить задачи. Результаты показывают, что испытуемые лучше решают задачи после просмотра видео. Но на качество решения задач могло повлиять нс только видео, но и любые другие факторы тренировка, звуки разговоров из коридора, желание показать себя с лучшей стороны. Поэтому исследователю необходимо набрать контрольную группу, которая будет решать те же задачи, слышать тот же шум из коридора, стремиться к положительной оценке и точно так же прервется на некоторое время, соответствующее длительности видеосюжета, но не будет просматривать его. Только если при прочих равных условиях испытуемые экспериментальной группы покажут лучший прирост в решении задач, исследователь имеет право сделать вывод о том, что его гипотеза подтвердилась. Если же результаты экспериментальной и контрольной группы не будут значительно различаться, значит, к изменениям в качестве решения задач привело не хорошее настроение, а какие-то другие факторы.

Сходное влияние оказывает естественное развитие человека, которое иначе называют эффектом взросления. Если эксперимент достаточно продолжителен или приходится па такие моменты жизни человека, когда созревание протекает быстрее, то исследователь имеет все основания сомневаться, по какой причине изменилась зависимая переменная: в результате воздействия независимой переменной или в результате естественного развития и созревания изучаемой психической функции.

В отличие от эффекта истории, побочной переменной в данном случае является не какое-то конкретное событие, повлиявшее на зависимую переменную, а изменения испытуемых, обусловленные течением времени. Так, например, в возрастной психологии известны периоды быстрых и достаточно глобальных изменений личности и психики, получившие название кризисов; в детском возрасте изменений больше, чем во взрослом.

Аналогичным образом действуют некоторые обстоятельства, такие как приспособление к новым условиям. Например, учащиеся в первые месяцы обучения в любом учебном заведении, работник, недавно принятый на новое место работы, пациент, попавший в больницу, призывник в армии адаптируются к новому месту, режиму, правилам поведения. Трудности, которые они испытывают поначалу, со временем сходят на нет, и трудно назвать конкретное событие, которое к этому приводит. Просто человек изменился, приладился к новым обстоятельствам и правилам.

К факторам взросления Кэмпбелл относит также менее глобальные изменения, такие как изменение физического состояния вследствие усталости, голода, пресыщения осуществляемой деятельностью и т. п. Подобно взрослению, эти факторы сказываются на работоспособности в целом, па функционировании всех психологических процессов, и достаточно сложно установить момент начала их влияния, поскольку у всех людей усталость, голод и т.и. возникают с разной скоростью, и сами люди, будучи занятыми экспериментальным заданием, могут заметить их не сразу.

Эффект взросления нарушает внутреннюю валидность, так как неизвестно, экспериментальное воздействие или изменение самих испытуемых за время эксперимента повлияло на зависимую переменную. Разрешить вопрос о том, какой из этих факторов оказался решающим, снова помогает использование контрольной группы. Например, оценка программы психологической адаптации на рабочем месте предполагает, что мы замеряем уровень психической напряженности и стресса у людей, только что поступивших на работу в ту или иную организацию. После этого с половиной из них работаем, но программе адаптации, а половина адаптируется сама, без помощи психолога. Если по окончании программы обе группы покажут одинаковое снижение уровня психической напряженности и стресса, значит, программа не работает, а снижение негативных переживаний связано с эффектом взросления. Только если экспериментальная группа, работавшая по специальной программе, покажет более сильное снижение негативных переживаний, эту заслугу можно приписать эффективности программы.

Эффект тестирования — это влияние факта участия в исследовании на результаты исследования. Часто люди хотят показать себя с лучшей стороны, и, если, например, им сообщают, что изучается их обучаемость, они мобилизуются и стараются выполнить все задания как можно лучше. Поэтому в эксперименте они действуют так эффективно, как никогда не действуют в повседневной жизни.

Особенно часто эффект тестирования возникает в ситуациях контроля и оценки: при приеме на работу, психологическом отборе персонала, оценке эффективности работы сотрудников, сравнении их по каким-либо психологическим качествам, важным для той сферы, в которой они работают, при психологической экспертизе в клинике, в суде и т. п. Как следствие, перед исследователем встает вопрос о том, почему испытуемые показали определенные результаты: потому что экспериментальное воздействие столь эффективно или потому что испытуемые старались показать себя с лучшей стороны?

Другим источником эффекта тестирования является использование исследователем необычных процедур и заданий. Так, к опросникам, анкетам, интервью, тестам потенциальные испытуемые уже привыкли, они сталкиваются с ними на страницах журналов, на общественных мероприятиях, в Интернете, видят по телевизору. Если же исследователь использует более сложные процедуры, дает необычные задания, то сам факт выполнения такого задания или серии заданий может привести к изменению зависимой переменной. Примерами таких заданий могут быть просьба выполнить привычное действие непривычным способом или составить фигуру человека из ограниченного набора простых геометрических форм, решить хитрую задачу, не похожую па те, которые испытуемый когда-либо решал и т. п. В этом случае зависимая переменная изменится не в результате экспериментального воздействия, а по причине необычности предварительного и заключительного тестирования или необычности самих способов воздействия, и любое другое настолько же необычное воздействие приведет к такому же эффекту.

Использование контрольной группы для устранения этого эффекта не всегда помогает. Предварительное и заключительное тестирование проводятся в обеих группах, и данный факт может привести к тому, что результаты в контрольной группе изменятся так же, как и в экспериментальной, под действием эффекта тестирования. Но если этот эффект сопровождает экспериментальное воздействие, то в контрольной группе оно отсутствует, и испытуемые экспериментальной группы сталкиваются с двумя неразделимыми воздействиями, одно из которых — само экспериментальное воздействие, а второе — непривычность, новизна методики воздействия. В этом случае контрольная группа не поможет против эффекта тестирования.

Способом борьбы с эффектом тестирования является предварительная тренировка испытуемых. Им дают множество заданий, похожих на те, которые впоследствии будут использованы в исследовании, для того чтобы люди привыкли к ним, набрались опыта в обращении с ними, чтобы исчез эффект новизны или страх, неуверенность перед заданиями, с помощью которых их будут оценивать. Такая тренировка позволит уравнять всех испытуемых по опыту обращения с материалами исследования и в случае использования нового незнакомого инструментария позволит устранить влияние умелости и скорости обучения испытуемых.

Однако этот способ борьбы не позволяет оценить наличие или отсутствие эффекта тестирования, а также его силу. Для того чтобы определить, влияет ли данный эффект в ходе исследования и насколько сильно его влияние (нужно его устранять или им можно пренебречь), исследование строится в соответствии с планом Соломона, названного так по имени американского исследователя Р. Соломона. Этот план предполагает использование четырех групп испытуемых — двух экспериментальных (ЭГ1 и ЭГ2) и двух контрольных (КГ1 и КГ2) (табл. 11.1).

Таблица 11.1

План Соломона.

Использование этого плана позволяет оценить эффективность экспериментального воздействия при наличии предварительного тестирования и при его отсутствии, поскольку эффект тестирования одинаково проявляется в экспериментальной и контрольной группах^[1], а влияние независимой переменной проявляется только в экспериментальной гругге.

Эффект инструментария. Влияние инструментария (тех процедур, конкретных методик и материалов, которые использует исследователь в работе с испытуемыми) представляет собой особенно болезненную проблему в психологических исследованиях. Поэтому проблемам исследования, связанным с влиянием инструментария, уделяется много внимания при планировании исследования. Выше уже обсуждались проблемы, связанные с влиянием новизны и необычности методик исследования па внутреннюю валидность. Обсуждению специфических искажений результатов исследования, связанных с влиянием инструментария, посвящено особое понятие — «конструктная валидность», речь о которой пойдет впереди.

Также проблемы инструментария образуют важный вопрос при обсуждении надежности исследования, но не надо путать надежность и этот вид валидности. Методика может быть очень надежной в том смысле, что она при воспроизведении дает очень согласованные результаты, однако измерять на самом деле не то, что по замыслу исследователя она должна измерять, если внутренняя валидность низка, в частности, вследствие эффекта инструментария.

Эффект инструментария и его влияние па уровень внутренней валидности исследования проявляются, когда инструментарий недостаточно точен и допускает различие толкований одних и тех же или сходных результатов, если этот инструментарий меняется, дорабатывается, калибруется в процессе проведения исследования или дает разные результаты в зависимости от конкретных условий измерения. В этом случае побочной переменной, угрожающей внутренней валидности, являются флуктуации измерения. Исследователь не может сделать окончательный вывод о том, почему изменилась зависимая переменная — в результате экспериментального воздействия или в результате погрешности инструментария, который периодически давал различающиеся данные.

Например, если в исследовании факторов, влияющих на представления о социальной справедливости, исследователь менял вопросы опросника, диапазон или вид шкал оценки, добавлял и убирал варианты ответов, то пет ничего странного в том, что результаты предварительного и заключительного измерения будут различаться. Если исследователь по-разному дает инструкцию испытуемым, даже не меняя се сути, изменяет способ представления одних и тех же заданий, дает дополнительные комментарии при одном измерении и не дает их при другом — все это может привести к различиям в данных, вызванных не экспериментальным воздействием, а влиянием неточности инструментария.

Для борьбы с эффектом инструментария рекомендуется в первую очередь использовать надежные, хорошо себя зарекомендовавшие психологические методики и процедуры. Также важен размер выборки испытуемых: чем больше выборка, тем меньше влияние каждой отдельной ошибки на конечный результат. Когда инструментарий новый, следует как можно строже формализовать процедуру исследования: заранее сформулировать инструкцию испытуемым, информацию о целях и задачах исследования, четко сформулировать все действия, которые требуются от испытуемого, чтобы ни на шаг не отклоняться от процедуры. Следует заранее продумать несколько уклончивых ответов на вопросы испытуемых, наподобие «действуйте, как вам кажется правильным, здесь нет правильных или неправильных реакций», «какая формулировка (действие) лично вам ближе, то и пишите (так и делайте)» и т. п., чтобы испытуемые не различались по количеству информации об исследовании. Эти действия напрямую нацелены на снижение количества флуктуаций измерения, являющихся источником эффекта инструментария.

Регрессия к среднему, или статистическая регрессия в соответствии с определением Ф. Гальтона — эго эффект возврата системы к среднему состоянию. Влияние эффекта регрессии можно показать на следующем примере.

Представим двух студентов, один из которых в течение всего семестра готовился к семинарам, отвечал на все вопросы и получал высокие оценки, а второй ничего не учил и работал вполсилы. Когда пришло время итогового экзамена, первый студент простудился, заболел и вследствие этого сдал на тройку, а второй студент хорошенько посидел за книгами всю ночь и получил пятерку.

Обе эти оценки отражают отклонение от средней успеваемости каждого студента. Будут ли эти оценки адекватно отражать знания обоих студентов? Конечно, нет, так как первый студент, который учился в течение всего семестра и получал пятерки, доказал свои высокие знания и, попади он на экзамен на другой день или через неделю, в здоровом состоянии, обязательно получил бы пятерку. Второй студент, который выучил материал за ночь, столь же быстро его и забудет, и уже через неделю шансов на повторное получение высокого балла у него не будет. Эффект регрессии возникнет уже при повторной оценке знаний студентов, в которой каждый из них получит оценку, более близкую к его обычной (средней) успеваемости: отличник — более высокую, троечник — более низкую.

Такая же проблема возникает, если отбирать для исследования группы испытуемых с крайними показателями (очень высокими или очень низкими) по результатам однократного измерения. Например, если исследователь считает, что творческие способности испытуемых могут быть усилены с помощью занятий по мозаике, он должен измерить творческие способности у своих испытуемых, отобрать тех, кто продемонстрировал невысокие способности.

Допустим, повторное измерение покажет более высокие результаты, но тесту творческих способностей в экспериментальной группе. Возможно, это результат экспериментального воздействия. Но не исключено, что возник эффект регрессии к среднему. Возможно, что испытуемые, отобранные для исследования, при первом замере показали не очень высокие творческие способности, потому что утром не позавтракали, приболели, всю ночь танцевали в клубе, поссорились с близкими, получили шокирующее известие и т. д. На самом деле эти люди имеют гораздо более высокие творческие способности, и, если бы не конкретные обстоятельства, они показали бы их в тесте. При повторном исследовании эти обстоятельства уже не влияли на испытуемых, и они продемонстрировали обычный для себя уровень творческих способностей. При этом результаты повторного измерения не повысились под влиянием независимой переменной (позитивных переживаний испытуемых), а вернулись к нормальному среднему результату, обычному для данных испытуемых.

Повторимся, что опасность регрессии к среднему особенно велика в том случае, когда для исследования отбираются испытуемые с крайней выраженностью исследуемого качества на основе однократного измерения. Если при этом будет набрана эквивалентная контрольная группа, то она покажет такое же изменение зависимой переменной, как и в экспериментальной группе, обусловленное регрессией к среднему. Неэквивалентная контрольная группа влияние регрессии к среднему не покажет (в приведенном выше примере неэквивалентной будет группа, собранная из испытуемых не только с низким, по и со средним и высоким уровнем творческих способностей).

Снизить вероятность возникновения регрессии можно, если отбирать испытуемых на основе многократного измерения исследуемого качества — например, на основе среднего уровня творческой способности, но результатам выполнения нескольких эквивалентных субтестов в разные моменты времени. Это сложно и трудоемко, но в некоторых случаях, например, при оценке школьной успеваемости или если испытуемые участвуют в психологическом монторинге, многократные измерения их успеваемости и качеств, подвергаемых мониторингу, имеются в достаточном количестве до начала исследования.

Наконец, в тех случаях, когда уровень зависимой переменной был ниже среднего до экспериментального воздействия и стал выше после (а также наоборот был выше среднего, а после воздействия стал ниже), влияние статистической регрессии можно исключить, так как эффект регрессии к среднему не предполагает перехода за средние значения.

Эффект отбора испытуемых предполагает, что на изменение зависимой переменной может повлиять не только экспериментальное воздействие, но и специфические особенности выборки испытуемых. Этот эффект возникает, когда в экспериментальную и контрольную группы по не зависящим от исследователя причинам попали испытуемые, отличающиеся по определенным качествам.

Например, преподаватель хочет провести исследование на своих студентах и обещает за это поставить дополнительные баллы. Он делает объявление об этом в начале семестра, до проведения всех контрольных работ. Раньше всех на это приглашение откликнутся наиболее тревожные студенты, которые хотят подстраховаться на случай неудачи, недобора баллов на контрольной, а также наиболее мотивированные студенты, которым интересно самим испробовать на себе методы работы психолога. Позже, ближе к середине семестра, подтянутся те студенты, которые поняли, что предмет для них сложноват, что есть риск не набрать баллов на желаемую оценку. Самыми последними примут участие студенты, уже попробовавшие написать контрольную и понявшие, что без дополнительных баллов они не сдадут предмет.

Если преподаватель соберет всех студентов, пришедших первыми, в экспериментальную группу, а всех пришедших последними — в контрольную, то получит даже две побочные переменные. Испытуемые экспериментальной группы будут отличаться от контрольной не только наличием экспериментального воздействия, но и более высокой тревожностью и мотивацией участия в эксперименте. Поэтому исследователь не сможет сделать однозначного вывода, из-за чего изменилась зависимая переменная — в результате экспериментального воздействия или в результате различий в мотивации испытуемых.

Эффект отбора влияет не только сам по себе, часто он вступает во взаимодействие с другими эффектами. Так что если сама неэквивалентность групп не является побочной переменной, то в качестве последней может выступить взаимодействие отбора с другими эффектами. Взаимодействие отбора и эффекта взросления происходит, если в одну группу отбираются люди, которые быстрее или медленнее развиваются, утомляются, начинают испытывать голод и т. д., чем испытуемые другой группы. Допустим, участвовать в эксперименте преподавателя по формированию вторичного стресса в результате просмотра теленовостей первыми вызвались более тревожные студенты, а в контрольную группу были отобраны спокойные студенты. Тревожные студенты быстрее попадут под влияние вторичного стресса, но не потому что воздействие исследователя так эффективно, а потому что быстрее впадают в панику при встрече со стессором, чем спокойные студенты. Иначе говоря, не воздействие исследователя (просмотр теленовостей), а отбор испытуемых вкупе с эффектом взросления приводит к изменению зависимой переменной.

Взаимодействие эффекта отбора с эффектом истории может проявиться в том, что одно и то же событие окажет разное влияние на испытуемых разных групп. Например, исследователя интересует, влияет ли молчаливое присутствие преподавателя на успешность решения задач. Допустим, случайным образом в экспериментальную группу отобрались поклонники рок-музыки, а в контрольную — любители классики, т. е. произошел отбор испытуемых, который сам по себе не повлиял бы на исход эксперимента. Во время проведения эксперимента с улицы до испытуемых донеслись несколько тактов мелодии в стиле рок (случайное событие, которое по-разному скажется на членах двух групп). Это приведет к позитивным впечатлениям в экспериментальной группе и отсутствию таковых в контрольной. В результате нельзя будет сделать однозначный вывод о том, что именно повлияло па изменение качества решения — присутствие (отсутствие) преподавателя или позитивные впечатления, вызванные случайным событием (т.е. совместное действие эффектов отбора и истории).

Точно так же эффект отбора может вступать во взаимодействие с эффектом тестирования, если в одну группу отберутся испытуемые, более подверженные страху оценки и имеющие меньший опыт участия в психологических исследованиях, чем в другую. Эффект отбора и эффект инструментария могут привести к нарушению валидности, если в одну из групп отберутся испытуемые, па которых инструментарий дает меньше сбоев, а в другую — более сложные, критично настроенные или маргинальные испытуемые, на которых инструментарий дает больше сбоев.

Как возникает и как решается проблема неэквивалентности групп, лежащая в основе эффекта отбора, подробнее рассматривается в следующей главе при обсуждении межсубъектных экспериментальных планов. Здесь подчеркнем очевидное: чтобы проконтролировать нарушения внутренней валидности исследования из-за проблемы отбора и последующих проблем взаимодействия отбора и других эффектов, необходимо максимально уравнять экспериментальную и контрольную группы.

Эффект истощения (отсева) представляет собой такую угрозу внутренней валидности, когда испытуемые, но каким-то причинам прекращают участие в исследовании между предварительным и заключительным тестированием. В результате перед исследователем встает вопрос: действительно ли изменение зависимой переменной от первого замера ко второму обусловлено действием независимой переменной, или результаты второго замера изменились, потому что часть людей выбыла, а оставшиеся обладают какими-то неизвестными исследователю общими психологическими особенностями, которые и повлияли на результат.

Ситуация, когда испытуемым не понравилось предварительное тестирование, они обиделись, разочаровались и ушли до завершения эксперимента, случается достаточно редко. Но если между предварительным и заключительным тестированием проходит достаточно времени для того, чтобы испытуемому и исследователю потребовалось встретиться несколько раз, то угроза эффекта истощения возрастает многократно.

Для того чтобы возник эффект истощения, не обязательно проводить продолжительные исследования, когда тех же самых испытуемых требуется разыскать через несколько месяцев. Простое опросное исследование на младших школьниках невозможно провести за один раз, если методики требуют от испытуемого усидчивости и внимания на протяжении более 40 мин. Для проведения всех методик исследователю придется встретиться со школьниками несколько раз. И в этом случае всегда возникает некоторое количество детей, которые заболели и по другим причинам не пришли в школу (произошло истощение выборки).

Дети, которые пройдут все методики такого исследования, отличаются, по крайней мере, лучшей посещаемостью школы по сравнению с теми, кто отсеялся. Лучшая посещаемость может быть связана с состоянием здоровья, более высокой мотивацией к учебе, лучшими отношениями с одноклассниками и т. д. Все это и есть возможные побочные переменные, которые возникают в результате отсева, смешиваются с экспериментальным воздействием и приводят к изменению зависимой переменной, в результате чего исследователь оказывается не в состоянии определить истинные причины ее изменения.

Контрольная группа могла бы помочь против эффекта истощения, если бы у исследователя были гарантии, что выбывание испытуемых происходит одинаково и равномерно, т. е. в экспериментальной и контрольной группах остаются психологически одинаковые испытуемые, а все остальные выбывают в обеих группах с одинаковой скоростью. Но, разумеется, таких гарантий нет. В разных группах выбывают разные люди и в разном количестве, и поэтому контрольная группа слабо спасает от эффекта истощения. Другой возможный способ борьбы — исключение из выборки результатов тех испытуемых, которые участвовали в первичном тестировании и не участвовали во втором. Но в этом случае к эффекту истощения добавится еще и эффект отбора испытуемых: исследователь сам в прямом смысле отберет из своих испытуемых только тех, кто по каким-то причинам прошел все исследование от начала до конца.

Очевидно, бороться с эффектом истощения сложно, так как если испытуемые не желают продолжать участие в исследовании, принуждать их к этому было бы как минимум неэтично. Можно снизить риск отсева, создавая дополнительную мотивацию для участия в исследовании. Такой мотивацией не обязательно является оплата; это может быть то, как исследователь представит важность результатов исследования, его конкретную пользу для людей вообще и испытуемых лично, затронет любопытство испытуемых к каким-то аспектам исследования и т. д. Главное, чтобы исследователь мотивировал испытуемых одинаково, чтобы различия в мотивации не выступили в качестве побочной переменной.

Также превентивной мерой отсева будет создание условий, чтобы испытуемому было удобно явиться на повторное исследование. Например, вероятность прихода па повторное исследование будет выше, если испытуемому не нужно специально ехать в лабораторию, если исследование проводится на месте его регулярного присутствия.

Таковы угрозы внутренней валидности. Их достаточно много, и разные способы построения исследования (экспериментальные планы) подвержены им в большей или меньшей степени. При планировании исследования автор обязательно должен учесть и проконтролировать влияние всех этих угроз, чтобы исследование не было напрасным, а по его результатам было возможно сделать надежные содержательные выводы о причинах исследуемых явлений. В табл. 11.2 кратко представлены все обсуждавшиеся выше угрозы внутренней валидности, характер их влияния, особенности исследования, повышающие вероятность их появления, и действия по их контролю.

Таблица 11.2

Угрозы внутренней валидности, особенности исследовательской процедуры, повышающие риск этих угроз, и способы их предотвращения

Окончание табл. 11.2

• [1] Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. С. 65.