Доэкспериментальные планы и дизайн «истинного» психологического исследования

Доэкспериментальный дизайн. Наиболее известными авторами в области экспериментальной психологии, психодиагностики и качественного оценивания в целом, на работы которых нам приходится чаще всего ссылаться, являются зарубежные авторы — Дж. Кэмпбелл и Р. Готтсданкер, А. Анастази и др., а также отечественные психологи — А. А. Бодалев, В. Н. Дружинин, Л. Ф. Бурлачук, Т. В. Корнилова, А. Г. Шмелев и др.

В ходе изложения «дизайна» экспериментальных схем исследований мы склонны применять обозначения, изложенные в редакции Дж. Кэмпбелла. Символом «X» обозначаются экспериментальная переменная или событие, влияние которого на испытуемых подлежит измерению. Переменная «X» называется независимой переменной (НЭП). Символ «О» — это объект исследования, а также процедура измерения и результаты психологического измерения. Изменение «О» под воздействием «X» называется зависимой переменной (ЗП). «X» и «О», стоящие в одной строке, относятся к одним и тем же конкретным лицам. Направление слева направо обозначает временно? й порядок применения и измерения переменных.

Этой символикой мы будем пользоваться в процессе изложения структуры и особенностей любого экспериментального плана^[1].

Исследование единичного случая (план 1). В ходе проектирования эксперимента психолог производит выбор оптимальной схемы (плана) исследования в соответствии с экспериментальной гипотезой и условиями исследований. Наиболее простой схемой эксперимента является так называемое «исследование единичного случая» (план 1). В символическом виде этот план выглядит как «X О». Этот «дизайн» определяется как процедура одноразового измерения психологических переменных («О») после воздействия стимула (независимой переменной) («X») на одной экспериментальной выборке.

Эксперименты по плану 1 проводятся, например, в профотборе персонала в целях «пилотажного» исследования для определения ориентировочного набора психодиагностических методов при исследовании каких-либо качеств посредством валидного инструмента. Результаты данного вида исследования реализуются, в первом случае, в процессе разработки тестовой батареи (это пример корректного применения плана 1 на практике), а во втором — путем оценки психологических качеств (пример «лжеэксперимента»),.

К сожалению, некоторые исследования, особенно проводящиеся в целях «обучения», строятся по плану, предусматривающему единичное обследование на одной группе, подвергшейся какому-либо психологическому или организационно-управленческому воздействию. В таких исследованиях полностью отсутствует контроль параметров экспериментальной ситуации, и они не представляют научной ценности. Для целей обучения такой план применим только в рамках ознакомления студентов с методикой или технологией исследования.

Применение данной схемы исследования на практике, как правило, выглядит следующим образом. Проводится обследование испытуемых, и интерпретируются результаты по описанию примененного теста. Такое исследование не учитывает то обстоятельство, что методика разрабатывалась на других обследуемых и в иных ситуациях (ситуация «удобной выборки»), а потому вряд ли валидность, указанная в описании теста, имеет место в действительности. Если к теоретической валидности эта ситуация относится отчасти, то об эмпирической и говорить не приходится. Психолог должен представлять, что каждую методику следует практически заново конструировать и отрабатывать на той конкретной популяции, с которой он работает. Этот процесс ревалидизации психологического измерительного инструмента получил название адаптации метода. Для таких ситуаций Дж. Кэмпбелл указывал, что «существование абсолютного знания или знание сущности отдельных изолированных объектов является иллюзией»^[2].

Тем не менее, такая практика проведения тестирования существует. Особенно она распространена среди начинающих психологов и слабо разбирающихся в существе дела заказчиков психологических исследований. В последнее время ситуация понемногу начинает выправляться, и даже считается неэтичным предоставлять на защиту исследования, проведенные, но плану 1. Действительно, в данной схеме исследования нельзя даже приближенно рассуждать о том, что именно воздействие «X» привело к изменениям исследуемой переменной и именно это воздействие измеряется при помощи тестирования.

Следует запомнить одно, — что план 1 является точкой отсчета в рассмотрении схем психологических исследований.

План с предварительным и итоговым тестированием на одной группе (план 2). Дизайн доэкспериментального исследования с предварительным и итоговым тестированием на одной группе — часто осуществляется в педагогических разработках и профотборе.

Анализ контроля валидности психологического эксперимента, проведенного, но плану 2, показывает возможность осуществления предварительной психодиагностики испытуемых в ходе конструирования методических средств исследования (батареи тестов, отработки и адаптации методик и т. д.) для целей отбора персонала, а также для выполнения психолого-педагогических задач.

Сравнение статических групп (план 3). Дизайн данного психологического исследования имеет вид:

Как следует из схемы, в исследовании участвуют две неоднородные группы. На экспериментальную выборку воздействует независимая переменная «X» и измерение зависимой переменной — итоговое тестирование «О» — осуществляется в ситуации отсутствия предварительного психологического обследования. Контрольная группа подвергается одновременному измерению с экспериментальной группой.

Результаты исследования внутренней валидности эксперимента по плану 3 показывают, что фактор «Фон» контролируется, так как психологическое измерение осуществлялось после воздействия однократно, фактор «Естественное развитие» контролируется ввиду однократного тестирования после воздействия, факторы «Эффект тестирования» и «Реактивный эффект» также контролируются ввиду отсутствия повторного (предварительного) тестирования. Фактор «Отсев» контролируется полностью, так как отсева нет. Фактор «Инструментальная погрешность» не контролируется вследствие неопределенности вывода о валидности тестов. Фактор «Статистическая регрессия» не контролируется ввиду отсутствия отбора и возможности сделать однозначный вывод о включении в группу «лучших» и «худших» испытуемых. Факторы «Отбор испытуемых» и «Взаимодействие фактора отбора с естественным развитием» не контролируются, так как отсутствует отбор.

Источники внешней невалидности — факторы «Реакция испытуемых на эксперимент», «Взаимодействие фактора отбора и экспериментального воздействия», «Взаимная интерференция (наложение) экспериментальных воздействий» не контролируются.

Психологические эксперименты по плану 3 в ходе исследований более предпочтительны, чем другие доэкспериментальные схемы, так как предполагают наличие контрольной группы. Данный вид «дизайна» и факторы, влияющие на валидность исследования, подвержены большему контролю со стороны психологов.

Доэкспериментальные планы широко применяются в ходе исследований профессиональной пригодности специалистов на предприятиях, при решении задач рациональной расстановки кадров. Схемы исследований по планам 1−3 являются «точкой отсчета» в классической экспериментальной работе психологов и активно применяются ими на практике. Возможности контроля факторов невалидности ограничены, но по результатам доэкспериментальных «набросков» исследователь уже может представлять некоторые психологические тенденции и более обстоятельно готовить истинный эксперимент. Поэтому доэкспериментальные схемы активно применяют в так называемых «пилотажных» исследованиях.

Психологические исследования основываются на практическом применении планов так называемого «истинного» эксперимента, когда в ходе исследования применяются контрольные группы. Схемы экспериментов такого рода обозначены как планы 4, 5 и 6.

Дизайн «истинного» эксперимента.

План с предварительным и итоговым тестированием и контрольной группой (план 4). Схема 4 является классическим «дизайном» психологического экспериментального исследования. Его особенностью является не только наличие контрольной группы (она присутствует уже в доэкспериментальной схеме 3), но и эквивалентность экспериментальной и контрольной выборок.

Выбор плана эксперимента с предварительным и итоговым тестированием и контрольной группой производится в соответствии с экспериментальной задачей и условиями исследования. Когда есть возможность сформировать как минимум две однородных группы, применяется следующая схема:

Символ «R» обозначает, что однородность групп получена путем рандомизации.

Для практического усвоения возможностей реализации экспериментального плана 4 можно провести исследование лабораторного формирующего эксперимента, где заложен механизм подтверждения гипотезы о том, что положительная мотивация влияет на концентрацию внимания человека.

Процедура эксперимента:

• 1. Формирование экспериментальной и контрольной выборок. Участники исследования разбиваются на пары, тщательно уравненные по показателям предварительного тестирования или по переменным, значимо коррелирующим между собой. Затем члены каждой пары «случайным образом» путем жеребьевки включаются в экспериментальную или контрольную группы.
• 2. Обеим группам предлагается отработать тест «Корректурная проба с кольцами» (О1 и O3).
• 3. Стимулируется деятельность экспериментальной выборки. Допустим, что испытуемым дается экспериментальная стимулирующая установка (X).
• 4. Обеим группам предлагается отработать тест «Корректурная проба со слогами» (O2 и O4).

Анализ результатов эксперимента.

• 1. Эмпирические данные подвергаются проверке на нормальность распределения.
• 2. Производится расчет среднеарифметического (Mx) и стандартного отклонения (??) результатов предварительного и итогового тестирований.
• 3. Осуществляется сравнение средних значений показателей тестов у экспериментальной и контрольной групп (О1 — O3; O1 — O2; O3 — O4; O2 — O4).
• 4. Осуществляется сравнение средних значений по t-критерию Стьюдента, т. е. определение статистической значимости различий средних.
• 5. Осуществляется доказательство следующих соотношений: O1 = O3; O1 O4, как показателей эффективности эксперимента^[3].
• 6. Производится исследование валидности эксперимента посредством определения степени контроля факторов невалидности.

В теории психологического исследования существует два категорично противоположных мнения к проблеме внешней валидности.

C одной стороны, распространено утверждение Д. Юма о том, что «индукция или обобщение никогда не могут быть полностью логически обоснованы»^[4]. Если внутренняя валидность может быть определена в рамках логики вероятностной статистики, то проблемы внешней валидности до конца не разрешимы никаким ясным и убедительным способом. Если мы проводим исследование на определенной совокупности испытуемых, то очень высока вероятность погрешности при распространении полученных результатов на другую выборку.

C другой стороны, многие ученые разделяют положения постулата Дж. С. Милля о законообразности природы — «склеенности» («stickiness») природы, который гласит, что, чем ближе два события в пространстве и во времени, а также по измеренным значениям по некоторым или по всем параметрам, тем в большей степени они будут следовать одним и тем же законам.

В заключение следует добавить, что, как указывал Дж. Кэмпбелл, оптимальным методом определения эффекта исследования могут быть все же «здравый смысл» и «соображения нематематического характера», однако «хороший экспериментальный план независим от способа статистической обработки результатов»^[5].

План Р. Соло? мона для четырех групп (план 5). Если задачи и условия исследования позволяют осуществить формирование четырех эквивалентных выборок, то эксперимент строится по плану 5, получившему название по имени его составителя — Р. Соло? мона" .

План Соло? мона является попыткой компенсировать факторы, угрожающие внешней валидности исследования. К элементам плана 4 добавляются две группы (экспериментальная и контрольная), в которых не проводится предварительное тестирование.

Сравнение данных по дополнительным группам нейтрализует воздействие тестирования и влияние самой обстановки исследования, а также дает возможность более качественного обобщения результатов.

Выявление эффекта экспериментального воздействия воспроизводится путем доказательства следующих неравенств: O2 > O1; O2 > O4; O5 > O6; O3 > O3.

Если все четыре соотношения выполняются, то правомерность вывода значительно возрастает.

Применение плана 5 определяет вероятность нейтрализации взаимодействия тестирования и экспериментального воздействия, что облегчает интерпретацию результатов исследований по плану 4.

Сравнение O6 с O1 и O3 позволяет выявить комбинированный эффект естественного развития и фона. Сравнение средних O2 и O5; O4 и O6 позволяет оценить главный эффект предварительного тестирования. Сравнение средних O2 и O4; O5 и O6 — главный эффект экспериментального воздействия.

Если главный эффект предварительного тестирования и эффект взаимодействия малы и ими можно пренебречь, то желательно провести ковариационный анализ O4 и O2, используя результаты предварительного тестирования в качестве сопутствующей переменной.

План с контрольной группой и тестированием только после воздействия (план 6). Очень часто при выполнении экспериментальных задач исследователи сталкиваются с ситуацией необходимости изучения психологических переменных в условиях невозможности проведения предварительного обследования испытуемых, так как исследование проводится после воздействия независимых переменных, когда событие уже произошло и необходимо выявить его последствия. Здесь оптимальной схемой исследования является план с контрольной группой и тестированием только после воздействия. Используя рандомизацию, формируются однородные экспериментальная и контрольная выборки испытуемых, подвергшихся воздействию независимой переменной. Тестирование переменных осуществляется после экспериментального воздействия:

Таким образом, основой экспериментального метода в психологии являются так называемые «истинные» планы, в которых осуществляется контроль, практически, всех основных факторов, влияющих на внутреннюю валидность (табл. 5.3). Достоверность результатов в экспериментах, спланированных по схемам 4−6, не вызывают сомнения у значительного большинства исследователей. Главной проблемой, как и во всех иных психологических исследованиях, является поиск и применение адекватных измерительных средств.

Таблица 5.3

Анализ валидности экспериментов по планам 4−6.

Понятие нестинга. Нсстинг (от англ, nesting) представляет собой набор однородных объектов внутри более крупных единиц. Это вариант двухуровневой «иерархической классификации» признаков^[6]. Любая аналитическая работа, в том числе и психологическая, включает в себя разные методы. Нестинг появляется в результате целостного воздействия независимой переменной, состоящей из нескольких взаимосвязанных частей (x1+ х2+ … +хn), в условиях анализа этого комплексного стимула.

Допустим, что при проведении исследования эффективности новой организации деятельности предприятий были изучены условия внедрения методики управления фирмой различными директорами с разным профессиональным опытом — произошло взаимодействие следующих факторов: опыта директора и методики управления фирмой. Данные факторы пересекаются, т. е. обнаруживается их взаимодействие.

При учете третьего фактора — «пола руководителя», возникает «нестинг». Так как факторы «опыт», половой признак (мужчина/женщина) и метод управления организацией можно представить дихотомическими, то формируется «двухуровневый нестинг». Дробление исследуемых факторов на большее число иерархий приводит к образованию более сложной «иерархической классификации» или сложному нестингу. Анализ психологической информации, построенной в форме нестинга, чаще всего осуществляется по схеме, показанной в таблице 5.4.

Таблица 5.4

Схема «двухуровневой классификации» признаков (нестинг)

Эмпирические данные по различным пунктам могут сравниваться между собой посредством применения различных статистических мер связи и математических критериев.

Например, в ходе анализа социально-демографических характеристик персонала компьютерной фирмы был получен смешанный вид иерархической классификации (нестинга) (табл. 5.5).

Таблица 5.5

Данные анализа социально-демографических характеристик персонала предприятия (в %).

Из таблицы видно, что два признака испытуемых (пол и семейное положение) имеют двухуровневую иерархическую структуру, а третий фактор (возраст) — пятиуровневую.

В качестве примера интерпретации нестинга произведем анализ показателя, который выявляет тот факт, что 57% - это общая доля испытуемых женщин 25−30-лстнсго возраста (64%), находящихся замужем, имеющих семьи. Причем данная возрастная группа испытуемых сама по себе составляет 27,5% всей экспериментальной выборки.

Нестинг, как классификация, позволяет удобно представлять полученные экспериментальные данные для анализа, наглядной демонстрации и публикации.

• [1] Термины «схема», «план» или «дизайн» эксперимента используется нами в рамках настоящего учебника как синонимы.
• [2] Кэмпбелл Дж. Модели экспериментов в социально-психологических и прикладных исследованиях. С. 49.
• [3] Знаки равенства или неравенства переменных несут не математическую, а экспериментально-психологическую смысловую нагрузку.
• [4] Цит. по: Кэмпбелл Дж. Модели экспериментов в социально-психологических и прикладных исследованиях. С. 72.
• [5] Там же. С. 84.
• [6] См.: Кэмпбелл Дж. Модели экспериментов в социально-психологических и прикладных исследованиях.
• [7] В таблице исследуемый показатель (57) выделен жирным шрифтом.