Общие представления о планировании экспериментов

Формы экспериментального контроля

Три направления в понимании планирования эксперимента и основных форм экспериментального контроля

Достижение валидности обсуждается как на этапах формального и содержательного планирования исследования, так и после его проведения, которое могло включать изменение набора учитываемых переменных и других аспектов осуществленного экспериментального контроля.

Можно выделить следующие три традиции в понимании того, что следует считать планированием психологического эксперимента.

• 1. Выбор схемы, или плана, получения данных для проверки каузальной гипотезы. Такому представлению о планировании, когда исследователь выбирает ту или иную из набора имеющихся схем (тот или иной дизайн), сравнивая их возможности с точки зрения решения проблем приближения эксперимента к безупречному, следует ряд учебников. Обычно при этом опускается проблема соотнесения разноуровневых гипотез, а также другие содержательные аспекты планирования.
• 2. Определение типа переменных с точки зрения заданных гипотетических конструктов и решения вопросов об операционализации переменных, а исходя из этого — выбор методических средств, отражающих взаимосвязь аспектов содержательного и формального планирования.
• 3. Планирование с целью последующего использования статистических решений об экспериментальных эффектах, а значит, указание того минимального эффекта (в различиях 311), который будет принят в качестве критериального для принятия и отвержения экспериментальных гипотез.
• 1-й и 3-й пункты объединяются под названием формального планирования и являются основой вывода об экспериментально установленном факте. При обсуждении этих вопросов оцениваются внутренняя и операциональная валидность как необходимо включенные в логику установления результата действия НП и контроля 1111.
• 2-й пункт включает проблематику содержательного планирования эксперимента. Содержательное планирование связано также с решением вопросов о переходе от формулирования теоретической гипотезы к экспериментальной, с решением проблем соответствия и тем самым определения типа эксперимента, с оцениванием конструктной и внешней валидности наряду с операциональной. В целом оно служит обоснованию логики вывода как обобщения за пределами экспериментальной ситуации — как обобщения на теоретическую модель или переноса установленной зависимости на другие ситуации, виды, деятельности, группы испытуемых и т. д.

Экспериментальный контроль обеспечивает достоверность вывода об эмпирически выявляемой зависимости с точки зрения отвержения других правдоподобных объяснений, так или иначе исходящих из «технических условий» ее получения, но не достоверность ее с точки зрения конкретизации теоретической интерпретации причинно-следственного характера.

Можно видеть сопоставимость аспектов экспериментального контроля с аспектами планирования. Достоверность вывода об установленной зависимости с точки зрения контроля переменных достигается: 1) возможностями формального планирования (как построения экспериментальных схем, а также определения необходимого числа проб); 2) заданиями разных типов переменных и, соответственно, разных типов экспериментов, что лишь косвенно связано с предпочтением схем; 3) снятием угроз валидному выводу со стороны других факторов, необходимо присутствующих при реализации эксперимента и подлежащих так называемому первичному контролю.

Первичный контроль — контроль всех ПП, в первую очередь связанных с выделением НП и взаимодействием экспериментатора с испытуемым, осуществляемый до выбора планов эксперимента или безотносительно к ним.

План эксперимента (схема, или дизайн) задает схему контроля предъявления уровней НП — порядок экспериментальных условий — одному и тому же испытуемому или группам испытуемых и одновременно — схему фиксации первичных показателей зависимой переменной.

План включает также указание числа опытов («) в каждом экспериментальном условии или число присутствующих в этих условиях испытуемых. Повторение проб или увеличение числа испытуемых позволяет контролировать несистематическую изменчивость, или вариабельность, данных. Количество опытных данных, т. е. число выборочных значений показателей ЗП, зависит от выбора экспериментатором величины минимального эффекта, который будет свидетельствовать о возможности отвержения нуль-гипотез.

Увеличение выборки (или числа опытов) может существенно снизить величину эффекта, достаточного для принятия решения о действии НП. Однако величина и связана и с решением задач содержательного планирования (контроль фактора времени в связи с утомляемостью испытуемых, контроль репрезентативности выборки по отношению к популяции и т. д.). Поэтому ссылка на статистические таблицы, в которых представлены связи величины минимального различия (значений ЗП) и ауровней значимости применительно к использованию конкретных статистических критериев, не может служить достаточным основанием для определения необходимого числа проб или испытуемых.

Выделение переменной, выступающей в качестве НП, предполагает также контроль ее уровней. Уровней не может быть меньше, чем два: они называются экспериментальным и контрольным условиями. Схемы экспериментов задают и схемы сравнений выборочных значений ЗП.

Первое знакомство с экспериментальными схемами включает классификацию их по двум основаниям.

• 1. Количество уровней НП. В соответствии с этим эксперимент может быть бивалентным (с двумя уровнями) или многоуровневым (с тремя и более уровнями, которым соответствует число экспериментальных условий или экспериментальных групп).
• 2. Вид схемы. Осуществление эксперимента в соответствии с интраиндивидуальными или межгрупповыми схемами предъявлений условий НП (одному и тому же испытуемому или разных условий — разным испытуемым). И специальном разделе уточнены возможные схемы контроля угроз валидности при реализации этих планов.

Для представления примеров экспериментальных схем как планов организации экспериментальных воздействий введем общепринятые обозначения. Экспериментальный фактор, или ПП, может выступать синонимом Х-воздействия. В экспериментальных схемах это выглядит так:

X — НП без указания уровней; X' и X" — два уровня НП (если ограничиться дихотомической переменной); Хх, Х2,… Хп — п уровней экспериментального фактора;

R — рандомизация, т. е. случайный порядок предъявления проб (как уровней НП) в последовательности либо случайная стратегия образования групп (случайная выборка из популяции или случайное распределение имеющейся выборки па группы испытуемых);

О — измерение (наблюдение) психологического показателя, или ЗП; в случае предварительного тестирования появляются индексы, например, ОХО" или согласно номерам выборок О, 02 и т. д.

Обозначения разных уровней НП прописными буквами латинского алфавита появится в описании интраиндивидуальных и кросс-индивидуальных схем: ЛВС и т. д. Так, схемы ABC и СВА указывают отличия порядка предъявления трех уровней основной НП. Сам порядок следования уровней А, В и С выступит вторым — производным — экспериментальным фактором.

Кроме того, как это имеет место в плане, называемом " временные серии" , сам фактор времени может присутствовать в схеме в качестве подразумеваемой переменной. В лонгитюдном исследовании контроль фактора времени предполагается специальными схемами, которые представлены в главе 19.

При разработке экспериментальных схем следует учитывать возможную неидентичность плана проведения эксперимента и плана обработки данных. Выбрать адекватную схему представления данных — это значит решить проблему спецификации психологических гипотез с точки зрения анализа допустимых форм статистических решений об экспериментальных эффектах.

Следует учесть, что формулирование системы гипотез, оценка валидности эксперимента и реализация выводов входят как составляющие в общий норматив — контролировать угрозы валидному выводу.

Отметим, что проблема правильности выводов — это также проблема контроля за логической компетентностью. Неправильные, или артефактные, выводы исследователь может сделать и в том случае, если эксперимент был достаточно валидным. Дело в том, что никакая экспериментальная схема не может контролировать всех возможных смешений и на пути рассуждений исследователя об эмпирически установленной зависимости остается множество возможностей сделать неверные умозаключения. Совершение ошибок умозаключений приводит к артефактным выводам. Наиболее частые в психологических исследованиях ошибки умозаключений, которые случаются при обобщении эмпирических зависимостей, обсуждаются в главе 22.