Схемы первичного контроля. 
Интраиндивидуальный и кросс-индивидуальный контроль

Для повышения внутренней валидности внутрисубъектного эксперимента возможное влияние эффектов порядка предъявления должно быть проконтролировано использованием специально разработанных схем последовательности предъявления экспериментальных условий. Эти схемы называются схемами позиционного уравнивания. Они различаются в зависимости от количества уровней независимой переменной, используемых в исследовании, а также от того, предъявляется ли испытуемому каждый уровень однократно или многократно.

Существует два основных подхода к построению схем позиционного уравнивания — интраиндивидуальный и кросс-индивидуальный контроль.

Интраиидивидуалыюе уравнивание доступно, когда вы можете предъявлять каждый уровень независимой переменной каждому испытуемому несколько раз. В этом случае эффекты последовательности будут нивелированы на уровне отдельного участника, и полный эксперимент будет проведен с каждым из них. Таким образом, даже если бы в вашем распоряжении был всего один испытуемый, эксперимент с ним был бы валидным, поскольку проведенное позиционное уравнивание полностью проконтролирует нежелательные влияния последовательности предъявления.

Лучше всего такие способы справляются с эффектами прогрессии; они подходят для экспериментов, в которых используется не очень много уровней независимой переменной (не более трех-четырех), а работа испытуемого на каждом из них оказывается непродолжительной (задания не требуют много времени для выполнения). Это связано с тем, что использование интраиндивидуального контроля часто требует большого количества предъявлений каждого экспериментального условия, и если их слишком много или участие в каждом из них занимает много времени, то общая продолжительность участия испытуемого в эксперименте может сильно возрасти.

В таких случаях может быть использовано кросс-индивидуальное уравнивание, при котором каждый уровень независимой переменной предъявляется каждому испытуемому однократно. Эксперимент остается внутрисубъектным, поскольку каждое условие предъявляется каждому участнику, однако полный контроль эффектов последовательности осуществляется не на уровне отдельного участника, а на уровне выборки в целом. Полным эксперимент будет только при наличии такого количества испытуемых, которое соответствует выбранной схеме позиционного уравнивания. Такой способ сокращает время работы испытуемого в эксперименте, но предъявляет определенные требования к их количеству. Кросс-индивидуальное уравнивание хорошо справляется как с линейно нарастающими эффектами прогрессии, так и с эффектами симметричного переноса.

В дальнейших примерах мы будем использовать для обозначения уровней независимой переменной (разных экспериментальных условий) буквы латинского алфавита. За каждой буквой закреплено свое содержание — соответствующий уровень независимой переменной.

Так, например, в исследовании эффективности методов заучивания стихотворений мы можем обозначить буквой А метод коротких отрывков, а буквой В — метод длинных отрывков. В других исследованиях этими же буквами будет обозначаться что-то иное. Разные буквы приписываются изучаемым экспериментальным условиям случайным образом.

Буквами обозначаются именно уровни независимой переменной, а нс отдельные задания или пробы. Если для каждого условия предполагается проведение нескольких проб, то при описании схем экспериментальных планов буквенными выражениями конкретные пробы игнорируются, важно лишь то, какое экспериментальное условие представлено данным заданием.

Рассмотрим сначала схемы интраиндивидуалыюго контроля, т. е. подход к разработке последовательностей предъявления условий, когда каждый уровень независимой переменной предъявляется многократно.

Существует несколько разных подходов к уравниванию эффектов последовательности при таком построении исследования.

Первый из них — простое чередование условий (регулярное чередование). При этом измерения в одном условии всегда будут следовать за измерениями в другом условии, и эта последовательность будет повторена большое количество раз. Если у вас всего два уровня независимой переменной, схематически это будет выглядеть так: АВАВАВАВ…, а при наличии трех уровней — АВСАВСАВС… Одна и та же последовательность всех условий будет предъявляться столько раз, сколько этого требует ваш эксперимент.

Такой способ особенно удачен при очень большом количестве предъявлений каждого условия. Однако регулярность чередования имеет свои минусы: при этом сложно избежать систематического смешения с другими факторами, которые могут изменяться с такой же регулярностью. Так, если каждый второй день испытуемые ходят в бассейн, это может совпадать с чем-то еще — например, каждый второй день в бассейне (предположим, все испытуемые ходят в один и тот же бассейн) дежурит неприятный тренер, необходимость взаимодействия с которым вызывает у испытуемых негативные эмоции, что также сказывается па качестве их сна, снижая его показатели. В то же время, если бы они посещали бассейн в другой день и взаимодействовали с другим тренером, этого бы не происходило.

Другим способом уравнивания при использовании нескольких измерений па каждом уровне независимой переменной является обратное позиционное уравнивание. В этом случае сначала все уровни независимой переменной предъявляются в прямой последовательности, а потом в обратной. При необходимости это сочетание может быть повторено нужное количество раз. Для двух условий схематически это будет выглядеть таким образом: ABBA…, а при большем их количестве, например, для четырех, это примет такой вид: ABCDDCBA… Этот способ удобен при небольшом количестве предъявлений каждого уровня независимой переменной. Он хорошо подходит для контроля линейно нарастающих эффектов, поскольку на каждое условие в итоге в среднем приходится их равное влияние.

В качестве минуса обоих описанных выше способов уравнивания можно отметить, что испытуемые могут начать предугадывать, какой уровень независимой переменной будет предъявляться следующим, что может исказить полученные результаты.

Чтобы обойти возможность предугадывания последовательности, можно использовать случайное чередование условий. Этот способ используется при большом количестве предъявлений каждого уровня независимой переменной, а еще в случаях, когда особенно важно, чтобы испытуемый не понимал, какой именно уровень отрабатывается в данный момент (например, при дегустации вслепую). То, какое условие будет предъявляться следующим, определяется случайным образом, т. е. появление любого из уровней независимой переменной оказывается равновероятным.

Но если использовать абсолютно случайную последовательность, количество предъявлений каждого условия, скорее всего, окажется неодинаковым, а их распределение во времени — неравномерным. Так, например, случайным образом сначала может десять раз подряд выпасть один уровень независимой переменной, потом два раза выпасть второй и еще четыре раза — первый.

Для того чтобы сделать количество предъявлений всех условий равным, используется псевдорандомизация, когда каждая следующая проба выбирается случайным образом, однако количество возможных выборов изначально ограничено. Это аналогично тому, как если бы вы выбирали карты из колоды, и красные масти значили бы предъявление одного уровня независимой переменной, а черные — другого. Если вы выбрали одну красную карту, то вероятность того, что следующая карта тоже будет красной, изменится, так как количество красных карт, оставшихся в колоде, уменьшилось.

Случайное чередование хорошо контролирует любые линейные эффекты, но только при достаточно большом количестве проб.

Практически всегда этот способ применяется в экспериментах с фиксацией времени реакции. Заметим, что использование современного программного обеспечения для проведения экспериментов позволяет облегчить работу экспериментатора: программы могут автоматически рандомизировать предъявляемые стимулы или задания.

Еще один способ уравнивания, который сочетает в себе положительные моменты позиционного уравнивания и случайного чередования, — блоковая рандомизация.

Идея, лежащая в основе этого способа, заключается в том, что каждый уровень независимой переменной предъявляется по одному разу, прежде чем хотя бы какой-то предъявится второй раз; третье предъявление уровня возможно только после того, как каждый из них был предъявлен, но два раза и т. д. Блоком называется однократное предъявление каждого уровня независимой переменной. Последовательность условий внутри блока оказывается случайной. Например, если используется четыре условия; допустим, первым случайным образом выбрано условие В на второй позиции с равной вероятностью может оказаться любое из трех оставшихся условий — скажем, условие А; на третьей позиции с равной вероятностью может казаться любое из двух оставшихся условий и т. д. В результате получается один блок со случайно расставленными внутри него условиями. Далее формируется второй блок, где условия также расставляются случайно и т. д.; все зависит от желания экспериментатора, сколько раз будет предъявлен каждый уровень независимой переменной.

Этот способ будет хорошо нивелировать эффекты прогрессии при небольшом количестве проб на каждом уровне независимой переменной и одновременно с этим исключать возможность предугадывания испытуемым последующих условий.

Теперь рассмотрим варианты кросс-индивидуального контроля, т. е. способы позиционного уравнивания, когда каждый уровень независимой переменной предъявляется испытуемому по одному разу. Еще раз напомним, что при этом невозможно разработать последовательность, которая позволяла бы полностью компенсировать все негативные эффекты в рамках работы одного испытуемого: каждому предъявляется лишь одна из всех необходимых для этого последовательностей. Схемы кроссиндивидуального уравнивания работают лишь при условии, если в эксперименте участвует достаточное количество испытуемых.

Существуют два основных подхода к кросс-индивидуальному контролю: полное и частичное позиционное уравнивание.

При полном позиционном уравнивании экспериментатор разрабатывает все возможные варианты последовательностей предъявления и каждую из них предъявляет одинаковому количеству испытуемых. Определение того, какая последовательность будет использована для каждого испытуемого, осуществляется случайным образом.

Однако с применением этого способа могут возникнуть сложности, когда сравниваемых в эксперименте условий будет много. Если вы изучаете всего два условия, например, влияние фонового звучания радио на правильность выполнения домашнего задания у школьников, и в одном случае школьникам предлагается выполнять задание в тишине, а в другом — при включенном радиоприемнике, тогда существуют всего две возможные последовательности предъявления: АВ и ВА. У половины испытуемых нужно сначала фиксировать успешность выполнения домашнего задания в тишине, а мотом при включенном радио, а у второй половины — наоборот, сначала при включенном радио, а потом в тишине.

Если количество сравниваемых условий увеличивается до трех (помимо условия с выключенным радио можно, например, изучать влияние фоновой работы разных радиостанций преимущественно разговорных или преимущественно музыкальных), то количество возможных вариантов последовательностей увеличится до шести: АВС, АСВ, ВАС, ВСА, САВ и СВА.

В общем случае количество возможных вариантов последовательностей можно рассчитать как факториал от количества уровней независимой переменной (N!). Если уровней независимой переменной насчитывается четыре, то количество последовательностей составит 41 = 1x2x3x4 = 24, при пяти уровнях независимой переменной последовательностей будет 120, а при шести — уже 720. Если исходить из требования, что каждая последовательность должна быть предъявлена хотя бы один раз, то необходимое количество испытуемых возрастает очень сильно.

Таким образом, полный перебор всех возможных последовательностей применим лишь при ограниченном количестве экспериментальных условий. Если же их слишком много, используется частичное позиционное уравнивание.

Один из его вариантов заключается в том, чтобы из всех возможных последовательностей случайным образом отобрать их нужное количество. Например, при изучении шести условий из 720 возможных вариантов можно случайным образом отобрать столько, сколько вы планируете использовать испытуемых. При таком подходе предполагается, что случайность выбора будет способствовать преодолению эффектов порядка в эксперименте. Однако в действительности этот способ может оказаться недостаточно успешным, и какие-то условия будут чаще встречаться на начальных позициях, а какие-то — на конечных, что в итоге приведет к неравномерному распределению влияния эффектов последовательности на разные условия.

Другим способом частичного позиционного уравнивания является латинский квадрат, при использовании которого из всех возможных вариантов последовательностей также используются лишь несколько, но правила их построения обеспечивают очень хороший контроль негативных влияний.

Латинский квадрат получил свое название из-за того, что в качестве элементов множества, расставляемых в квадрат, изначально использовались буквы латинского алфавита. Математически латинский квадрат представляет собой матрицу n х n, заполненную элементами какого-то множества, количество которых равно п, таким образом, чтобы каждый элемент встречался в матрице один раз в каждой строке и один раз в каждом столбце. Для каждого множества N в зависимости от количества его элементов может быть построено много разнообразных латинских квадратов.

Применительно к экспериментальным планам в качестве множества используются исследуемые уровни независимой переменной, а каждая строка получившегося квадрата рассматривается как разработанная последовательность предъявления. Каждая такая последовательность в дальнейшем предъявляется одинаковому количеству испытуемых.

Использование латинского квадрата позволяет получить такие последовательности, которые позволяют скомпенсировать возможные эффекты прогрессии за счет того, что каждый уровень независимой переменной, но одному разу появляется на каждой из возможных последовательных позиций.

Обычно в исследованиях используются правильные (или сбалансированные) латинские квадраты, в которых, помимо правила одинаковой частоты появления каждого условия на каждой последовательной позиции, выполняется и еще одно правило: каждый уровень независимой переменной предшествует и следует за каждым другим уровнем по одному разу. Такое расположение условий позволяет скомпенсировать эффекты симметричного переноса.

Таким образом, использование правильного латинского квадрата может нивелировать на кросс-индивидуальном уровне все возможные эффекты последовательности, которые могут быть преодолены в принципе.

Сбалансированные латинские квадраты строятся немного по-разному в зависимости от того, четное или нечетное количество уровней независимой переменной используется в исследовании. Для экспериментов с четным количеством уровней независимой переменной используется один латинский квадрат n х n, где n — это количество условий. В результате получается n последовательностей предъявления. При использовании нечетного количества уровней независимой переменной необходимо построить два латинских квадрата, что в результате даст количество последовательностей, равное n х 2.

Для того чтобы построить правильный латинский квадрат для четного количества условий, необходимо проделать следующие шаги.

1. Первый ряд латинского квадрата (первую последовательность) нужно построить по такой схеме:

А В (N) С (N-1) D (N-2) Е (N-3) и т. д.

Здесь А — это первое экспериментальное условие; В — второе, … а N — последнее изучаемое экспериментальное условие. Соответственно, N-1 — предпоследнее условие и т. д. В зависимости от количества условий ширина стороны латинского квадрата будет варьировать.

Если вы изучаете шесть экспериментальных условий — А, В, С, D, Е, F, то (N) в этом случае будет соответствовать условию F, (N-1) — условию Е и т. д., а первая строка латинского квадрата будет выглядеть так:

ABFCED.

2. Второй ряд латинского квадрата строится следующим образом: под каждой из букв первой строки записывается буква, следующая за ней по алфавиту. Но поскольку количество условий ограничено, то для буквы, обозначающей последнее условие (в нашем примере — F), как бы следующей по алфавиту будет первая буква (т.е. буква А). Таким образом, под буквой А мы запишем В, под В запишем С, под F запишем А и так до конца строки. В результате первая и вторая строки будут выглядеть так:

ABFCED

ВCADFE.

3. Далее, но тому же правилу (новая строка строится на основе предыдущей, так что каждая буква заменяется па следующую за ней по алфавиту) необходимо достроить все остальные строки квадрата. Строк должно получиться столько же, сколько колонок:

ABFCED ВCADFE CDBEAF DECFBA EFDACB FAEBDC.

Итак, получилось всего шесть последовательностей предъявления, для которых соблюдаются основные правила:

• — на каждой последовательной позиции каждое условие встречается только один раз;
• — каждое условие следует перед каждым другим, а также за каждым другим по одному разу.

В приведенном примере условие А встречается по одному разу в каждой колонке. При этом в первой строке оно предшествует условию В, во второй — условию D, в третьей — условию F, в четвертой оно идет последним, т. е. не предшествует никакому условию, в пятой — условию Сив шестой — условию Е. То же самое верно и для условий, стоящих перед А: в первой строке перед условием А нет никакого другого условия, во второй перед ним стоит условие С, в третьей — условие Е, в четвертой — условие В, в пятой — условие D и в шестой — условие F.

Если попытаться построить правильный латинский квадрат, но этой же схеме для нечетного количества уровней независимой переменной, окажется, что в рамках одного квадрата не все правила будут выполнены. Рассмотрим квадрат для семи условий:

ABGCFDE

BCADGEF

CDBEAFG

DECFBGA

EFDGCAB

FGEADBC

GAFBECD.

Здесь каждое экспериментальное условие предъявляется по одному разу на каждой из последовательных позиций, т. е. первое правило выполняется. Однако второе правило не выполняется: мы видим, что условие А дважды предшествует условию В (в первой и пятой строках) и ни разу не предшествует условию С. Аналогичную «несбалансированность» можно увидеть и для других условий.

Для преодоления этого дисбаланса следует строить два латинских квадрата и использовать оба полученных набора последовательностей на равном количестве испытуемых. Таким образом, для построения правильного латинского квадрата для нечетного количества уровней независимой переменной нужно проделать следующие шаги.

1. Построить первый квадрат по описанным выше правилам. В примере для семи условий он будет выглядеть так:

ABGCFDE

BCADGEF

CDBEAFG

DECFBGA

EFDGCAB

FGEADBC

GAFBECD.

2. Построить второй латинский квадрат посредством инвертирования первого квадрата. Этого можно добиться, «повернув» исходный латинский квадрат на 180°^[1]. Первая строка исходного квадрата должна стать последней строкой второго, причем последовательность букв в ней должна быть обратной (первая буква станет последней, вторая — предпоследней и т. д.). Вторая строка исходного квадрата должна стать предпоследней строкой второго, последовательность букв в пей также должна инвертироваться и т. д.

Для нашего примера второй латинский квадрат получится таким:

DCEBFAG CBDAEGF BACGDFE AGBFCED GFAEBDC FEGDAСВ EDFCGBA.

Теперь, если использовать два этих квадрата, или 14 возможных последовательностей предъявления, все правила будут соблюдены дважды. Каждое условие дважды встретится на каждой позиции; каждое условие будет предшествовать каждому из оставшихся и следовать за ними дважды. Главное, что количество следований, предшествований и предъявлений на определенной позиции будет уравнено.

Таким образом, при использовании нечетного количества уровней независимой переменной применение правильного латинского квадрата может быть осложнено необходимостью привлечения большего количества испытуемых.

Для корректного использования латинского квадрата при кросс-индивидуальном уравнивании должны быть выполнены следующие два условия: буквенные обозначения приписываются экспериментальным условиям случайным образом;

— количество испытуемых, работающих с каждой из последовательностей предъявления, должно быть одинаковым.

Кросс-индивидуальный контроль — наиболее часто применяемый способ построения многоуровневых внутрисубъектных экспериментов (подробнее о многоуровневых экспериментах говорится в третьем параграфе этой главы). И в этих случаях наиболее часто встречающейся схемой позиционного уравнивания также является латинский квадрат.

Со статистической точки зрения, эта схема работает за счет того, что при анализе результатов происходит усреднение показателей зависимой переменной, полученной на каждом уровне независимой, по всем испытуемым сразу. В результате усреднению подлежат все возможные эффекты последовательностей, которые могли проявиться на каждой позиции предъявления, а также все возможные влияния предшествования других уровней. И если при использовании интраиндивидуальных схем уравнивания увеличение количества испытуемых используется для повышения надежности эксперимента, то в кросс-индивидуальных исследованиях оно необходимо для осуществления полного уравнивания побочных переменных.

Испытуемые при такой схеме могут быть разделены на группы по тому, какая последовательность предъявления использовалась (несколько испытуемых работали в последовательности первой строки латинского квадрата, столько же — в последовательности второй и т. д.). В связи с этим можно проводить дополнительный статистический анализ, который может показать, насколько влияние эффектов последовательности проявлялось в данном эксперименте. Для этого необходимо сравнить результаты, показанные подгруппами испытуемых, работавшими в разных последовательностях. Другими словами, порядок предъявления проб при анализе данных может быть рассмотрен как вторая независимая переменная (предъявляющаяся по межгрупповой схеме). То есть внутрисубъeктныe планы с кросс-индивидуальным контролем можно рассматривать как факторные эксперименты (см. гл. 13 «Факторные эксперименты»).

Итак, для контроля эффектов последовательности во внутрисубъектных экспериментах используются специальные процедуры позиционного уравнивания, которые могут различаться в зависимости от количества уровней независимой переменной, а также от количества предъявлений каждого из них. В первую очередь, эти процедуры призваны бороться с линейно нарастающими эффектами последовательности, но в некоторых случаях с их помощью могут быть уравнены и последствия симметричного переноса. При планировании эксперимента необходимо выбрать такой способ позиционного уравнивания, который будет наиболее эффективен для данного случая.

Следует помнить, что если допущения о линейности нарастания эффектов прогрессии, а также о симметричности переноса не подтверждаются, использовать внутрисубъектный план нельзя. В этом случае необходимо использовать межгрупповые эксперименты.

• [1] См.: Campbell G., Geller S. Balanced latin squares. Purdue University Department of Statistics Mimeoseries. 1980. Vol. 80 (26).