Квази-экспериментальный метод отбора подобного по вероятности (propensity score matching)

Однако, не смотря на то, что мы включаем в уравнения регрессии контрольные переменные, это не позволяет нам оценить каузальный эффект. Для того, чтобы причинно-следственный вывод стал возможен, необходимо убедиться, что группа, которая получает воздействие (экспериментальная) и группа, которая не получает воздействие (контрольная) отличаются только наличием воздействия. Оптимальным в данном случае является проведение рандомизированного эксперимента. Случайное распределение участников в экспериментальную и контрольную группу позволяет избежать зависимости от характеристик участников, которые предшествуют эксперименту (Schneider B., Carnoy M., et al. 2007).

Чтобы оценить каузальный эффект в нерандомизированных исследованиях используются квази-экспериментальные методы анализа. В них используются различные способы уменьшения ошибки отбора, что позволяет оценить эффект воздействия (Кузьмина, 2014). В данном исследовании для оценки каузального эффекта будет использоваться квази-экспериментальный метод отбора подобного по вероятности (propensity score matching).

Метод отбора подобного по вероятности позволяет оценить средний эффект воздействия для экспериментальной группы (СЭВЭ). СЭВЭ равен разнице в средних результатах участников из экспериментальной и контрольной групп. Основная идея метода заключается в том, чтобы каждому участнику исследования из экспериментальной группы найти идентичного участника из контрольной группы и найти разницу в их результатах.

Чтобы реализовать на практике основную идею метода отбора подобного, при делении студентов, участвующих в исследовании ISHEL, на группы необходимо учесть их характеристики, характеристики их преподавателей и вузов. И с учетом этих характеристик рассчитать вероятность каждого участника попасть в экспериментальную группу (propensity score). После такого разбиения не должно быть статистически значимых различий по характеристикам студентов, преподавателей и вузов между двумя группами. Таким образом, появляется возможность заключить, что различие в результатах тестирования студентов в экспериментальной и контрольной группах будет обусловлено вовлеченностью преподавателей в исследовательскую деятельность. Это позволит нам реплицировать рандомизированный эксперимент, в котором, по крайней мере, по отобранным показателям не будет различия.

Существует несколько способов расчета вероятности попадания студента в экспериментальную группу (propensity score). В данной работе propensity score будет рассчитана с помощью логистической регрессии. При составлении уравнения логистической регрессии важно уделить внимание отбору переменных. Не включение нужных переменных приводит к неверным оценкам вероятности, а включение не нужных переменных увеличивает дисперсию значений вероятности (Brookhart M. A., Schneeweiss S., 2006).

При отборе переменных для расчёта вероятности необходимо соблюдать следующие требования — переменные, на основании которых будет производиться деление на группы должны статистически значимо коррелировать с зависимой переменной и переменной воздействия, а также предшествовать по времени распределению студентов на экспериментальную и контрольные группы (по преподавателям, занимающимся и не занимающимся исследованиями) (D'Agostino R.B., Jr, D’Agostino, 2007).

По поводу количества переменных, включаемых в модель, существуют два противоположных мнения. Одни ученые утверждают, что необходимо включать максимально большое количество переменных, даже если предварительный анализ показывает, что они не достаточно сильно связаны с переменной воздействия (D'Agostino R.B., Jr, D’Agostino, 2007). Другие ученые говорят, что не нужно усложнять модели и достаточно включить переменные сильно связанные с переменной воздействия (Augurzky, B., SchmidtC, 2000).

Помимо отбора переменных для расчета вероятности, необходимо обращать внимание на следующие условия:

• 1. Условная независимость (Conditional Independence Assumption). Если все значимые независимые факторы взяты под контроль, то результат не будет зависеть от получения воздействия (Caliendo M., Kopeinig S., 2008)
• 2. Наличие зоны «Пересечения» (Common Support Assumption and overlap). По тем характеристикам, которые мы включили в уравнение регрессии для расчета вероятности попадания в контрольную или экспериментальную группу, не всегда находятся в двух группах участники, максимально похожие друг на друга. При этом, необходимо, чтобы распределения переменных в обеих группах были похожи друг на друга. Условие считается выполненным, если по всем переменным, включенным в уравнение не будет статистически значимого различия между экспериментальной и контрольной группами (Khandker S. R., Koolwal, 2009).

Существует несколько методов поиска подобных наблюдений. Среди них — метод ближайших соседей (Nearest Neighbor Matching method), метод радиуса (Radius Matching method), метод Кернела (Kernel Matching method), метод стратификации (Stratification Matching method) (Rajeev H. Dehejia and SadekWahba, 2012). Все эти методы отличаются алгоритмом поиска наиболее похожих наблюдений в экспериментальной и контрольной группах для расчета их разницы в баллах ISHEL с целью определить СЭВЭ. В данной работе будут использоваться все перечисленные методы поиска подобных наблюдений.

Метод «ближайших соседей» (nearest neighbour matching) предполагает подбор каждому наблюдению из экспериментальной группы наблюдения из контрольной группы с наиболее близким значением вероятности. Одно и то же наблюдение из группы контроля могло быть выбрано в пару к нескольким наблюдениям из экспериментальной группы — подбор с замещением (matching with replacement). Это уменьшает смещения и повышает качество подбора (Marco Caliendo, Bonn Sabine Kopeinig, 2005).

Использование радиуса (radius matching) похоже на метод подбора ближайшего соседа с той разницей, что каждому наблюдению в экспериментальной группе подбираются все наблюдения в контрольной группе, находящиеся в рамках установленного радиуса (дистанции по propensity scores). Этот метод дает лучший результат в случае, если ближайший сосед находится на большом расстоянии от соответствующего наблюдения в экспериментальной группе, т.к. ограничивает число «плохих соседей» и одновременно позволяет использовать больше информации при анализе (ССЫЛКА) В работе использовался радиус, равный 0,1 (Marco Caliendo, Bonn Sabine Kopeinig, 2005).

Метод стратификации (stratification) — метод, в ходе которого зона зона пересечения делится на интервалы — страты. Оценка эффекта происходит внутри каждой страты посредством нахождения средней разности значений зависимой переменной у наблюдений из экспериментальной и контрольной групп. Как показывают исследования, пяти страт обычно достаточно для того, чтобы убрать 95% смещения, связанного с одним ковариатом (ссылка). Так как при определении использовалась propensity score, это значит, что деление на 5 страт позволяет в значительной степени избавится от смещения, связанного, со всеми ковариатами (Marco Caliendo, Bonn Sabine Kopeinig, 2005).

Метод Кернела (Kernel matching) — непараметрический метод, связанный с присвоением каждому наблюдению из группы контроля весов, используемых при расчете эффекта. Веса зависят от дистанции между наблюдениями в контрольной группе с наблюдением в экспериментальной группе, для которого рассчитывается эффект: наблюдение из группы контроля, находящееся ближе по значению вероятности к данному наблюдению из экспериментальной группы получает больший вес. Преимущество метода — сопоставление большего числа наблюдений из группы контроля при расчёте эффекта (Marco Caliendo, Bonn Sabine Kopeinig, 2005).

Метод логистической регрессии

Для ответа на второй исследовательский вопрос, касающийся оценки различия в практиках обучения преподавателей, вовлеченных и не вовлеченных в исследовательскую деятельность, в качестве зависимой переменной будет выступать дихотомическая переменная «Проводил или не проводил преподаватель исследование/исследовательский проект». Учитывая этот факт, для ответа на вопрос будет использоваться логистическая регрессия. Логистическая регрессия обеспечивает возможность оптимального анализа дихотомических переменных. Логистические регрессионные уравнения предсказывают вероятность положительного исхода события в зависимости от предикторов, включенных в уравнение (O'Connell&Amico, 2010).

Шкала преподавательских практик была взята из анкеты студентов, вопросы касались преподавателей математики, у которых студенты учились. Так как со студентами до третьего курса могли работать несколько преподавателей математики, то это можно расценивать как ограничение. Надежность шкалы составляет 0,76.

Анализ результатов проводился с помощью программы Stata 13 версии.