Программа исследования. 
Оценка валидности Единого государственного экзамена (ЕГЭ) как вступительного экзамена

государственный экзамен единый абитуриент Проблемная ситуация и постановка проблемы Разработка и введение в практику Единого Государственного Экзамена (ЕГЭ) стали ключевыми элементами реформы российской образовательной системы, основные идеи которой были сформулированы в Концепции модернизации российского образования, разработанной в 2000 году.

ЕГЭ стал новой оценочной процедурой, основная черта которой — его стандартизированный и всеобщий характер. Такая форма экзаменации призвана решать сразу несколько важных задач. Во-первых, ЕГЭ должен был стать основой для системы оценки качества школьного образования и всеобщей итоговой аттестации выпускников школ; во-вторых, он был призван решать задачу обеспечения равного доступа к высшему образованию для всех выпускников школ, вне зависимости от их социальных и экономических характеристик.

Таким образом, другая важная особенность ЕГЭ заключается в том, что он совмещает в себе выпускной школьный и вступительный вузовский экзамен. Это отличает его от других стандартизированных экзаменов, применяющихся в мировой практике, которые чаще всего используются как вступительные экзамены и сдаются вне школы. Такая особенность предполагает, что ЕГЭ должен одновременно оценивать как детей, владеющих минимальным уровнем школьных знаний и не собирающихся продолжать обучение, так и тех, кто претендует на дальнейшее обучение в высших учебных заведениях, что ставит особенные требования к разработчикам его содержания.

С 2001 года ЕГЭ использовался как экспериментальная форма зачисления абитуриентов в ВУЗы, и в течение этого периода были зафиксированы важные изменения: расширился социальный состав студенчества, увеличилась доля студентов из отдаленных регионов, сельской местности, малоресурсных семей, произошло перераспределение состава студентов на более и менее востребованных специальностях (Решетникова, Эфендиев, 2004). На данный момент отмечается, что ЕГЭ справляется со своей социальной функцией: сделать высшее образование более открытым для всех групп населения (Болотов и др., 2012).

ЕГЭ был признан эффективным инструментом и в 2009 году он стал обязательной формой вступительных экзаменов для всех ВУЗов России, заменив собой прежние вступительные испытания, которые прежде устанавливались ВУЗами самостоятельно. С этого времени результаты ЕГЭ должны использоваться как основной индикатор подготовленности абитуриентов к дальнейшей учебе в университете. Для каждого направления обучения определен список из 3 или 4 предметов, результаты по которым должен предоставить абитуриент, если он хочет быть зачисленным на данную программу. Список предметов ЕГЭ различается для разных направлений подготовки и входящие в суммарный балл предметы в разной степени релевантны последующей программе обучения в ВУЗе.

В данной ситуации возникает вопрос, является ли при этом ЕГЭ адекватной мерой учебного потенциала студента. Безотносительно того, каким образом оцениваются с помощью ЕГЭ компетенции выпускников, именно на основании его результатов ВУЗы принимают решения о зачислении абитуриентов, а это значит, что его результаты должны точно отражать способности студента к дальнейшей учебе. Но, вопрос о том, насколько хорошо ЕГЭ справляется со своей инструментальной функцией — отбора абитуриентов в университеты, даже после его введения в качестве обязательного экзамена остается нерешенным. Таким образом, остается проблема валидизации ЕГЭ как вступительного экзамена.

В данном исследовании мы будем рассматривать баллы ЕГЭ именно как инструмент, которым пользуются ВУЗы для принятия решений о приеме абитуриентов, и задаемся целью проверить адекватность применения этого инструмента в том виде, как он используется в настоящий момент, иначе говоря, оценить валидность ЕГЭ как вступительного экзамена.

Целью данного исследования является оценка валидности ЕГЭ как вступительного экзамена, то есть того, насколько ЕГЭ способен исполнять функцию оценки компетенций абитуриентов, необходимых для их отбора в ВУЗы.

В данном исследовании мы будем рассматривать прогностическую валидность ЕГЭ, то есть оценивать, насколько точно на основании ЕГЭ можно предсказывать дальнейшую успеваемость студента в ВУЗе.

Оценка прогностической вадидности вступительного экзамена предполагает поиск ответов на следующие вопросы:

• · Существует ли линейная зависимость между ЕГЭ и успеваемостью в вузе? И если да, то насколько она сильная?
• · Различается ли предсказательная способность разных предметов ЕГЭ, формирующий суммарный балл?

Учитывая специфику приема абитуриентов в России, где, помимо ЕГЭ существует дополнительный инструмент отбора — олимпиады школьников, в рамках оценки валидности ЕГЭ нам представляется важным ответить на следующий вопрос:

· Как работает ЕГЭ наряду с другим средством отбора абитуриентов — олимпиадами?

Наконец, поскольку ЕГЭ был разработан как инструмент для выравнивания шансов абитуриентов на поступление в ВУЗ, нам представляется важным оценить его валидность в связи в различными индикаторами социально-экономического положения студентов. Поэтому мы также предполагаем дать ответ на вопрос:

· Влияют ли социально-экономические характеристики студентов на связь между ЕГЭ и успеваемостью? И если да, то каким образом?

Перечисленные вопросы были развернуты в следующих задачах.

Задачи.

I блок задач. Связь ЕГЭ и успеваемости.

• 1. Оценить силу связи между суммарным баллом ЕГЭ и успеваемостью.
• 1.2. Выяснить, различается ли валидность суммарного балла ЕГЭ для отбора студентов на различные направления подготовки.
• 2. Оценить силу связи между баллами ЕГЭ по отдельным предметам и успеваемостью.
• 2.2. Оценить валидность ЕГЭ по различным предметам для разных направлений подготовки

II блок задач. Взаимодействие ЕГЭ и олимпиад.

• 1. Выяснить, повышает ли эффективность отбора студентов совмещение результатов ЕГЭ и олимпиад
• 2. Сравнить, что лучше предсказывает успеваемость студентов: высокие баллы ЕГЭ или олимпиады

III блок задач. Влияние социально-экономических характеристик на связь ЕГЭ и успеваемости.

• 1. Оценить, различаются ли баллы ЕГЭ и успеваемость у студентов из разных типов населенного пункта
• 1.2. Оценить, различается ли взаимосвязь между ЕГЭ и успеваемостью для студентов из разных типов населенного пункта
• 2. Оценить, различаются ли баллы ЕГЭ и успеваемость у студентов из разных типов школ
• 2.2. Оценить, различается ли взаимосвязь между ЕГЭ и успеваемостью для студентов из разных типов школ
• 3. Оценить, различаются ли баллы ЕГЭ и успеваемость у студентов из семей с разным уровнем образования родителей
• 3.2. Оценить, различается ли взаимосвязь между ЕГЭ и успеваемостью для студентов из семей с разным уровнем образования родителей

Гипотезы.

I блок. Связь ЕГЭ и успеваемости.

• 1. Между суммой баллов ЕГЭ и академическими показателями студентов существует достаточная линейная связь. В качестве референтного значения валидности экзамена нами была принята его способность объяснять 15−25% дисперсии дальнейшей успеваемости (коэффициент детерминации в регрессионных моделях R²?0,15−0,25), что является средней предсказательной способностью стандартизированных экзаменов SAT и ACT в США (Rothstein, 2004) (Kuncel, Hezlett, 2007).
• 2. Предсказательная способность ЕГЭ устойчива для различных когорт студентов, то есть ЕГЭ, проведенные в разные годы, имеют одинаковую валидность.
• 3. Сила связи ЕГЭ и успеваемости не значительно снижается ко 2 и 3 курсу, но эта связь почти полностью опосредуется влиянием успеваемости на первом курсе на дальнейшие успехи.
• 4. ЕГЭ имеет набольшую валидность для отбора студентов на инжерерно-технические и математические специальности, наименьшую — на гуманитарные.
• 5. ЕГЭ по различным предметам имеют не одинаковую валидность для разных специальностей. Наибольшей предсказательной способностью обладают НГЭ по профильным предметам.
• 6. На каждой специальности вклад различных ЕГЭ в предсказательную способность суммарного балла не одинаков, поэтому эффективность отбора абитуриентов можно повысить, если приписывать разным предметам ЕГЭ разные «веса»

II блок. Взаимодействие ЕГЭ и олимпиад.

• 1. ЕГЭ и олимпиады являются комплементарными средствами отбора абитуриентов: олимпиады отбирают наиболее способных абитуриентов, а ЕГЭ — всех остальных, поэтому:
• 1.2. Олимпиадники имеют более высокие баллы ЕГЭ
• 1.3. Олимпиадники учатся лучше, чем не-олимпиадники
• 1.4. Олимпиады лучше предсказывают успеваемость, чем высокие баллы ЕГЭ

III блок. Влияние социально-экономических характеристик на связь ЕГЭ и успеваемости.

• 1. Социально-экономические характеристики студентов (регион, тип школы, образование родителей) незначительно улучшают способность ЕГЭ предсказывать дальнейшую успеваемость студентов.
• 2. Успеваемость студентов с разными социально-экономическими характеристиками различаются незначительно
• 3. Баллы ЕГЭ для студентов с разными социально-экономическими характеристиками различаются незначительно

Эмпирическая база исследования.

Объект исследования: результаты ЕГЭ и успеваемость студентов российских университетов, поступивших в 2009;2011гг.

Предмет исследования: прогностическая валидность ЕГЭ по отношению к академическим результатам студентов.

Выборка

Тип: кластерная Единица отбора: университеты РФ Метод отбора: доступная выборка. В выборку вошли данные студентов ВУЗов, которые согласились предоставить информацию для исследования.

Всего в выборку вошло 5 университетов из разных городов России: Твери, Москвы, Йошкар-Олы, Иркутска и Якутска. Вошедшие в выборку вузы относятся к Центральному, Приволжскому, Сибирскому и Дальневосточному федеральным округам, так что можно считать, что выборка равномерно покрывает географию РФ. Всего в выборку вошло более 19 000 студентов.

Талица 1. Выборка по ВУЗам, вошедшим в исследование.

Методология исследования Оценка связи ЕГЭ и успеваемости Мы будем оценивать валидность ЕГЭ как вступительного экзамена, путем измерения силы связи результатов ЕГЭ и дальнейшей успеваемости в ВУЗе. То есть, будем оценивать модель: Y = f (X), где Y — показатель успеваемости в ВУЗе, а X — результаты ЕГЭ. Для этой цели обычно применяется линейный регрессионный анализ, который позволяет оценить, какую долю дисперсии зависимой переменной объясняют переменные-предикторы и оценить индивидуальный вклад в предсказательную способность модели для каждой из них.

В нашем случае, оценка линейной зависимости с применением регрессионного анализа является адекватной потому, что сама система отбора абитуриентов предполагает наличие линейной связи между результатами ЕГЭ и способностями абитуриента к дальнейшему обучению. При приеме в университет, абитуриенты ранжируются на основании суммы баллов ЕГЭ, и предполагается, что более высокий балл означает лучший уровень подготовленности абитуриента.

В качестве основного показателя успеваемости в университете была выбрана средняя оценка за первый год учебы. Как показывают исследования валидности других экзаменов (Patterson, Mattern, 2012) (Patterson, Mattern, 2011) (Radunzel, Noble, 2012), первый год учебы является определяющим для успеваемости на всех последующих курсах, влияет на успешность сдачи итоговых экзаменов и даже на успеваемость в магистратуре (Radunzel, Noble, 2012). Поэтому важным условием валидности экзамена является его способность предсказывать успеваемость именно на первом курсе.

В качестве независимых переменных использовались либо сумма баллов по всем предметам ЕГЭ (модель (1)), либо баллы по каждому предмету ЕГЭ отдельно (модель (2)). Регрессионные модели строились отдельно для каждого факультета рассматриваемых университетов. Кроме того, модели строились отдельно для студентов, поступивших в ВУЗ в разные годы. Такое разделение было предпринято для того, чтобы исключить влияние различий ЕГЭ, проведенных в разные годы, на результаты построения модели. Таким образом, были использованы два типа регрессионных уравнений:

(1).

(2).

где Y_iy — показатель успеваемости студента, поступившего в ВУЗ в год y; X_ni — балл студента i по ЕГЭ по предмету j, о — ошибка.

Таким образом, анализ коэффициентов детерминации полученных моделей парной регрессии позволяет оценить валидность суммарного балла ЕГЭ как инструмента отбора абитуриентов. Анализ стандартизированных регрессионных коэффициентов множественной регрессии позволяет оценить валидность ЕГЭ по каждому отдельному предмету.

Объединение результатов регрессионных моделей с помощью мета-анализа

Мета-анализ — статистический метод, позволяющий объединять результаты отдельных статистических исследований, посвященных одной теме и одному объекту. Основная цель метода — обобщение уже накопленного знания об изучаемом объекте и выявление более общих закономерностей.

Чаще всего мета-анализ применяется в двух случаях: для обобщения результатов отдельных опубликованных исследований и для обобщения результатов исследований, проводимых на небольших выборках, в которых и сами результаты, и статистические тесты не могут быть достаточно надежными. Мета-анализ оказывается особенно важным в том случае, когда разные исследования демонстрируют различные или даже противоречивые результаты. Он позволяет корректировать ошибки выборки, учитывать ошибку измерения и другие искажающие результаты артефакты в дизайне исследований, а совместный анализ целого ряда исследований позволяет сделать более точные выводы об изучаемом объекте.

В нашем исследовании мета-анализ необходим для того, чтобы обобщить результаты анализа валидности ЕГЭ для отдельных факультетов и выявить закономерности, общие для всех анализируемых университетов. На первом этапе каждый факультет университета рассматривается как отдельная единица анализа, то есть для каждого факультета строится отдельная регрессионная модель. Это необходимо для того, чтобы избежать влияния особенностей оценки успеваемости студента на каждом факультете, различий в разбросе баллов ЕГЭ, которые влияют на характер совместного распределения этих двух показателей. Объединение студентов разных факультетов в одну модель может привести к недооценке силы связи между ЕГЭ и успеваемостью на изучаемых направлениях подготовки.

Чтобы дать общую оценку валидности ЕГЭ, на втором этапе результаты обобщаются с помощью процедуры мета-анализа. В нашем случае единицей анализа выступает результат регрессионного анализа для каждого отдельного факультета, результатом является оценка среднего коэффициента корреляции между факультетами разных университетов с учетом численности студентов на каждом из них. Подробнее метод мета-анализа будет описан в главе 2.

Оценка взаимодействия ЕГЭ с олимпиадами Для анализа различий между абитуриентами, поступившими по олимпиадам и по ЕГЭ применялся дисперсионный анализ, а также строились модели регрессии с фиктивными переменными следующего вида:

(3).

где Y_iy — показатель успеваемости студента, поступившего в ВУЗ в год y; Q — принадлежность студента i к группе «олимпиадников» или к группе поступивших с высоким балом ЕГЭ, о — ошибка.

Оценка влияния социальных характеристик на валидность ЕГЭ Для проверки влияния различий в социально-экономическом статусе абитуриентов на валидность ЕГЭ применялся метод дисперсионного анализа, т-тесты, а также использовались путевые модели.