Анализ данных. 
Оценка валидности Единого государственного экзамена (ЕГЭ) как вступительного экзамена

Оценка предсказательной способности ЕГЭ

Для того чтобы сравнить способность ЕГЭ предсказывать успеваемость на различных курсах, были построены путевые модели для студентов, поступивших в 2009 году на первый курс в разных ВУЗах. Модели строились на предварительно стандартизированных данных, таким образом, представленные ниже коэффициенты можно интерпретировать как коэффициенты корреляции.

На рисунке 1 представленная путевая диаграмма для студентов ВУЗа 3, где ege — суммарный балл ЕГЭ, year₁ — средняя оценка за первый курс, year₂ — средняя оценка за второй курс и т. д.

Рисунок 1. Путевая диаграмма связи ЕГЭ с успеваемостью на разных курсах на примере когорты 2009 года студентов ВУЗа 3.

Все связи на рисунке значимы на уровне 0.05, за исключением, связи между ЕГЭ и успеваемостью на втором курсе. Как видно по рисунку, баллы ЕГЭ хорошо предсказывают только успеваемость на первом курсе, и практически не связаны с оценками на последующих курсах. Тем не менее, непрямая связь ЕГЭ с успеваемостью на 2 и 3 курсах, опосредованная 1 курсом, является довольно большой: 0.35 (0.481*0.728) и 0.32 (0.481*0.659) соответственно. Это значит, что если бы мы измеряли связь ЕГЭ с успеваемостью на 2 и 3 курсе, мы получили бы высокие коэффициенты связи, однако путевая модель показывает, что фактически эта связь опосредована результатами на первом курсе. Во всех остальных ВУЗах проявляется та же самая тенденция.

Такие результаты полностью согласуются с исследованиями валидности SAT и ACT [Radunzel, Noble, 2012], которые также показали, что первый год учебы является определяющим для успеваемости на всех последующих курсах, и что фактически экзамены предсказывают только успеваемость на первом курсе.

Таким образом, далее в анализе мы будем рассматривать только связь ЕГЭ с успеваемостью на первом курсе, а его способность предсказывать только итоги первого года учебы мы будем считать достаточной для того, чтобы считать экзамен валидным.

Мета-анализ связи ЕГЭ и успеваемости Как уже было сказано выше, в данном исследовании мета-анализ необходим для того, чтобы объединить отдельные регрессионные модели, построенные для каждого направления подготовки в различных университетах. Итогом мета-анализа должна стать оценка среднего коэффициента корреляции между баллами ЕГЭ и успеваемостью для различных направлений подготовки. Иными словами, мета-анализ позволит оценить валидность ЕГЭ для отбора студентов в среднем, на факультеты различных направлений подготовки. Важно, что процедура мета-анализа, позволит с большей уверенностью делать выводы относительно валидности ЕГЭ для университетов России.

Таким образом, мы будем использовать коэффициенты корреляции, полученные в моделях для отдельных факультетов, как результаты различных измерений, то есть модель для каждого отдельного факультета будет выступать как отдельная единица анализа. Фактически, в исследовании будет проведено несколько мета-анализов: отдельно для каждого направления подготовки. Кроме того, мета-анализ по направлениям подготовки будет проведен отдельно как для оценки валидности суммарного балла ЕГЭ, так и результатов ЕГЭ по отдельным предметам.

Как говорилось выше, модели случайных эффектов для нас предпочтительнее, поскольку университеты различаются по размеру, селективности, количеству студентов, «профильным» направлениям: как показывают исследования SAT [Patterson, Mattern, 2011] [Patterson, Mattern, 2012], каждый из этих признаков влияет на взаимосвязь результатов вступительного экзамена и успеваемости. Поэтому теоретически мы не можем рассматривать анализируемые нами университеты как элементы одной и той же генеральной совокупности, что является теоретическим допущением в моделях фиксированного эффекта.

В нашем случае выбор метода мета-анализа зависит от количества факультетов (в некоторых случаях — специальностей) для каждого направления подготовки. Имеющиеся у нас данные дают возможность сгруппировать факультеты по направлениям подготовки, в Таблице 2 в столбце «Направления подготовки» представлен наиболее дифференцированный список. Однако размер выборки в большинстве групп оказывается недостаточным для проведения мета-анализа методом случайных эффектов, поскольку минимально необходимое количество объектов анализа — 15. Поэтому изначальный список специальностей был укрупнен. Однако даже при такой группировке достаточное для модели случайных эффектов количество наблюдений получается только при объединении данных за три года в одну модель. При использовании модели случайных эффектов дисперсия коэффициентов за каждый год будет оцениваться отдельно, поэтому модель не требует делать допущений о том, что коэффициенты за отдельные годы представляют одну генеральную совокупность.

Таблица 2. Количество моделей в группах специальностей.

Мета-анализ связи суммарного балла ЕГЭ и успеваемости Если тест на гомогенность данных покажет, что набор коэффициентов корреляции для каждого направления гомогенный, лучшая модель мета-анализа — метод Хеджа-Олкина [Field, 2001].

В Таблице 3 представлены результаты теста на гомогенность данных методом Хеджа-Олкина и Хантера-Шмидта для укрупненных направлений, где k — количество моделей в анализе, df — число степеней свободы, p — уровень значимости коэффициентов.

Таблица 3. Тестирование гомогенности коэффициентов корреляции внутри разных направлений подготовки.

Два метода дают очень близкие результаты. На всех направлениях, кроме «Менеджмент…» гипотеза о том, что данные гомогенны, с вероятностью 0.99 отклоняется. Это значит, что только по направлению «Менеджмент» коэффициенты корреляции на всех факультетах во всех ВУЗах очень близки друг к другу.

Поскольку большинство направлений гетерогенны, для мета-анализа мы будем использовать модель Хантера-Шмидта как основную, однако для контроля результатов также будет построена модель Хеджа-Олкина.

В Таблице 4 представлены результаты расчета модели Хантера-Шмидта,. В Приложении в таблице 1 также приведены результаты расчета моделей случайного эффекта Хеджа-Олкина и сопоставлена с результатами предыдущей модели. В целом, различия в оценках эффекта в двух моделях очень незначительны. Модель Хеджа-Олкина лишь немного завышает величину эффекта по сравнению с моделью Хантера-Шмидта, что согласуется с выводами, полученными из тестирований моделей [Johnson et al., 1995] [Field, 2001].

Таблица 4. Средние коэффициенты корреляции суммарного балла ЕГЭ с успеваемостью внутри направлений подготовки по модели Хантера-Шмидта R — значение общего коэффициента корреляции, CI_lower и CI_upper — нижняя и верхняя граница 95% доверительного интервала для R, SE — стандартная ошибка.

Во-первых, все коэффициенты корреляции значимо отличаются от нуля: минимальное значение для нижней границы 95% доверительного интервала равно 0.26 для гуманитарных наук, а в среднем она равняется 0.4.

Во-вторых, практически для всех направлений доверительные интервалы для коэффициентов корреляции пересекаются, а значит, для этих направлений они с 95% вероятностью равны.

Средняя величина коэффициента корреляции между суммарным баллом ЕГЭ и успеваемостью — 0.44. Такую силу связи можно считать нормальным показателем связи.

По возрастанию коэффициентов корреляции направления можно упорядочить следующим образом:

• 1) Гуманитарные науки; Естественные науки; Физика и инженерно-технические специальности; Филология и журналистика (0.26? R ?0.46)
• 2) Экономика; Математика и информатика; Менеджмент, маркетинг, социология, связи с общественностью (0.48? R ?0.58)

Полученные результаты почти совпадают с установленным референтным значением (0.35−0.46) — величиной коэффициентов корреляции с успеваемостью для SAT и ACT в США [Kuncel and Hezlett, 2007]. Таким образом, мы можем утверждать, что суммарный балл ЕГЭ связан с успеваемостью на всех направлениях достаточно для того, чтобы считать этот экзамен валидным инструментом отбора абитуриентов.

Мета-анализ связи баллов отдельных предметов ЕГЭ с успеваемостью В этом разделе будет проанализирована связь баллов ЕГЭ по отдельным предметам с успеваемостью. В качестве данных для мета-анализа использовались стандартизованные коэффициенты моделей множественной регрессии со средней оценкой за первый курс в качестве зависимой переменной.

Выборка для каждого предмета ЕГЭ отдельно по направлениям подготовки выглядит следующим образом.

Таблица 5. Количество моделей с разными предметами ЕГЭ внутри каждого направления подготовки

В Таблице 5 представлены результаты теста на гомогенность данных методом Хеджа-Олкина. Он показывает, что значительная часть моделей объединяют в себе гомогенные данные (выделены серым). Поскольку на значительной части направлений данные гомогенны, результаты модели Хеджа-Олкина кажутся нам более надежными. Поэтому общие выводы будут сделаны по ней.

Таблица 6. Тестирование гомогенности коэффициентов корреляции для разных предметов ЕГЭ внутри разных направлений подготовки

В Таблице 6 приведены результаты модели Хеджа-Олклина. Ее результаты, также как в случае с суммарным баллом ЕГЭ практически не отличаются от модели Хантера-Шмидта (ее результаты см. в Таблице 2 в Приложении).

Таблица 6. Средние коэффициенты корреляции предметов ЕГЭ с успеваемостью внутри направлений подготовки по модели Хеджа-Олкина

На факультетах направления математики и информатики значимы все предметы ЕГЭ, и наиболее важными для предсказания дальнейшей успеваемости являются профильные предметы — по математике и информатике. На тех факультетах, где принимается ЕГЭ по физике, он также оказывается значимым: то, что его среднее значение меньше, можно объяснить меньшей выборкой с факультетами, принимающими на этом направлении физику при поступлении, и важно заметить, что верхняя граница доверительного интервала у него находится почти наравне с ЕГЭ по математике и информатике. Коэффициент ЕГЭ по русскому языку не намного меньше, чем по остальным предметам.

Зато для физики и инженерно-технических специальностей ЕГЭ по русскому языку оказался наиболее важным предиктором успеваемости, но нужно отметить, что он не значительно отличается от ЕГЭ по математике. Примечательно, что наименее важным является ЕГЭ по физике, причем, в 95% доверительном интервале его наименьшее возможное значение коэффициента приближается к нулю.

Интерпретация коэффициентов корреляции при различных ЕГЭ для естественных наук осложнена, поскольку в это направление были объединены наиболее разнородные факультеты, которые различались по набору вступительных экзаменов. Поэтому здесь, например, невозможно отделить коэффициенты для профильных предметов от всех остальных. Интересно, что здесь, также как и для направления физики и инженерно-технических специальностей, наилучшим предиктором дальнейшей успеваемости является ЕГЭ по русскому языку.

Выход для того, чтобы сделать более общие выводы для этого направления — построить модель фиксированных эффектов отдельно для каждой специальности. В Таблице 7 приведены ее результаты. Однако следует учитывать, что ее результаты менее точны, поскольку коэффициенты для многих ЕГЭ гетерогенны. Если анализировать все специальности этого направления отдельно, то оказывается, что для всех специальностей, кроме химии, ЕГЭ по профильным предметам на уровне доверительной вероятности 0.95 не отличаются от нуля. Причем, это показывает как модель фиксированных эффектов, так и модель случайных эффектов. Таким образом, при отдельном анализе факультетов мы выявили, что на естественнонаучных специальностях в отобранных вузах почти везде ЕГЭ по биологии имеет нулевую или отрицательную связь с успеваемостью. На факультетах биологии единственно значимым ЕГЭ оказывается русский язык. Этот предмет в целом на всех специальностях является самым значимым предиктором. Исключение — направление химии, там ЕГЭ по химии имеет наибольшую предсказательную способность.

Таблица 7. Модель Хеджа-Олкина для специальностей естественных наук отдельно.

Различия валидности предметов ЕГЭ, формирующих итоговый конкурсный балл

В первую очередь важно отметить, что внутри каждого направления коэффициенты при разных предметах ЕГЭ различаются не значительно: ни на одном направлении нет явно «плохих» предметов ЕГЭ, совершенно не способных предсказывать успеваемость, как и нет предметов с очень высокими коэффициентами связи. Данный результат является для нас очень важным, поскольку он означает, что среди предметов, составляющих суммарный итоговый балл ЕГЭ, нет сильных различий в предсказательной способности, то есть, суммируя баллы по отдельным предметам мы не приравниваем баллы по очень важным для данного направления предметам к совсем незначимым. Этот результат позволяет нам утверждать, что по данным направлениям подготовки суммирование исходных баллов ЕГЭ является адекватным способом формирования итогового конкурсного балла абитуриента. Исключениями являются направления «Биология» и «Эконология», но измерение валидности по всем факультетам естественнонаучного направления требует проверки на более большой выборке.

Валидность предметов ЕГЭ для различных направлений подготовки

Для экономических факультетов лучшим предиктором успеваемости является ЕГЭ по математике, также относительно высокий коэффициент у русского языка. Иностранный язык и обществознание имеют почти равные коэффициенты, которые заметно ниже, чем для русского языка и математики.

На направлении «менеджмент, маркетинг, социология, связи с общественностью» соотношение между предметами ЕГЭ в их способности предсказывать успеваемость такое же, как на экономических факультетах.

Для филологии и журналистики все ЕГЭ являются значимыми. Но ЕГЭ по литературе связан с успеваемостью меньше остальных, причем нижняя граница 95% доверительного интервала практически равняется нулю. У ЕГЭ по русскому языку среднее значение коэффициента выше, чем у литературы, но верхняя граница доверительного интервала у них совпадают. Наиболее значим для этого направления ЕГЭ по истории — его коэффициент значительно выше, чем по двум другим ЕГЭ.

Для остальных гуманитарных наук (философии, культурологи, востоковедения, политологи, истории) значимы только ЕГЭ по обществознанию и русскому языку, и не значимы по истории и иностранному языку.

В целом, наилучшими предикторами успеваемости оказываются ЕГЭ по математике и русскому языку. Можно предположить, что это связано с тем, что именно они являются обязательными для всех школьников, в связи с этим можно предложить несколько объяснений.

Во-первых, именно эти ЕГЭ на данный момент имеют двойную функцию: аттестацию знаний, полученных в школе, и оценку компетенций, необходимых для поступления в университет. Это значит, что, во-первых, само содержание тестов более дифференцированно, поскольку эти ЕГЭ должны оценивать, как школьников, сдающих его просто для аттестата, так и тех, кто по его результатам собирается поступать в университет, в том числе, на профильные факультеты. А это значит, что и оценка ЕГЭ по этим предметам должна по идее лучше дифференцировать абитуриентов, то есть различия между абитуриентами в их баллах ЕГЭ по математике и русскому языку более точно отражают различия в их компетенциях, чем остальные ЕГЭ.

Также следствием того, что эти два предмета — обязательные, может быть тот факт, что им уделяется наибольшее внимание как разработчиками ЕГЭ, так и институтами, связанными с подготовкой к экзамену. В школах наибольшие усилия направляются именно на подготовку к обязательным предметам, поэтому у всех детей есть возможность готовиться к ним самостоятельно, то есть без помощи репетиторов и дополнительных курсов вне школы, а это уравнивает шансы разных детей сдать его успешно, поэтому на эти предметы менее всего действуют внеинтеллектуальные факторы.

Можно добавить, что все исследования валидности SAT и ACT (см., например, [Rothstein, 2004] [Sawyer, 2010]) показывают, что школьная оценка является лучшим предиктором успеваемости в университете, чем вступительные экзамены. Поскольку ЕГЭ совмещает в себе функцию выпускного и всупительного экзамена, можно говорить о том, что он отчасти несет в себе функцию итоговой школьной оценки. Можно предположить, что для ЕГЭ по русскому языку и математике соблюдается та же закономерность, что и для итоговой школьной оценки в США.

Наконец, можно предположить, что русский язык и математика — это «базовые» для школьной образовательной программы предметы, а их знание связано с базовыми компетенциями, которые необходимы для успешной учебы на любых направлениях подготовки.

В результатах есть еще одна выраженная тенденция: в том случае, когда профильным предметом является не математика (то есть во всех случаях, кроме направлений математики информатики, а также для экономики), часто ЕГЭ по профильному предмету является, значимым, но наиболее слабым предиктором успеваемости. Это касается ЕГЭ по обществознанию для факультетов направления «Менеджмент, социология, связи с общественностью и т. д.» а также факультетов экономики, ЕГЭ по биологии для биологических и экологических факультетов, ЕГЭ по географии для географических факультетов, ЕГЭ по литературе для факультетов филологии, а также ЕГЭ по физике для инженерно-технических специальностей. Похожие результаты были получены при анализе валидности ЕГЭ на химическом факультете МГУ [Гордеева и др., 2011]: было выявлено, что ЕГЭ по химии хуже предсказывает успеваемость, чем ЕГЭ по физике.

В связи с этим мы можем предположить, что ЕГЭ лучше оценивает «средний» уровень знаний по предметам, и плохо — глубокие знания, которые необходимы для экзаменов по профильным предметам.

Валидность различных предметов ЕГЭ

В целом, среднее значение коэффициентов корреляции для ЕГЭ по отдельным предметам — 0.18 (со стандартным отклонением 0.07) и оно варьируется в диапазоне от 0 до 0.32. Верхняя граница 95% доверительного интервала в некоторых случаях превышает 0.4, а нижняя, хотя почти никогда не пересекает нулевое значение, часто к нему очень близка. Тем не менее, данные говорят о том, что на уровне 0.05 почти все коэффициенты значимы. По величине среднего коэффициента корреляции предметов ЕГЭ с успеваемостью, с учетом верхней и нижней границы 95% доверительного интервала, предметы ЕГЭ можно проранжировать по степени валидности следующим образом:

• 1. Информатика (0,19? R? 0,38)
• 2. Русский язык (0,15? R? 0,29)
• 3. Математика (0,14? R? 0,28)
• 4. История (0,10? R? 0,29)
• 5.

  Литература

  (0,08? R? 0,29)

• 6. Химия (0,07? R? 0,34)
• 7. Обществознание (0,06? R? 0,23)
• 8. Физика (0,04? R? 0,25)
• 9. География (-0,01? R? 0,30)
• 10. Иностранный язык (-0,01? R? 0,19)
• 11. Биология (-0,02? R? 0,19)