Анализ результатов в России в TIMSS и PISA

Национальная выборка TIMSS-2011 (8 класс) и PISA-2012 составила 4384 учащихся из 229 школ различных субъектов Российской Федерации. Доля мальчиков и девочек составила 50,2% и 49,8% соответственно. Возраст школьников на 2012 год варьировался от 14 до 17 лет (M=15,9; SD=0,49).

В связи с тем, что исследуемая выборка отличается от репрезентативной выборки страны в исследовании TIMSS-2011, был произведен анализ распределения результатов учащихся. Необходимо отметить, что непосредственное сравнение PV между исследованиями невозможно, поэтому описательная статистика приведена для каждого инструментария отдельно.

Средний балл российских учащихся по математике в TIMSS составил 539,65 баллов (SD=79,40), в то время как средний международный — 500. Результаты школьников колеблются от 270,65 баллов до 792,57. В PISA-2012 российский результат составил только 486,77 баллов (SD=84,13). Несмотря на то, что максимальный результат в PISA достаточно высокий — 782,29, наименьший составил лишь 181,66 баллов. Форма распределения баллов отличается от нормального (в силу неэквивалентности национальной выборки) как в TIMSS (Коэф. асимметрии = -0,20; Эксцесс = -0,33; Статистика Колмогорова-Смирнова = 0,03, p? 0,00), так и в PISA (Коэф. асимметрии = -0,04; Эксцесс = -0,02; Статистика Колмогорова-Смирнова = 0,03, p? 0,00). В дополнение к этому, в результатах TIMSS ярко выражена левосторонняя асимметрия (рис.8).

Рис. 8. Распределение результатов по математике в TIMSS-2011 и PISA-2012

В связи с тем, что анализ осуществлялся в 2 этапа, то результаты будут представлены отдельно по каждому из них.

Анализ на уровне теста Коэффициенты корреляции Пирсона между областями очень высокие. В TIMSS для содержательных областей 0,79−0,89, для когнитивных 0,91−0,95; в PISA — от 0,82 до 0,91 и от 0,84 до 0,90 соответственно. Результаты свидетельствуют о том, что как предметные, так и когнитивные области в каждом из изучаемых инструментов очень связаны между собой (табл.2). Эти коэффициенты значительно выше, чем остальные значения коэффициентов между инструментами (см. также приложение 1−4).

Таблица 2. Матрица интеркорреляций между предметными областями международных исследований TIMSS и PISA.

Для оценки структуры измеряемых конструктов в TIMSS и PISA был осуществлен факторный анализ (ЭФА) методом главных компонент. В основе данного анализа легли PV по содержательным (предметным) областям, а также по когнитивным областям. В результате было получено, что в TIMSS содержательные области объясняют 89% дисперсии и факторные нагрузки на единственную компоненту близки к единице.

Таблица 3. Нагрузки на первую компоненту по содержательным областям, TIMSS.

В PISA прослеживаются аналогичные результаты. 90% вариации объясняется четырьмя предметными областями. Факторные нагрузки на единственную компоненту превышают 0,94.

Таблица 4. Нагрузки на первую компоненту по содержательным областям, PISA.

По когнитивным процессам, закладываемым в каждый из изучаемых международных исследований, результаты получились аналогичные приведенным ранее (более подробно ознакомиться можно с ними в приложении 5 и 6).

Таким образом, несмотря на то, что в спецификации TIMSS и PISA содержательные и когнитивные области заявлены как самостоятельные, на практике они не отличаются значимо друг от друга. В связи с этим, дальнейшее изучение связи между успешностью учащихся в TIMSS и PISA осуществлялось по предмету «математика» в целом.

В результате анализа значения регрессионных коэффициентов был получен небольшой вклад «навыков TIMSS» в «навыках PISA». Результаты TIMSS объясняют 39% вариации результатов PISA; 61% дисперсии связан с другими, неучтенными в модели факторами. Этот показатель существенно меньше того, что был обнаружен в работе M. Wu (2010). Данное различие, возможно, связано с тем фактом, что выборка у M. Wu представляла собой агрегированные данные на уровне страны; в данной работе — выборка идентична в двух исследованиях.

В проведенных ранее исследованиях отмечалась сильная связь результатов по математике в PISA с результатами по чтению в PISA. Так J. Buckingham в своей работе, изучая результаты исследований TIMSS и PISA 2003 года в Австралии, указывает значение коэффициента корреляции Пирсона 0,95 между достижениями по чтению и математики в PISA, а 0,84 — между достижениями по математике в TIMSS и PISA. После этого автор делает вывод, что достижения по чтению лучше предсказывают достижения по математике в PISA, чем математические знания, измеряемые в TIMSS [Buckingham, 2012]. В данной работе коэффициенты корреляции Пирсона составили 0,62 и 0,55 между математическими областями и между чтением и математикой в PISA соответственно (см. приложение 7). Существенные различия в значениях коэффициентов, можно предположить, также связаны с различием в изучаемых выборках.

Как было рассмотрено в работе ранее, в зависимости от набранного балла, в TIMSS (аналогично и в PISA) присваивается уровень освоения предметного материала (математики). Только 4,7% учащихся не имеют элементарных математических знаний и более 47% российских учащихся владеют школьными знаниями выше среднего уровня (рис.9).

Риc.9. Распределение российских учащихся по уровням освоения школьного материала по математике в TIMSS-2011, %.

Ниже представлены результаты того, как переход на следующий уровень освоения математики связан с возможностью переносить данное знание в повседневный контекст. В качестве зависимой переменной выступает балл по математике в PISA; в качестве независимых — фиктивные переменные, характеризующие уровень владения предметным материалом по математике (за базу сравнения был выбран первый уровень в исследовании TIMSS).

Таблица 5. Результаты регрессионного анализа.

B.	Значимость.
Константа.	381,70.	0,00.
2-ой уровень.	42,57.	0,00.
3-ий уровень.	84,94.	0,00.
4-ый уровень.	134,39.	0,00.
5-ый уровень.	188,73.	0,00.

Из представленной таблицы видно, что переход к более высокому уровню прибавляет прирост баллов в исследовании PISA. Это и согласуется с логикой: чем больше учащийся разбирается в предметном материале (TIMSS), тем легче его потом применить на практике (задания PISA).

Если учащийся находится на первом уровне освоения школьного материала по математике, то он в среднем наберет 382 балла; в то время как на пятом уровне освоения — 561 балл (на 189 баллов больше). Разница в баллах между всеми уровнями составляет более 40 баллов, между 5-ым и 4-ым — более 50 баллов.

Анализ на уровне заданий.

1. Группировка участников TIMSS по их успешности в исследовании Разделение учащихся на группы проходило на основании их среднего балла по TIMSS-математика. Для каждого учащегося был рассчитан средний балл по математике и в соответствии с этим были выделены 5 групп (примерно по 20%): 1- самые слабые, 5 группа — самые сильные (таблица 6).

Таблица 6 Распределение учащихся по группам на основе полученных ими баллов в исследовании TIMSS-2011.

2. Выделение «curriculum-based» заданий PISA.

В основе отбора необходимых заданий лежал тот факт, что при решении задания PISA необходимо было применить конкретные знания из школьного предмета математики, будь то теорема Пифагора или формула арифметической прогрессии. После тщательного анализа существующих заданий PISA были отобраны 22 задания (практически все из них отмечались как самые трудные в прошлой работе, посвященной анализу данной проблемы) [Тюменева & Вальдман, 2014]. Для лучшего представления заданий, о которых будет идти речь, в приложении 9 представлен пример. В заданиях такого типа необходимо использовать не только информацию из текста, но также из таблицы, графика, проследить изменения или построить модель и т. д. [Тюменева & Вальдман, 2014].

3. Расчет процента решаемости «curriculum-based» заданий в группах TIMSS.

В связи с тем, что учащимся предъявлялось разное число «curriculum-based» заданий PISA, то в качестве 100% было взято общее число реально предъявленных 22 заданий каждой группе учащихся. Процент решаемости был рассчитан по математике в целом (так как было показано ранее, мы имеем право работать с предметом математика как единым целым). Результаты представлены ниже (рис.10).

Рис. 10. Решаемость «curriculum-based» заданий PISA учащимися с разными достижениями по математике в TIMSS, %

Существует прямая связь между достижениями в TIMSS и успешностью в решении заданий PISA: чем лучшую успешность в TIMSS демонстрирует учащийся, тем больше «curriculum-based» заданий PISA он способен решить. Обращает, однако, на себя внимание следующее: разница между процентом решаемости в 1-ой и 2-ой по успешности в TIMSS группе составляет всего 5,9%, между 2-ой и 3-ей — 8% и т. д, в то время как между 4 и 5-ой — 13,7% (более чем в 2 раза больше разницы между всеми остальными группами).

В связи с тем, что для результатов TIMSS характера ярко выраженная положительная асимметрия, переход к интерпретации процентов и изучению «скачков» между ними не является верным. Проценты могут переоценивать способности учащихся на концах распределения и недооценивать в середине. Для возможности интерпретации было осуществлено логарифмирование значений (логит трансформация).

Логит трансформация представляет собой логарифм шансов [Transformations, http://www.coursehero.com]. Так, если p — это вероятность события, то (1-p) — это вероятность того, что данное событие не произойдет. Для вычисления шанса используется следующая формула: p/(1 — p). После логарифмической трансформации она имеет вид:

Z = ln[P/(1-P)],.

Где.

Ln — натуральный логарифм;

P — процент, представленный в виде пропорции от 0 до 1.

Трансформация процентов была использована для каждой TIMSS группы. В целом, результаты после трансформации повторили выводы, полученные ранее (таблица 7).

Учащиеся из лучшей TIMSS группы (№ 5) показывают наилучший результат решаемости в curriculum-based задачах. В остальных группах можно увидеть небольшие различия по сравнению с разрывом между 4 и 5 группами.

В дополнение к этому для проверки надежности данных результатов были выделены несколько случайных выборок по 20 заданий, и расчеты проведены еще раз. Ни в одном из дополнительно анализируемых вариантов найденного скачка в решаемости между 4-ой и 5-ой группой обнаружено не было (таблица 7). Различие между процентными значениями и логитами примерно одинаковые во всех группах и во всех случайных выборках.

Таблица 7. Проверка надежности результатов.

Таким образом, была обнаружена положительная связь между уровнем освоения математики и способностью переносить данные знания в повседневный контекст. Другими словами, чем лучше учащийся знает предмет, тем больше вероятность того, что он сможет применить полученные знания на практике. Тем не менее, связь носит нелинейный характер: только высокий уровень овладения школьным материалом дает возможность к переносу; при ухудшении степени овладения предметом способность переноса значительно снижается.