Теоретические обоснования для сопоставления результатов исследований TIMSS и PISA

TIMSS и PISA как инструменты оценки качества системы образования

Сравнительное исследование качества математического и естественнонаучного образования TIMSS (TIMSS — Trends in Mathematics and Science Study) является первым международным мониторинговым исследованием качества школьного образования, которое позволяет проследить тенденции в подготовке учащихся по математике и естествознанию в различных странах мира (проводится, начиная с 1995 года, один раз в 4 года). В исследовании принимают участие ученики 4-ых и 8-ых классов на основе национальной выборки [Mullis et al., 2012].

Для выявления факторов, оказывающих влияние на результаты обучения, в TIMSS собирается контекстная информация, связанная с различными характеристиками образовательного процесса, учащихся и их семей. Организатором исследования является Международная ассоциация по оценке образовательных достижений (IEA — International Association for the Evaluation of Educational Achievement) [Mullis et al., 2012].

Международная программа по оценке образовательных достижений учащихся PISA (Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD — Organization for Economic Cooperation and Development) и проходит трёхлетними циклами, начиная с 2000 года. PISA — это сравнительное исследование, которое оценивает способность учащихся 15-летнего возраста применять знания, полученные в школе, в реальной жизни [OECD, 2013]. В PISA оцениваются такие навыки, как грамотность чтения, естественнонаучная грамотность, математическая грамотность и решение проблем (каждый цикл ориентирован на определенный вид грамотности, но в каждом цикле присутствуют задания всех видов) [OECD, 2004].

Зачастую исследования PISA и TIMSS рассматриваются как схожие способы оценки достижений учащихся [Grшnmo & Olsen, 2006]. На это есть ряд оснований:

• 1) Исследования основываются на четко определенной группе населения (в PISA выборка возрастно-ориентирована, в TIMSS-классо-ориентирована);
• 2) Применяется один и тот же тип инструментов (анкеты для контекстной информации и буклеты с заданиями);
• 3) Результаты обрабатываются с использованием аналогичных психометрических инструментов;
• 4) Соблюдается строгий контроль качества, перевода и адаптации тестируемого материала;
• 5) Исследования проходят циклами и предполагают сравнение результатов во времени.

В исследованиях TIMSS-2011 и PISA-2012 раздел, посвященный математике и математической грамотности, играет существенную роль (в PISA-2012 математическая грамотность являлась приоритетной областью). Однако необходимо различать понятия «математика» и «математическая грамотность». В рамках исследования TIMSS под математикой понимается знания учащимся фактов и методов, использование понятий, решение стандартных (типичных) задач, математические рассуждения и др. [Mullis et al., 2012]. В то время как в PISA под «математической грамотностью» понимается способность человека определять и понимать роль математики в мире, в котором он живет, высказывать хорошо обоснованные математические суждения и использовать математику так, чтобы удовлетворять в настоящем и будущем потребности, присущие созидательному, заинтересованному и мыслящему гражданину [OECD, 2013].

В связи с тем, что исследования имеют перед собой разные цели, то и содержание, и виды представленных в них задач различаются. Контекстные задачи PISA образуются посредством «нагрузки» обычной математической задачи повседневной, лишней информацией. Для того, чтобы решить подобную задачу, необходимо выполнить ряд последовательных действий (рис.6).

Таким образом, задача считается решенной, когда учащийся перевел математическое решение в контекст повседневной проблемы и придал смысл своим результатам. Интересно отметить тот факт, что математические и естественнонаучные знания, необходимые для успешного выполнения задания PISA, в большинстве случаев неглубокие и несложные, однако требуют дополнительных умений, связанных с применением имеющихся знаний [Masters, 2005; Wu, 2010].

Схема, описанная выше, присутствует и в задачах исследования TIMSS, но только в тех, которые направлены на область «Применение» [Mullis et al., 2012]; в остальных случаях задания представляют собой стандартную математическую однородную задачу (напротив, в PISA задача часто содержит одновременно текст, таблицу и график), без лишней информации, отвлекающей внимание (в заданиях PISA зачастую дается лишняя информация для проверки способности учащегося вычленить только необходимую). В соответствии с этим, для перевода на математический язык задачи достаточно воспользоваться простыми аналогиями, где отдельный элемент условия задачи соответствует определенному элементу описываемой математической модели.

С заданиями TIMSS учащиеся имеют достаточно богатый опыт работы, так как именно такого вида задания содержат российские учебники, и учащиеся встречаются с ними на уроках математики достаточно часто. С заданиями PISA дело обстоит иначе. Учащимся необходимо самостоятельно найти «математическую составляющую» задачи и определить, в рамках какой математической модели они будут с ней работать. Внешний вид заданий непривычен, что вызывает дополнительные трудности при работе с ними.

Задания международных исследований разрабатываются разными международными командами, и процесс их разработки отличен друг от друга. Так называемые Международные подрядчики (international contractors) специально разрабатывают задания PISA, базируясь на компетенциях, необходимых учащимся для полноценного функционирования в обществе (см. также проект DeSeCo в работе ранее). Дополнительно к этим заданиям каждая страна-участник PISA вправе предложить международным подрядчикам свои вопросы для включения их в тест. Однако только после тщательного их анализа и проверки на культурные предубеждения они могут быть включены в пробную версию теста PISA (за год до основного). Если задания окажутся слишком простыми или сложными для некоторых стран, то такие задания исключаются, в противном случае остаются в основном инструментарии [http://www.oecd.org/pisa].

В TIMSS задания подготавливаются группой высококвалифицированных специалистов из ряда стран. Именно разнообразие школьных программ по предметам является серьезной проблемой при составлении заданий. Для разработки международного инструментария, справедливого для всех стран-участниц, приглашаются специалисты из каждой страны. Эксперты страны оценивают задания на соответствие материалу, который изучается в 4-х и 8-х классах, на однозначность формулировки и формы задания и по ряду других критериев [Основные результаты международного исследования качества математического и естественнонаучного образования, 2011]. В большинстве стран задания покрывают учебный план по предмету на 90%. Исключениями являются США и Венгрия — 100% и Нидерланды — 71% [Yee, de Lange & Schmidt, 2006].

Сравнению структуры PISA и TIMSS по математике посвящен ряд исследований [Hutchison & Schagen, 2007; Neidorf et al., 2006]. Анализ задач TIMSS и PISA 2003 года показал, что 42 из 99 задач («naked mathematics») TIMSS не имеют аналогов в PISA. Другими словами, не все темы, которые изучаются в школьной программе (TIMSS ориентированы на школьную программу), покрываются в исследовании PISA [Wu, 2010].

В исследовании TIMSS выделяется 5 уровней математической грамотности [Mullis et al, 2012]:

• 5 уровень — Высший (625 баллов). Учащиеся способны самостоятельно делать выводы и рассуждать на основе предоставляемой информации. Они способны решать нестандартные задачи, а также задания, требующие выполнение ряда шагов.
• 4 уровень — Высокий (550 баллов). Учащиеся применяют свои знания в различных ситуациях, а также анализируют данные, предоставляемые на разнообразных графиках и диаграммах.
• 3 уровень — Средний (475 баллов). Учащиеся могут применить только базовые знания в различных ситуациях, способны интерпретировать некоторые графики и таблицы.
• 2 уровень — Низкий (400 баллов). Учащиеся имеют элементарные знания и могут сопоставить информацию из таблиц и графиков. Однако интерпретировать могут только простые графики и диаграммы.
• 1 уровень — Низший (Ниже 400 балов). Учащиеся не владеют элементарными знаниями по предмету.

Аналогичные уровни математической грамотности выделяются и в исследовании PISA (6 уровней вместо 5 уровней в TIMSS). Второй уровень считается пороговым, после достижения которого учащиеся могут применить знания в простейших неучебных ситуациях. На 4 уровне учащиеся уже способны получать и интерпретировать новую информацию на основе имеющихся знаний и умений, а на 5−6 уровнях они самостоятельно функционируют даже в сложных ситуациях. Таким образом, данные уровни позволяют сделать вывод, на каком этапе находится каждый из учащихся [OECD, 2013].

В зависимости от того, какой балл набрал тот или иной учащийся, ему присваивается уровень его овладения. Каждый из уровней двух исследований четко отделяется от всех остальных. Сравнение происходит по ряду критериев: во-первых — сложность анализа и интерпретации предоставляемой информации, которая зависит не только от степени ясности и завуалированности проблемы, но и опыта их решения. Во-вторых — форма предоставления информации: она может быть представлена в единичном виде, а может требовать объединения и интеграции [OECD, 2013]. Важную роль здесь играет сложность способа решения, так как задачи могут быть одношаговыми и требовать базовых математических знаний, так и включать множество шагов с построением математической модели. Последнее, что здесь учитывается — это сложность аргументации. Другими словами, насколько качественные и правдоподобные аргументы могут быть приведены учащимися как в защиту своих, так и чужих мнений и высказываний.

Исследования TIMSS и PISA отличаются не только по областям, выделяемым в математике, но и по проверяемым когнитивным процессам. Обобщение по сопоставлению разделов и доли, занимаемой в соответствующем исследовании, представлено в таблице ниже (таблица 1).

Таблица 1. Описание разделов исследований TIMSS и PISA.

Несмотря на то, что название областей различно, можно проследить некоторое сходство в их содержании. Анализу и попыткам их сопоставления посвящен ряд исследований [Wu, 2010; Grшnmo & Olsen, 2006 ]. Можно предположить (и результаты исследования Wu (2010) подтверждают это), что раздел «Количество» (PISA) дублирует во многом содержание раздела «Числа» (TIMSS). Достаточно большое число заданий из «Пространство и форма» (PISA) связаны с заданиями из раздела «Геометрия» (TIMSS). «Изменения и зависимости» (PISA) изучаются в курсе «Алгебра» (TIMSS), а «Неопределенность» (PISA) в разделе «Анализ данных» (TIMSS). Немного отличные результаты получили L. Grшnmo и R. Olsen (2006). Они показали, что «Изменения и зависимости» нельзя сравнивать с разделом «Алгебра». На основе деятельности экспертов (согласованность 76%) все задания PISA были разделены по предметным областям TIMSS. В результате чего только 27% заданий из раздела «Изменения и зависимости» попали в раздел «Алгебра». Более наполненной группой оказалась «Анализ данных» (45%), по 14% заданий вошло в группы «Числа» и «Измерения» (область «измерение» была исключена после цикла PISA — 2003) [Grшnmo & Olsen, 2006].

Аналогичное сопоставление можно провести и, рассматривая когнитивные процессы, затрагиваемые в исследованиях:

«Формулирование математической ситуации» (PISA) — «Знание» (TIMSS);

«Применение математических фактов, концепций» (PISA) — «Применение» (TIMSS);

«Интерпретация и оценка полученных результатов» (PISA) — «Рассуждение» (TIMSS) [Wu, 2010].

Отличительной особенностью инструментария PISA является новая оценочная область для каждого цикла. Это может быть когнитивная оценка, например, оценка компетенции в решении проблем (problem-solving competencies) в 2003, 2012 и 2015 годах исследования; некогнитивный навык, например, самооценка о стратегиях обучения (self-assessment of learning strategies) в 2000 году или оценка отношения учащихся к естественнонаучным предметам в 2006 году. Новая оценочная область также может быть комбинацией когнитивных и некогнитивных элементов. Оцененные области в предыдущих циклах исследования носили кросс-культурный характер и оновременно с этим были тесно связаны с главным направлением цикла (математика, чтение и естественнонаучные предметы) [Beyond PISA 2015: A Longer — strategy of PISA, http://www.oecd.org/pisa].

На основании литературы, упомянутой ранее, можно отметить следующее:

• · Задания TIMSS, в основном, направлены на выявление знаний фактов и стандартных алгоритмов, в то время как PISA требует соединения задач с уже имеющимися знаниями и представлениями у учащихся об окружающей действительности;
• · Задания TIMSS по математике представлены разделами: числа (30%), алгебра (30%), геометрия (20%), анализ данных (20%), PISA: изменения и зависимости (25%), пространство и формы (25%), количество (25%), неопределенность (25%). Что касается когнитивных процессов, то в TIMSS — это знания (35%), применения (40%) и рассуждения (25%), в PISA — формулирование математической ситуации (25%), применение математических фактов, концепций (50%), а также интерпретация и оценка полученных результатов (25%). Другими словами области в данных исследованиях различны [Wu, 2010];
• · В TIMSS в большей степени присутствуют задания с выбором правильного ответа, а в PISA — с конструированием своего. Также в PISA достаточно часто представлены разные задания, относящиеся к одной проблеме (к одному контекстуальному заданию) [Wu, 2009; Wu, 2010];
• · M. Wu в своих работах характеризовала задания PISA как возможность использовать математику, которая могла как изучаться в школе, так и нет; в то время как задания TIMSS отражают школьную программу по математике [Wu, 2009 (1,2); Wu, 2010].

Обобщая все вышеупомянутое, необходимо отметить, что исследования TIMSS и PISA уникальны, и непосредственное их сравнение затруднительно в силу существующих особенностей каждого из них.