Сравнительный анализ опыта стран СНГ в использовании результатов национальных мониторингов образовательных достижений школьников

Перед тем, как приступить непосредственно к анализу, приведем кратко те положения, относительно которых он будет проводится. Все они достаточно подробно изложены в 1 главе данной работы.

Проблема использования результатов Мониторингов будет рассматриваться с позиции одного из субъектов, использующих их, — управленцев.

Основное внимание будет сконцентрировано на выявлении и фиксации направлений использования результатов Мониторингов относительно основных факторов, оказывающих на это влияние:

• · характеристики выборки;
• · наличие и качество собираемых контекстных данных;
• · характеристики измерительных материалов (участники оценивания, предмет или область, направленность оценки);
• · наличие ренкингов и рейтингов, доступность информации о результатах оценки, наличие адресных аналитических материалов ориентированных на конкретные группы пользователей;
• · способность управленцев к грамотному использованию полученных результатов.

В целях лучшего понимания причин использования результатов Мониторингов по тем или иным направлениям в странах СНГ важно понимать своего рода контекст, фон на котором они создавались.

С одной стороны — это глобальное движение за стандартизацию образования, что привело к созданию во всех рассматриваемых странах государственных образовательных стандартов, с другой — международные сопоставительные исследования (далее — МСИ): все страны, опыт которых изучается в рамках данной работы, принимали участие в МСИ проводимых такими организациями как OECD и IEA, за исключением Республик Беларусь. При этом последняя уже планирует участие в PISA в период до 2020 года.

Эксперты из Армении, комментируя свой опыт построения НСОКО, отмечают достаточно очевидную необходимость в таких исследованиях и утверждают, что реализовывая собственные образовательные программы и оценивая их эффективность, страна неизбежно сталкивается с необходимостью сравнения своих достижений с изученным мировым опытом и достижениями других стран.

Лучше всего отношение к данным процедурам оценки в нашей стране демонстрирует участие практически во всех МСИ, проводимых IEA и OECD, начиная с 1988 года еще в качестве СССР. Дальнейшее участие как и в ряде стран СНГ запланировано вплоть до 2020 года в нормативных документах, о которых уже говорилось ранее.

Среди стран СНГ по числу проведенных международных мониторингов лидирующие позиции занимает Российская Федерация (1, Агранович) (см. таблица 1). Тому несколько основных причин: относительно высокая стоимость участия в подобных исследованиях, недостаточный кадровый потенциал организаций, формирующих НСОКО, и небольшой опыт государств СНГ в проведении и использовании результатов процедур оценки качества образования.

Международные сравнительные исследования качества образования оказывают сильное влияние на формирование национальной системы оценки качества образования в России, особенно в ситуации отсутствия национальной? системы мониторинга качества образования до 2014 года. МСИ в таких ситуациях становится одним из надежных источников информации по многим направлениям функционирования системы школьного образования, предоставляя сопоставимую информацию.

Особый интерес представляет не столько сравнение достигнутых результатов каждой отдельной страны, сколько использование этих результатов для совершенствование системы образования, а также сам опыт их проведения, который оказал, как отмечают эксперты, сильное влияние на на последующую разработку собственных, уже национальных, инструментов оценивания.

МСИ становятся причиной пересмотра национального учебного плана, введения новых стандартов, изменения программ подготовки учителей. Так участие Российской Федерации в международных мониторингах качества образования способствовало формированию культуры педагогических измерений, реформированию содержания образования и созданию федеральных государственных образовательных стандартов нового поколения (ФГОС), разработке новых учебников, а также обновлению программ повышения квалификации учителей. Сходный эффект отмечают и эксперты из Армении, Казахстана и Кыргызстана. Однако, учитывая тот факт, что чем большее количество стран принимают в них участие, тем меньше проверочные задания отражают национальные стандарты обучения, создавая необходимость в национальных инструментах, способных это учитывать. Данное направление использование результатов Мониторингов отмечено во всех странах, опыт которых нами изучен.

Также МСИ часто стимулируют национальные министерства образования проводить анализ эффективности расходования ресурсов и принимать решения об их увеличении, сокращении или перераспределении для достижения различных целей по развитию образования, что является общим для всех стран. В данном случае интересен опыт Кыргызстана, где уже собственный инструмент — НООДУ — в 2007 году, результаты которого стали для страны шоковыми, как отмечают эксперты, показал важность развития дошкольного образования, необходимость срочного и значительного увеличения объема государственных инвестиций в систему образования для выправления тяжёлой ситуации сложившейся в образовании.

Отдельно следует подчеркнуть влияние участия в международных исследованиях на систему образования Армении, участие которой в исследованиях TIMSS послужило толчком к организации и реализации таких исследований в национальном контексте — Мониторингов: HAAS — по предметам армяно-ведения (армянский язык, литература и история Армении); BAAS — по естественным наукам (физика и химия, биология и география); OLAS — по иностранным языкам (русский язык, английский язык). Каждое из них разработано по методу исследования TIMSS, а значит предполагает не только аналогичную организационную схему, направленность оценки и многое другое, но и определенный перечень направлений использования получаемых данных — результатов оценки.

Можно выделить основные направления использования результатов МСИ в рассматриваемых странах:

• 1. Сопоставление собственных результатов как с общими, так и с результатами стран имеющих сходную систему образования;
• 2. Корректировка образовательной политики;
• 3. Изменение учебных стандартов и программ общеобразовательных предметов, совершенствование учебно-методической базы;
• 4. Разработка курсов повышения квалификации для педагогических и руководящих работников;
• 5. Совершенствование национальной системы оценки качества образования;
• 6. Проведение углубленных исследований по анализу и интерпретации результатов МСИ.

При анализе использования результатов Мониторингов мы увидим схожие направления их применения, кроме, конечно, сопоставления результатов между странами, которое проявилось в сопоставлении результатов между административно-территориальными единицами стран. Исключением здесь будет только Российская Федерация, где данные репрезентативны только для групп регионов.

Данные об участии всех стран в МСИ отражены в таблице 1.

Табл. 1. Участие стран СНГ в основных международных сопоставительных исследованиях (зеленым цветом отмечено участие).

Источники: данные официальных сайтов исследований, 2016 год.

Несмотря на то, что Республика Беларусь пока не принимала участия в исследованиях, тем не менее нельзя утверждать, что они не оказали влияния на использования результатов их собственного исследования. Эксперты из Белоруссии отмечают, что ими был учтен Российский опыт проведения исследований в начальной школе (оператор и разработчик ИСМО РАО), а так же как специалисты в области ОКО они прекрасно знакомы с МСИ.

Далее рассмотрим непосредственно сами Мониторинги в СНГ. Как мы отмечали ранее, уже много лет подобные инструменты функционируют в этих странах:

• · с 2003 года в Республике Беларусь запущен республиканский мониторинг качества общего среднего образования в Белоруссии по пяти направлениям, одно из которых направлено на оценку уровня обученности учащихся по учебным предметам;
• · национальное оценивание образовательных достижений учащихся в Республике Кыргызстан инициировано впервые в 2007 году;
• · в Республике Казахстан накоплен наиболее серьезный опыт в этой области. Так с 2005 по 2011 год проводился «Промежуточный государственный контроль». С 2012 года заменен на усовершенствованный инструмент «Внешняя оценка учебных достижений». Более того для решения отдельных задач, стоящих перед системой образования, были разработаны и успешно проведены отдельные мониторинговые исследования на национальном уровне «Независимое мониторинговое исследование» в 2012 и 2013 годах, а также с 2013 года стартовало еще одно независимое мониторинговое исследование «Оценка образовательных достижений учащихся 9-х классов общеобразовательных школ Казахстана».
• · в республике Армения: HAAS — по предметам армяноведения (армянский язык, литература и история Армении), BAAS — по естественным наукам (физика и химия, биология и география), OLAS — по иностранным языкам (русский и английский языки). Каждое исследование прошло апробацию, но еще не запущено в штатном режиме. Впервые HAAS было проведено в 2011 году.

Важно отметить, что, как и в Российской Федерации, во всех рассматриваемых странах разработка и функционирование подобных исследований качества школьного образования закреплено в различных правительственных программах по развитию (модернизации) образования. Это говорит о понимании важности подобных направлений работ в рамках системы образования на уровне правительства и находит дополнительные подтверждения этой точки зрения еще в ряде моментов:

• 1. За разработку и проведение процедур оценивания отвечают государственные структуры: в большинстве представленные министерствами образования и контрольно-надзорными органами, а также некоммерческими организациями, обычно находящимися в их прямом подчинении;
• 2. Финансирование осуществляется полностью за счет бюджетных средств;
• 3. Бюджетные расходы в большинстве стран закладываются на перспективу от трех до девяти лет.

Все инструменты разработаны для решения следующих задач:

• · выявления соответствия знаний учащихся государственным стандартам и иным требованиям (запросы родителей, работодателей и т. д.);
• · отслеживания динамики учебных достижений обучающихся;
• · выявления факторов, влияющих на уровень учебных достижений;
• · оценки эффективности образовательной политики.

Дополнительно в Республике Казахстан фиксируется в качестве одной из целей проведение сравнительного анализа качества образовательных услуг, предоставляемых организациями образования, что в дальнейшем было отменено, а в Российской Федерации — развитие единого образовательного пространства и содействие процессам стандартизации оценочных процедур в сфере образования.

Эти задачи, определили и направления последующего использования. Так, ни одна из стран не применяет полученные результаты для аттестации учащихся, в документах, регламентирующих проведение того или иного Мониторинга отражен запрет на использования результатов для оценки образовательных организаций, или иных действий, в результате которых предполагаются санкционные меры по отношению к педагогическому коллективу, руководящим сотрудникам, образовательной организации в целом. Это так же подтверждает тот факт, что глобальная тенденция по переосмыслению управленцами возможных направлений использования результатов Мониторингов затронула и страны СНГ: мы видим переход от понимания инструмента в качестве контрольно-надзорного механизма, к процедуре, направленной в первую очередь на помощь и поддержку системе образования.

Одними из ключевых вопросов при разработке и внедрении национальных мониторинговых исследований являются определение участников и формирование выборки.

К решению первого из них страны подходят достаточно разнообразно и из сходных признаков можно отметить лишь большее внимание к учащимся 4 и 8 классов школы (см. табл. 2). Выбор подобных классов достаточно хорошо объяснен в Кыргызстане, однако это справедливо для всех стран: 4 класс является завершающим и оценка знаний и умений учащихся позволит оценить ту базу, с которой учащиеся передут уже в основную школу. Что касается 8 классов, то во-первых, 9 класс — достаточно напряженный период в жизни выпускников ведь их жду аттестационные испытания с последующим переходом с старшую школу, профессиональную образовательную организацию или трудоустройство, а проведение исследования в 8 классе не приведет к переутомлению. Во-вторых, получение результатов по 8-классникам позволит оперативно внести необходимые коррективы в образовательную программу 9-тиклассников.

Таблица 2. Участники национальных мониторинговых исследований учебных достижений в странах СНГ.

Еще одним важным моментом является определение выборки: будет ли она генеральной или репрезентативной, что накладывает определенные ограничения на использование результатов проводимых исследований. Во всех странах СНГ было принято решение проводить оценку на выборке образовательных организаций и учащихся репрезентативной для страны в целом и всех ее регионов. Такой формат позволяет получать ценные данные и отдельным регионам, которые не редко могут существенно отличаться друг от друга социально-экономическими условиями и многими другими важными характеристиками, непременно учитывающихся при разработке и корректировании региональной образовательной политики. В этом ключе исследование НИКО в России, репрезентативное для страны и групп регионов (страт) объединенных по ряду критериев (ВРП, средние баллы по математике и русскому языку в ЕГЭ), существенно снижает применимость его результатов на уровне субъектов федерации и, несмотря на заверения разработчиков, принципиально снижает его потенциальную пользу для них.

К тому же это создает соблазн применения полученных данных для принятия управленческих решений на уровне региона России, даже если они для него не репрезентативны. В случае с НИКО такую ситуацию усугубляет еще и перечень направлений для использования результатов, представленный в концепции Мониторинга: «На региональном и муниципальном уровне — для разработки методических рекомендаций по совершенствованию преподавания учебных предметов, для совершенствования программ повышения квалификации учителей».

В инструментарии каждого национального мониторингового исследования можно выделить как сходства, так и существенные различия. Отметим их ниже:

• 1. Приоритет в выборе оцениваемой предметной области отдается национальному языку и математике во всех странах. Частичным исключением можно считать российский опыт, где знание русского языка проверяется только в начальной школе и не оценивается в основной. При этом у некоторых стран перечень предметов может быть, как фиксированным из года в год (Армения, Беларусь, Кыргызстан и Россия), а может меняться, как это сделано в Казахстане, где, помимо обязательного мониторинга по Казахстанскому языку, три другие предметные области определяются соответствующим приказом Министерства образования и науки Республики Казахстан ежегодно.
• 2. Все исследования направлены на выявление уровня знаний на предмет их соответствия образовательным стандартам. Кроме того, в Республике Армения, например, оценивают способность применять знания в реальных ситуациях и рассуждать о заданной ситуации, с выбором метода и шагов решения (аналогично TIMSS). В Казахстане с 2014 года дополнительно оценивается и функциональная грамотность (аналогично PISA). В России метапредметные умения, а также сформированность универсальных учебных действий. Анализируя историю развития мониторинговых исследований в странах СНГ, прослеживается четкая тенденция в переходе от оценки исключительно предметных знаний к учету метапредметных умений и способности применять имеющиеся знания.
• 3. Заказ на разработку формируется в рамках государственного заказа от национального органа исполнительной власти, регулирующего сферу образования, либо организацией, осуществляющей контроль и надзор в сфере образования.
• 4. Во всех странах измерительные материалы стандартизированы, исключением до недавнего времени являлся Республиканский мониторинг качества общего среднего образования в Республике Беларусь.
• 5. Наличие экспертизы и апробации измерительных материалов отмечается не всеми национальными экспертами, что может свидетельствовать как об их отсутствии, так и недостаточном внимании к этим важным работа в рамках разработки Мониторингов.
• 6. В Белоруссии и Казахстане разработчики пошли по пути разработки монопредметных тестов, в Армении тесты двупредметные по каждому из трех исследований, полипредметные тесты используются в Кыргызстане. В рамках российского НИКО используются как монотак и полипредметные тесты в зависимости от программы оценки.

Здесь следует подчеркнуть, что во всех странах в большей степени внимание направлено на оценку языковой грамотности и математической подготовки, а значит и применение результатов оценки в том числе направлены преимущественно на повышение качества преподавания, содержания и пр. именно для этих учебных предметов. Такая ситуация, по мнению профессора Сэра Кена Робинсона (Robinson, 2016), в том числе приводит к ряду очень серьезных проблем в сфере образования.

Отдельно необходимо заострить внимание на проблеме сбора, учета и использовании контекстных данных при проведении национальных мониторинговых исследований.

Международный опыт показывает, что учет контекстных данных (социально-экономический статус семьи, уровень квалификации педагогических работников, используемые учебно-методические комплекты, методы обучения, материально-техническое обеспечение образовательных организаций и многое другое) при проведении любых процедур направленных на оценку образовательных достижений учащихся критически важен. Так данные национального мониторинга SIMCE (Sistema de Mediciуn de Calidad de la Educaciуn — Система измерения качества образования), проводимого в Чили на систематической основе с 1998 года, показывают, что социально-экономический статус семей (далее — СЭС) оказывает наибольшее влияние на результаты учащихся, он объясняет более 70% всех результатов.

Все МСИ в области образования (PIRLS, TIMSS, PISA, ICILS и другие) также в обязательном порядке обеспечивают сбор контекстных данных об участниках исследований.

Вместе с тем все же есть исключения в международной практике. Так, например, с 2008 года в Австралии функционирует национальная программа оценки грамотности по английскому языку и математических навыков школьников NAPLAN (National Assessment Program — Literacy and Numeracy) в ходе которой сбор контекстных данных не происходит. Однако даже в этом случае при анализе полученных данных, их интерпретации, привлекается информация, собранная на основании государственной статистики, используется так называемый «Индекс местных социально-образовательных условий» (Index of Community Socio-Educational Advantage — ICSEA), которые покрывают потребность в фоновой информации об образовательных организациях, учащихся и их родителях и т. д.

Приведенный опыт стран дальнего зарубежья показывает важность учета контекстной информации для адекватной интерпретации полученных в ходе исследований результатов. Подобный опыт нашел свое отражение при создании Мониторингов в странах СНГ. Тем не менее, несмотря на сбор контекстной информации путем анкетирования участников в рамках российской программы НИКО, исследование влияния социально-экономического статуса семей обучающихся, иных факторов, относящихся непосредственно к семьям обучающихся, не предусмотрено. Такая ситуация в значительной мере повышает шанс ошибочной интерпретации собираемых в ходе исследования данных.

Также во всех странах при проведении национальных мониторинговых исследований учебных достижений школьников уделяется внимание и вопросам обеспечения безопасности их проведения — ведь данные, которым не доверяют ни управленцы, ни другие их пользователи вовсе применять не стоит. Несмотря на то, что рассматриваемые исследования относятся к процедурам с «низкими ставками» для участников, т. е. оценка деятельности образовательных организаций, органов исполнительной власти, учителей? не предусмотрена по результатам их проведения, тем не менее нарушения все же возможны. Наиболее выражена тенденция к обеспечению безопасности в Республике Казахстан, где разработка измерительных материалов ведется в режиме секретности в соответствии с положением о государственной тайне.

Интерпретация результатов и их использование для совершенствования системы образования, как отмечают эксперты — наиболее сложная часть работы.

Во всех странах к анализу и интерпретации привлекаются только опытные специалисты с соответствующим высшим образованием, либо прошедшие специализированные курсы повышения квалификации в области оценки качества образования. Однако во всех странах отмечают недостаточность кадрового потенциала для удовлетворения всех нужд НСОКО. Наиболее острая кадровая ситуация в Кыргызстане, наименее — в России и Казахстане.

Подготовленные аналитические материалы обычно размещаются на специализированных информационных порталах в сети интернет, проходят многочисленные обсуждения в профессиональном сообществе, педагогическими работниками и родительской общественностью в рамках семинаров и конференций.

Среди информационных продуктов по итогам исследований можно выделить аналитический доклад, зачастую представляющий из себя объемный и малопонятный для неспециалистов документ и адресованные министерствам образования.

Все эксперты, участвующие в подготовке аналитических материалов по опыту их стран в формировании НСОКО уделили лишь небольшое внимание вопросам представления полученных данных и результатов процедур оценки всем заинтересованным сторонам, что лишь подтверждает сложность этого этапа.

В заключении отметим основные способы использования полученных результатов выявленные в ходе сравнительного анализа:

• · главным направлением является создание информационно-аналитического фундамента для принятия управленческих решений, корректировки национальной и региональной образовательной политики, реформирования системы образования в целом или ее отдельных элементов. Здесь исключением является Российская Федерация где, несмотря на заявления разработчиков, рекомендации по итогам Мониторинга не могут быть адресованы конкретному субъекту федерации ввиду специфики формирования выборки участников;
• · совершенствование учебных программ по предметам, учебно-методических комплектов, образовательных стандартов отмечается во всех странах, но наиболее доступны данные по Кыргызской Республике где разработан и в 2009 году принят новый рамочный куррикулум (стандарт), в котором акцент обучения переносится с процесса на результат обучения, разработаны предметные куррикулумы для начальной школы. Новые куррикулумы, обеспеченные учебниками и методическими пособиями для учителей. Ведутся аналогичные работы для средней и старшей школы. Не менее серьезная работа ведется в Республике Казахстан, где на основании результатов также были организованы крупные работы по изменению содержания и методов преподавания предметов, внесены изменения в стандарты и даже создан отдельный Мониторинг для отслеживания у учащихся развития функциональной грамотности;
• · совершенствование программ повышения квалификации, переподготовки и подготовки педагогических работников, а также психологов (в Белоруссии), совершенствование методики преподавания;
• · эксперты всех стран отмечают разноуровневость применения результатов разделяя национальный и региональный. В России дополнительно отмечают возможность применения полученных результатов НИКО на уровне муниципалитетов и даже отдельных образовательных организаций, родителей и детей, что пока выглядит сомнительно, учитывая характер формирования выборки;
• · в Армении полученные результаты в первую очередь используют в целях совершенствования разработанных инструментов, т.к. они еще находятся на стадии апробации;
• · специалисты всех стран пришли к пониманию недопущения использования результатов для оценки участников исследований с последующими мерами негативных (правовых) воздействий;
• · пока что нигде из изучаемых стран не рассматриваются мониторинги в качестве инструмента построения индивидуальных образовательных траекторий для учащихся, что реализовано, например, в австралийском Мониторинге NAPLAN. Однако здесь снова исключением является российский НИКО, в концепции которого указано такое направление использования «Родителями и детьми — для повышения информированности, развития моделей родительского оценивания, принятия обоснованных решений о выборе образовательной траектории ребенка». Учитывая все вышеизложенное касательно данного инструмента это также представляется маловероятным.