Оценивание результатов обучения по образовательной программе: подходы, проблемы, тенденции

Оценивание результатов обучения по образовательной программе в рамках идеи конструктивного выравнивания Проблема оценивания результатов обучения до сих пор остается одной из самых актуальных, что подтверждают многочисленные публикации зарубежных и отечественных исследователей. Так, Вильям и Блэк (2001) определяют оценивание следующим образом: «Оценивание относится ко всем видам деятельности, предпринимаемым преподавателями и их студентами для самооценки, которые обеспечивают информацию, подлежащую использованию в качестве обратной связи для последующей модификации их деятельности по преподаванию и обучению» [40, с.2].

Как было отмечено ранее, идея конструктивного выравнивания, предполагает формирование логической связки «результаты обучения — опыт обучения — оценивание обучения», которая выстраивается в процессе проектирования образовательной программы.

На сегодняшний день при проектировании образовательных программ, по мнению Челышковой М. Б. (2015), преимущественно применяется декомпозиция, предполагающая разложение каждой компетенции на дескрипторы (признаки проявления), которые затем связываются с результатами реализации учебных программ и курсов (знаниями и умениями). Основным недостатком декомпозиции является формирование у студента набора дискретных компетенций, когда он не способен выполнить задачу на высоком уровне профессионального мастерства, хотя отдельные признаки компетенции у него сформированы. Интегральный подход, предполагающий «построение компетентностной модели выпускника — комплексной интегральной структуры конечного результата образования в вузе, в основе которого лежит связанная и иерархически упорядоченная совокупность компетенций» [32, с.6−7], ввиду своей сложности практически пока нигде не реализован.

Так, на декомпозиции основываются следующие подходы, например: проектирование образовательных программ на основе методологии TUNING (Караваева, Телешова, Ульянова, Эченикэ, 2013) и картирования компетенций (Караваева (2014), Елина, Ковтун, Родионова (2015)), технология проектирования инженерных образовательных программ на основе модернизированной двухконтурной модели АВЕТ (ABET — the Accreditation Board for Engineering and Technology [36]) (Чучалин, Муратова, Епихин, 2012), методология проектирования образовательных программ на основе результатов обучения (Ребрин, Шолина, 2014). Отметим, что два последних подхода предполагают формулирование результатов обучения по образовательной программе с учетом требований ФГОС ВО и международных стандартов инженерного образования. Данные подходы к определению и оцениванию результатов обучения основываются на опыте зарубежных университетов. Необходимо обратить внимание на то, что в зарубежных методиках вопросы проектирования образовательных программ на основе результатов обучения рассматриваются в единой связке с вопросами их оценивания. Из аналогичных российских разработок можно, например, выделить опыт Томского политехнического университета (Чучалин, Муратова, Епихин, 2013).

Обзор ряда практических руководств зарубежных университетов [45, 49, 50, 53] показал, что в основе оценивания результатов обучения по образовательной программе лежит следующий алгоритм: оценка ожиданий — определение результатов обучения по образовательной программе — картирование и выравнивание учебного плана — определение плана оценивания — подбор методов оценивания — сбор и анализ данных оценивания — совершенствование образовательной программы (рис. 2).

Алгоритм выстроен на принципах конструктивного выравнивания и эффективно работает, как отмечают авторы руководств, только на циклической основе.

Для проведения самооценки уровня развития системы оценивания образовательной организации в практических руководствах [45, 53], как правило, предлагаются оценочные рубрики с разной степенью детализации. Пример одной из таких рубрик приведен в табл .3.

Таблица 3 Оценочная рубрика для самооценки систем оценивания образовательных программ [45, с.27].

В приведенном примере необходимо обратить внимание на важный, на наш взгляд, момент: уровень развития системы оценивания определяется не столько качеством применяемых оценочных средств, а сколько развитием организационного механизма, обеспечивающего непрерывность возобновления циклов оценивания, документирования и анализа данных. Именно развитие данного механизма в последующем приводит к повышению качества оценочных средств и профессионализма участников оценочного процесса, а также накоплению необходимого объема данных для последующего анализа и принятия решений.

Проблемы и тенденции развития подходов к оцениванию результатов обучения по образовательной программе Вопрос о проблемах и тенденциях развития подходов к оцениванию результатов обучения по образовательной программе предлагаем рассмотреть сквозь призму их влияния на выбор конкретной модели оценивания результатов обучения по образовательной программе.

В литературе понятие «модель оценивания результатов обучения по образовательной программе» не имеет четкого определения и описания составных элементов. Авторы его используют в разной интерпретации, и единого подхода, к сожалению, выявить не удалось. Так, например, в качестве модели оценивания РО по ОП позиционируются либо циклы оценивания (по аналогии с описанным алгоритмом, но с разной степенью детализации), либо кейсы университетов с описанием конкретных наборов оценочных мероприятий и применяемых оценочных средств. Если в основе современных подходов к оцениванию результатов обучения лежит типовой алгоритм оценивания, основанный на принципах конструктивного выравнивания, то что тогда определяет различия в моделях оценивания РО по ОП и наш выбор той или иной модели?

Можно выделить три основные дискуссии по вопросам оценивания результатов обучения по образовательной программе:

• 1) о формирующем и итоговом оценивании;
• 2) о качестве оценочных средств и их развитии;
• 3) о возможности комбинирования оценивания результатов обучения по образовательной программе и системы выставления оценок.

Рассмотрим данные вопросы подробнее. Так, дискуссия о формирующем и итоговом оценивании интересует нас с точки зрения того, насколько процессы оценивания РО по ОП своевременны, информативны и полезны в части влияния на прогресс достижений обучающихся. В настоящее время выделяют два вида оценивания: формирующее (formative assessment) и итоговое (summative assessment) (табл.4).

Таблица 4 Виды оценивания в образовательном процессе.

Бойцова Е.Г. (2014) отмечает, что ключевым отличием формирующего оценивания от итогового являются не применяемые методы или оценочные средства, а цель его проведения. При этом результаты формирующего оценивания должны немедленно использоваться для корректировки процесса обучения, в этом случае данный вид оценивания приобретает непрерывный характер. Землянская Е. Н. (2015) определяет следующие характеристики формирующего оценивания: студентоцентрированность; личностную ориентированность формирование образовательного процесса; расширение круга участников образовательной программы; формирование у студентов проектировочных, коммуникативных, рефлексивных умений; объективизация и дифференциация оценки компетенций студентов; организация самостоятельной работы студентов; учет динамики учебных достижений студентов; возможность логичного вплетения в структуру учебного процесса. Возрастающий интерес к формирующему оцениванию объясняется тем, что на практике преобладает применение итогового оценивания как на уровне отдельных дисциплин, так и на уровне образовательной программы.

Кроме того, в целях непрерывного совершенствования образовательных программ и повышения качества обучения необходимо развивать связи между итоговым и формирующим оцениванием. В частности, авторы практического руководства (Learning Outcomes…, 2015) обращают внимание на работы Харлен и Джеймс (1997) и Тарас (2009), в которых обсуждаются вопросы о возможности взаимного использования данных формирующего и итогового оценивания. Данные, получаемые в рамках этих двух видов оценивания, при перекрестном использовании надо тщательно отбирать. Так, например, не все данные формирующего оценивания, по мнению Харлен и Джеймс, могут быть использованы при итоговом оценивании. Выравнивание критериев оценивания позволит быстрее выстраивать необходимые связи между формирующим и итоговым оцениванием.

Таким образом, оценивание результатов обучения по образовательной программе может строиться на сочетании данных и возможностей формирующего и итогового оценивания. Для оценивания результатов обучения по образовательной программе данный вывод является важным, поскольку в некоторых предлагаемых моделях оценивание результатов обучения по образовательной программе предусмотрено практически на стадии завершения процесса обучения, что, на наш взгляд, сокращает количество полезных циклов оценивания и снижает их информативность для студентов.

Вторая дискуссия о развитии и качестве оценочных средств поможет нам прояснить вопрос влияния оценочных средств на выбор подходящей модели оценивания. В соответствии с типологией оценочных средств (Звонников, Малыгин, Челышкова, 2012) выделяют две основные группы оценочных средств для количественного и качественного уровней измерений. К первой группе относят стандартизированные тесты с заданиями на выбор ответов и стандартизированные анкеты. Ко второй группе — традиционные средства оценивания, тесты практических умений, кейс-измерители и портфолио. Авторы также выделяют третью группу оценочных средств — это тесты, сочетающие количественные и качественные уровни измерений (например, компетентностные тесты).

Исследования в этом направлении базируются на основе теории педагогических измерений (классической теории тестов (CTT), современной теории конструирования и применения тестов (IRT), теории генерализации (G-Theory)), в рамках которой реализуются нормативно-ориентированный и критериально-ориентированный подходы [9,10,11,12,22,23]. Наиболее перспективным подходом к оцениванию результатов обучения авторы (Звонников, Малыгин, Челышкова, 2012) считают многоступенчатые адаптивные критериально-ориентированные измерения, предполагающие применение различных измерителей в рамках трехступенчатой модели оценивания уровня сформированности профессиональных компетенций.

При выборе типа и разработке оценочных средств важно помнить о том, что оценка уровня сформированности компетенций должна проводиться «в условиях максимального приближения содержания и методов оценивания к будущей профессиональной деятельности выпускников» [10, с.119]. Поэтому вопрос правильного подбора и разработки качественных измерителей стоит очень остро. Для апробации и совершенствования самостоятельно разработанных оценочных средств большое значение также имеет достаточное количество циклов оценивания, предлагаемых в рамках той или иной модели.

Кроме того, для каждого результата обучения рекомендуют использовать определенные виды оценочных заданий. Пример представлен в табл.5 (таблица подготовлена по материалам практического руководства Совета по качеству высшего образования Онтарио [45]).

Таблица 5 Рекомендуемые виды оценочных заданий для результатов обучения.

При принятии решения о выборе модели оценивания результатов обучения по образовательной программе, вопрос о подборе оценочных средств невозможно рассматривать без обсуждения трудоемкости и ресурсоемкости разработки оценочных средств. Так, в большинстве рассмотренных практических руководств рекомендуется учитывать наличие времени и ресурсов (кадровых, административных, финансовых и др.) при определении планов оценивания и подборе оценочных средств.

Дискуссия о возможности комбинирования оценивания результатов обучения по образовательной программе и системы выставления оценок интересует нас с точки зрения экономичности, информативности и полезности процесса оценивания. Обратим внимание на последний элемент алгоритма оценивания результатов обучения по образовательной программе — это «совершенствование образовательной программы», которое является одной из конечных целей цикла оценивания наряду с определением путей повышения качества обучения студентов.

Так, Г. Роджер (2003) [38] отмечает, что оценивание результатов обучения по образовательной программе направлено на представление доказательств того, что студенты могут продемонстрировать знания или навыки, напрямую связанные с конкретными результатами обучения по программе. Но что в итоге дает нам это оценивание — только информацию о том, как совершенствовать образовательную программу? Если оценивание результатов обучения по образовательной программе привязано к ее конкретным элементам, таким как, например, практики, НИР или ВКР, то в принципе результаты их оценивания в виде оценок будут включены в диплом студента. Не возникнет ли при этом противоречия с оценками по промежуточной аттестации? Как отмечает Г. Роджер, оценки по дисциплинам отражают, как правило, то, что студент выполнил требования преподавателя по данной дисциплине. Поэтому они являются неинформативными в части отражения успехов студентов по достижению результатов обучения на уровне программы.

Следствием такого подхода является то, что образовательные организации попадают в своеобразную ловушку невзаимосвязанных и ресурсоемких процессов оценивания на уровне отдельных дисциплин и программы в целом, в итоге получая «разрыв» между оценками в дипломе и реальным уровнем сформированности компетенций выпускников [17, 50].

Таким образом, рассмотренные дискуссии свидетельствуют об активном поиске способов решения проблем и задач по оптимизации процессов оценивания результатов обучения по образовательной программе. Основной тенденцией в развитии подходов к оцениванию РО по ОП становится смещение фокуса дискуссий с вопросов о том, что и как оценивать, к обсуждению вопросов о том, как оптимизировать эти процессы, при этом повышая их качество и информативность. Это важный вывод, который может повлиять на определение критериев выбора модели оценивания результатов обучения по образовательной программе.