Критерии качества проведения педагогической диагностики

Сложные формы содержательного оценивания требуют специально организованных измерительно-оценочных процедур. При этом на основе проверяемых целей обучения подбирается предметный материал, продумывается форма работы учащегося (устная, письменная, тестовая), критерии оценивания деятельности, размерность отметочной шкалы. Для минимизации психологических проблем, связанных с оцениванием, измерительно-оценочные процедуры должны удовлетворять трем условиям: объективности, надежности и валидности. Эти условия являются и главными критериями качества измерительнооценочных процедур, лежащих в основе содержательного оценивания. Рассмотрим каждое из трех условий.

Измерение считается объективным, если удается максимально исключить субъективные воздействия оценщиков. Субъективизм является одной из главных психологических проблем оценивания. На объективность оценивания могут влиять самые разные факторы: ожидания учителя, форма ответа, устойчивость и осознанность системы оценочных критериев. Ожидания учителя, в свою очередь, зависят от знания предыдущих успехов или неуспехов ученика, пола учащегося, последовательности выступления учеников. Так, известно, что ученику, заслужившему устойчивую хорошую репутацию, учитель склонен завышать отметки, а ученику, заслужившему плохую репутацию, — выставлять отметки около среднего значения. Это не способствует стимуляции к учению плохих учеников, так как они знают, что, как бы они ни старались, они не получат отметки выше «хорошо». Пол также может влиять на ожидания учителя, особенно если дело касается «мужских», по мнению учителя, предметов — математики или физики. Последовательность устных выступлений учеников также может повлиять на ожидания учителя и, следовательно, на объективность его оценивания. В педагогической психологии известен «эффект контраста», когда средний ученик выступает после сильного, его ответ оценивается хуже, чем тогда, когда он выступает после слабого, когда его ответ оценивается лучше [2].

Форма ответа также может повлиять на объективность оценивания. Так, было установлено, что один и тот же устный ответ оценивается по-разному в зависимости от скорости говорения. При медленной скорости ответа он оценивался хуже, чем при быстрой скорости. Скорее всего это связано с тем, что медленная скорость ответа интерпретировалась как уверенность в своих знаниях, а медленная — как неуверенность. При письменном ответе на объективность оценивания могут повлиять такие факторы, как разборчивость почерка или наличие орфографических ошибок, даже при условии, что письменная работа пишется не для проверки знания неправильно написанных орфограмм (см.: [4. С. 257]).

Осознанность оценочных критериев может влиять на объективность, поскольку в случае размытости критериев или их неоднозначности очень велика вероятность выставления отметки под влиянием сиюминутного настроения учителя.

Существуют различные методы и приемы увеличения объективности оценок и отметок. Один из приемов — разделение процесса оценивания на ряд этапов и стандартизация каждого из этапов. Крайней формой такого подхода является использование тестов — коротких заданий, данных в стандартных условиях. К. Ингенкамп предлагает разделить процесс оценивания на три этапа:

• — проведение измерения;
• — обработку данных;
• — интерпретацию результатов.

На этапе проведения измерения унификация заключается в том, чтобы для всех проверяемых учеников создать максимально сходные условия. Для этого специально оговаривается время, отводимое для решения, дается стандартная инструкция и пояснения к каждому из заданий. Также должно быть указано, какими справочными материалами могут или не могут пользоваться учащиеся.

На этапе обработки данных должны быть заранее определены критерии оценивания, и учитель должен уметь ими пользоваться. Для обучения пользоваться оценочными критериями организуют диагностические семинары для учителей. Подобные семинары с конца 70-х гг. XX в. организует Всемирная организация здравоохранения для врачей-психиатров разных стран, чтобы согласовать и выработать единые критерии постановки диагноза в сложных и спорных случаях. Известно, что до проведения подобных семинаров в 1950;х и 1960;х гг. психиатры отмечали несовпадение уровня госпитализации больных шизофренией и маниакально-депрессивным психозом в США и Великобритании. Так, диагноз «маниакально-депрессивный психоз» в Великобритании ставился в 5 раз чаще, чем в США, а диагноз «шизофрения», наоборот, в 2 раза реже. В процессе специального эксперимента выяснилось, что критерии для вынесения этих заболеваний у психиатров разных стран различались. После специального обучения различия в клинических психиатрических диагнозах у врачей этих стран исчезли (см.: [7. С. 155]).

В случае использования тестов с закрытой формой ответа (заранее определены все возможные ответы) обработка производится с помощью ключа: производится подсчет количества совпадений и несовпадений с правильными ответами.

Объективность интерпретации во многом зависит от разнообразия обрабатываемой информации и способа нормирования результатов. Чем более разнообразна информация и чем более она разнопланова, тем сложнее ее интерпретировать. Поэтому сложнее всего интерпретировать продукты творчества: стихотворные и прозаические тексты, инженерные конструкции. Интерпретация зависит также и от способа нормирования: учитель может ориентироваться на средние групповые нормы или на относительные нормы достижения конкретного ученика. И тот и другой способ нормирования не свободен от недостатков — в случае ориентировки на средние групповые нормы учитель вынужден оценивать работу слабого ученика на оценку «плохо» даже в том случае, если тот постарался и количество ошибок сократил вдвое по сравнению с предыдущей работой. Однако количество ошибок, которые тот сделал, все равно не дотягивает даже до средней отметки «удовлетворительно». Поэтому усилия данного ученика остаются неоцененными, что воспринимается как необъективность и не способствует стимуляции учения: «Как ни старайся, все равно получу двойку». Сильный ученик также не стимулируется при ориентации учителя на групповые нормы, так как он знает, что много ошибок не сделает и их количество все равно будет намного ниже средней нормы. Поэтому особой необходимости стараться нет.

При ориентации учителя на относительные нормы достижения возникает ситуация, когда за одну и ту же работу один ученик может получить отличную отметку в случае успешного продвижения в усвоении материала, а другой — неудовлетворительную, так как не показал такого продвижения и выполнил работу с тем же результатом, что и в прошлый раз. Это также может восприниматься учащимися как необъективность и наличие «любимчиков» у учителя. Решение этой проблемы зависит только от понимания учащимися зависимости оценки учителя от степени прикладываемых усилий и величины продвижения в учебном материале.

Надежность оценивания характеризуется как стабильность во времени и воспроизводимость результатов. Надежность зависит от четкости и стабильности оценочных критериев и вероятности стандартной измерительной ошибки. Стабильность оценочных критериев означает, что независимо от ситуативного контекста для оценивания должны использоваться одни и те же критерии. К примеру, математические работы могут быть оценены по-разному, в зависимости от принятых приоритетов: если учитель считает, что главное в математике — это логика и понимание закономерностей, он может оценить даже неверно выполненную задачу положительно в случае, если ход решения верный и математические формулы использованы правильно, хотя и допущена ошибка в вычислениях. И напротив, учитель, который считает, что главное в математике — это счетные навыки и умения, поставит за такую работу «неудовлетворительно», так как полученный ответ ученика не совпадает с эталонным. Переход в процессе оценивания с одного типа критерия на другой может вызывать у ученика чувство неуверенности в себе и ощущение, что качество оценивания зависит только от воли случая. Это, в свою очередь, порождает чувство тревоги и зависимость от внешней оценки. В крайних случаях постоянная нестабильность критериев оценивания может вызывать чувство «выученной беспомощности», когда учащийся, страшась негативной оценки, отказывается проявлять какую-либо инициативу.

Величина стандартной измерительной ошибки дает поправку на количество случайно угаданных ответов. Это особенно характерно при тестовой форме контроля, когда форма ответа закрытая. В целом, чем больше в тесте заданий, тем больше вероятность случайного угадывания. Поэтому с увеличением заданий интервал случайной измерительной ошибки увеличивается. Так, при количестве заданий менее 24 истинное значение успеваемости располагается между точками с интервалом 4 балла. Отсюда значения 20 и 24 балла (при условии начисления одного балла за одно задание) фактически не различаются, так как входят в один интервал случайной измерительной ошибки. При величине заданий от 24 до 47 интервал уже составляет 6 баллов, а при числе заданий от 48 до 89 — 8 баллов (см.: [2. С. 38]). Если учитель для контроля знания или умения дает всего лишь четыре или пять заданий, величина стандартной измерительной ошибки составляет 2 балла, что делает общий результат диагностики очень ненадежным, если он оценивается по 4-балльной шкале. По такому количеству заданий можно надежно оценить знания или умения только с использованием 2-балльной шкалы (зачет — незачет).

Валидность оценивания означает соответствие того, что мы измеряем, тому, что требуется измерить. Специалисты различают разные виды валидности: валидность содержания; валидность соответствия результатов, полученных с помощью различного инструментария; валидность прогноза; валидность конструкта.

Отсутствие валидности по содержанию приводит к тому, что оценка начинает включать помимо требований программного характера еще и неучтенные параметры деятельности ученика: например, при решении математической задачи в начальной школе часто не учитывают развитие навыка чтения и способность ребенка к пониманию математических текстов. Кроме того, отсутствие в государственном стандарте требований к уровню усвоения материала может приводить к завышенным или, напротив, заниженным требованиям к уровню освоения содержания.

Валидность соответствия помогает установить, как соотносятся результаты, полученные одним методом, и с результатами, полученными другими методами, способами. Так, устный ответ должен соответствовать письменным или тестовым заданиям. При этом необходимо помнить, что не все умения можно измерить с помощью альтернативных методов: так, речевые умения можно проверить только при устной форме экзамена, и они не могут быть проверены с помощью тестирования.

Валидность прогноза позволяет вычислить взаимосвязь между данными, полученными в ходе диагностического обследования, и поведением, наблюдаемым позднее. Другими словами, высокая валидность прогноза свидетельствует о том, что высокая оценка умений в каком-то диагностическом задании показывает то, что в будущем учащийся уверенно справится с подобным заданием.