Ошибки оценивания и способы их предотвращения

Всякая оценка предполагает измерение того, что есть, и его сравнение с тем, что должно быть. Никакой метод измерения не может обеспечить абсолютной его точности, всегда возникает ошибка.

Учебная программа является достаточно сложным объектом оценки, и угроза существенных ошибок измерения здесь весьма значительна.

Обеспечение объективной и точной оценки — важная задача, трудность решения которой связана с тем, что совершаемые ошибки часто даже не осознаются теми, кто их допускает. Поэтому каждому, принимающему участие в оценке учебных программ по малому бизнесу, необходимо четко представлять типы возможных ошибок и способы их устранения.

Анализ опыта оценки учебных программ показывает, что существуют многочисленные источники ошибок: и недостаточная компетентность оценивающих, и их субъективные установки, и неполная информация о программах, и несовершенство используемых методов, и многое другое. Специальными исследованиями выделено несколько типов наиболее распространенных ошибок при оценивании.

Три типа ошибок (строгость, мягкость и центризм) связаны с неполным использованием оценочной шкалы.

Строгость в оценке — тенденция выставлять каждому оценку ниже, чем он заслуживает, или, чем его оценили бы другие эксперты.

Причинами возникновения ошибок этого типа могут быть завышенные требования или попытка мотивировать разработчика учебной программы работать на пределе его возможностей, а также боязнь ответственности в случае неудачной реализации программы. Установка в основном на отрицательную оценку реализуется в нескольких формах:

• · более мягкая — умолчание о позитивных и подчеркивание негативных моментов учебной программы;
• · более жесткая — активное отрицательное отношение к любым характеристикам программы.

При этом оценивающий часто имеет положительное мнение об оцениваемой программе, но считает, что, продемонстрировав его, допустит опрометчивость, создаст условия для снижения качества деятельности преподавателя.

Негативные последствия строгости состоят в сужении диапазона оценки, так как используется только часть оценочной шкалы с низкими баллами; при этом происходит искажение реальной картины и отвлечение внимания от аспектов учебной программы, требующих действительного улучшения. Кроме того повышенная строгость, как правило, вызывает неприятие оценки преподавателем, программа которого оценивается, что может привести к пересмотру мотивов деятельности и неудовлетворенности трудом, порядками в образовательном учреждении и, наконец, самим оценщиком.

Мягкость в оценке — тенденция выставлять оценку выше, чем заслуживает оцениваемая учебная программа, — может быть вызвана рядом причин:

• · стремлением к сохранению хороших отношений с разработчиком программы;
• · чувством неуверенности;
• · желанием представить положение дел в образовательном учреждении как благополучное;
• · благосклонным отношением к тем преподавателям, программы которых по каким-то характеристикам похожи на программы, разработанные данным экспертом;
• · просто нелюбовью к сообщению плохих новостей, особенно тому, кому новость предназначена.

Сильная сторона установки на положительную оценку учебной программы в том, что она формирует у преподавателя, ее разработавшего, уверенность в своих силах и возможностях. Но есть у нее и слабые стороны. Она не способна оказать такого воздействия на человека, которое послужило бы отправным моментом серьезного пересмотра сложившихся приемов и стиля работы.

При мягкости, как и при строгости, сужается диапазон оценки, но уже за счет использования только высоких баллов. При этом некоторые оцениваемые работники в качестве поощрения могут получить предложения, которые не соответствуют их способностям, у других появляется обида на экспертов, дающих точные, но более низкие оценки.

Усреднение оценки (центризм) — тенденция выставлять каждому оценку в середине диапазона, избегая крайних значений, — может быть связана с нежеланием эксперта как обидеть автора оцениваемой программы, так и казаться великодушным, или с недостатком информации о характеристиках программы и ориентацией поэтому на «безопасный» средний балл. Причиной могут быть и нечеткие критерии оценки. В этом случае выставление усредненной оценки служит способом избегания сомнений.

При таком варианте оценочная шкала вообще не работает, поэтому отсутствует возможность выявить как наиболее эффективные программы, так и те, которые необходимо серьезно улучшать.

Эффект «ореола»  — тенденция оценивать учебную программу на одинаковом уровне по всем характеристикам — как правило, связан с тем, что оцениваемая программа имеет ярко выраженные положительные или отрицательные качества, «заслоняющие» другие характеристики. Так, отмечено, что различные тренинги получают более высокие оценки, чем заслуживают в соответствии с реальным вкладом.

Отрицательным последствием являются ошибки в выявлении сильных и слабых сторон учебной программы.

Эффект недавности (свежести) — оценка учебной программы на основе недавних фактов, событий и результатов, связанных с реализацией другой учебной программы данного преподавателя, а не на основе ее качеств — возникает из-за того, что наиболее значимой по отношению к знакомому человеку оказывается извлеченная из кратковременной памяти последняя информация. Так недавнее посещение занятий преподавателя, являющегося разработчиком оцениваемой программы, и неприятное воспоминание о нем могут стать решающими при оценке.

Негативным последствием этого эффекта служит необъективность оценки программы.

Эффект контраста — влияние на оценку данной учебной программы результатов оценок тех программ, которые были оценены перед ней, — появляется из-за сравнения ее качеств не со стандартом, а с ранее оцениваемыми программами.

В результате при оценивании используется «гибкий» стандарт, поэтому занижается оценка учебной программе, следующей за той, что была оценена высоко, и завышается оценка программы, следующей за той, что была оценена низко.

Атрибуция — использование в качестве объяснения результатов обучения по данной оцениваемой учебной программе не ее характеристик, а положительных или отрицательных характеристик личности преподавателя. Причинами возникновения ошибки служит, с одной стороны, придание чрезмерного значения личностным характеристикам, приписываемым преподавателю оценивающим, с другой — отсутствие необходимой для объективной оценки информации о самой оцениваемой программе и условиях ее реализации.

В итоге принижается или не принимается во внимание влияние на реализацию программы ее важных характеристик: например, происходит занижение оценки, если оценивающий связывает причины недостатков в учебном процессе с недостатком приложенных преподавателем усилий, а не с низким уровнем необходимых качеств программы, или отсутствием в образовательном учреждении необходимых для получения высоких образовательных результатов условий.

Универсальным средством для снижения вероятности ошибок при оценке является выработка четких всем известных, согласованных и принимаемых всеми критериев оценки:

• · формулировка и доведение до каждого эксперта четких определений того, что закладывается в каждое значение оценочных уровней шкалы;
• · участие в оценке нескольких экспертов и сопоставление их оценок, что обеспечивает обоснованность и объективность оценок;
• · проведение оценки учебной программы ее разработчиком по тем же критериям, что повышает доверие к оценивающим, служит положительному восприятию оценки и рекомендаций по совершенствованию;
• · знакомство разработчиков учебных программ с критериями их оценки еще на этапе их создания, что повышает их качество.

Для предупреждения тенденции усреднения, необоснованной строгости и мягкости в оценке необходимо проанализировать основные методы оценивания, чтобы установить:

• i возможно ли, что в рамках данной модели оценки все получат высший или низший балл;
• i возможна ли вообще объективная оценка.

Избежать ошибки типа «подобный мне» поможет анализ взаимоотношений с подчиненными и сравнение оценок подобных себе с оценками других сотрудников.

Для предупреждения эффектов «ореола» и «недавности» необходимо специально обращать внимание на то, имеет ли преподаватель, представивший учебную программу для оценки, черты, способные затмить его профессиональную деятельность. Оценивающим следует иметь список характеристик программы, на которых будет основываться оценка, чтобы сравнить можно было сравнивать программы, оцененные за весь период. Оценку по отдельным характеристикам необходимо вести строго последовательно, концентрируя внимание на данной характеристике, а потом выставлять рейтинговую оценку.

Для предупреждения ошибок контраста желательно не проводить оценку нескольких программ одновременно.

Предупреждение атрибуционной ошибки обеспечивается за счет накопления информации об учебной программе: требуемого и желаемого (что часто не совпадает) и учета реальных факторов среды образовательного учреждения, которые могут сделать реализацию учебной программы более легкой или трудной. Такой учет поможет избежать приписывания программе тех характеристик, которые ей не свойственны.

Если за время измерения какого-либо качества, оно может изменяться, то это будет приводить к ошибкам. Учебная программа при проведении процедуры оценки не может измениться сколько-нибудь существенно. Поэтому этот фактор можно не учитывать.

Субъект измерения, в случае если он недостаточно хорошо подготовлен, может порождать систематические ошибки. Они будут тем большими, чем более жесткие требования предъявляет методика к субъекту измерения. Поэтому для обеспечения надежности измерения специальное внимание должно уделяться к подготовке пользователей методики.

Но основные ошибки измерения порождаются самой методикой. Существуют различные способы повышения надежности измерения. Поэтому при разработке метода оценки качества краткосрочных программ бизнес-образования должны быть приняты необходимые меры обеспечения ее надежности.