З. б. Методы оценивания

В процессе изучения предмета исследования и для оценки полученных результатов педагогического исследования могут использоваться методы оценивания. Оценить значит установить уровень, степень или качество чего-либо. Оценивание играет значительную роль в процессе исследования. Оно задает ориентиры для деятельности и выполняет диагностическую (определение качества), образовательную (приведение теоретических и прикладных результатов исследования в систему), развивающую (внесение корректив в процесс исследования, определение его дальнейшего хода), мотивационную (поощряет, стимулирует исследователя) и информационную (сообщает о ходе и результатах исследования) функции.

Чаще всего в исследованиях используются методы экспертных оценок. Кроме того, могут использоваться самооценка и взаимооценка. Самооценка и взаимооценка могут использоваться и на разных этапах исследования: при планировании — для оценки полноты плана, его непротиворечивости и логичности; в процессе анализа литературы — для оценки подбора анализируемых источников, качества теоретического обзора; как метод, используемый в опытно-экспериментальной работы, и др. Взаимооценка может проводиться в процессе обсуждения исследования на методологических семинарах, конференциях.

Поскольку требования к лицам, проводящим оценку, этапам оценивания и обработки его результатов являются общими для всех методов оценивания, разберем их на примере метода экспертных оценок.

Метод экспертных оценок. Метод относится к социологическим. По существу, это разновидность опроса, связанная с привлечением к оценке изучаемых явлений, процессов наиболее компетентных людей, мнения которых, дополняющие и перепроверяющие друг друга, позволяют достаточно объективно оценить исследуемое.

Экспертная оценка — это метод прогнозирования социального явления или процесса, позволяющий получить необходимую информацию от компетентных лиц (экспертов)^[1]. Эксперты (лат. expertus — опытный) — это люди, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

Метод экспертных оценок включает:

• — интуитивно-логический анализ задачи, который осуществляют эксперты. Вся оценка строится на их знании и интуиции, что предъявляет высокие требования к экспертам;
• — решение и выдачу количественных и качественных оценок. Эксперт формирует решение и (или) дает оценку ожидаемых результатов;
• — обработку результатов решения, которую проводит исследователь, обобщая результаты экспертиз, проведенных несколькими специалистами.

В педагогических исследованиях этот метод используется при оценке методических и дидактических материалов, качеств личности, прогнозирования развития эксперимента, оценке и решении проблем.

Использование этого метода требует соблюдения ряда условий.

1. Тщательный подбор экспертов — людей, хорошо знающих оцениваемую область, изучаемый объект и способных к объективной, непредвзятой оценке. Для подбора экспертов, например, можно использовать метод шара, когда один эксперт, уважаемый в своей области рекомендует следующего эксперта и так далее, пока не будет сформирован необходимый коллектив. Кроме авторитетности в своей области, эксперты не должны быть лично заинтересованы в результатах экспертизы.

К субъективным ошибкам экспертов относятся:

• — привычка принимать решения по шаблону («Мы всегда так делали»);
• — настрой на субъективно желаемое;
• — излишняя надежда на собственный опыт;
• — недооценка рисков, установка на самый исполнимый вариант;
• — стремление доказать свою правоту;
• — подгонка информации под свой замысел или свою точку зрения;
• — абстрактная выработка решения.
• 2. Выбор точной и удобной системы оценок (критериев и показателей) и соответствующих шкал измерения, что упорядочивает суждения и дает возможность выразить их в определенных величинах. Зачастую бывает необходимо обучить экспертов пользоваться предложенными шкалами для однозначной оценки, чтобы свести к минимуму ошибки, сделать оценки сопоставимыми. Если действующие независимо друг от друга эксперты стабильно дают совпадающие или близкие оценки или высказывают близкие мнения, есть основания полагать, что они приближаются к объективным. Если же оценки сильно расходятся, то это говорит либо о неудачном выборе системы оценок и шкал измерения, либо о некомпетентности экспертов^[2].

Метод распространен там, где нельзя применить точные методы измерения: в гуманитарных науках, объектом изучения которых является человек и человеческие отношения, а также в экономике и менеджменте в процессе стратегического планирования.

Качество получаемых экспертных оценок во многом зависит от подготовки экспертизы, которая обычно включает следующие этапы^[3]:

• 1. Формулировка цели и задач анализа.
• 2. Разработка процедуры проведения экспертизы или выбор ее метода: определение сроков и этапов проведения экспертизы, выбор руководителя группы экспертов, разработка процедуры.
• 3. Выявление исходной информации для экспертов, по возможности точное и «широкое» представление исследуемого вопроса.
• 4. Формирование группы экспертов. Оценка их компетентности.
• 5. Получение экспертных оценок. Заполнение протоколов экспертов, таблиц и т. д.
• 6. Обработка результатов экспертизы, анализ полученных данных с использованием методов математической статистики, решение о том, насколько экспертиза достигла цели. Обсуждение полученных результатов на собрании экспертной группы. Коллективная аргументация принятого решения.

Как правило, при проведении экспертизы используются непосредственная оценка, балльный метод, ранжирование, парное сравнение. В этом процессе важно избежать давления мнения одного эксперта на других и соблюсти регламент экспертизы.

При обработке серьезных экспертиз используются методы математической статистики — среднее квадратическое отклонение и вычисление ранговой или линейной корреляции.

Существуют две группы экспертных оценок — индивидуальные и коллективные. Первые основаны на использовании мнений отдельных экспертов, не зависимых друг от друга. Вторые — на использовании коллективного мнения экспертов (рожденного в процессе дискуссии или мозгового штурма)^[4]. Примером коллективной экспертной оценки может выступать педагогический консилиум, в ходе которого проводится изучение и обсуждение поставленной проблемы по определенному сценарию.

Разновидностями метода экспертных оценок являются: дискуссия, анкетирование, деловая игра, метод комиссий, метод мозгового штурма, метод Дельфы, метод эвристического прогнозирования и др.

Мозговой штурм проводится в два этапа. На первом этапе участники группы, разбившись на микрогруппы, выдвигают идеи для решения поставленной проблемы. Этап продолжается от 15 минут до 1 часа. Действует строгое правило: «Идеи высказываются, фиксируются, но не обсуждаются». На втором этапе происходит обсуждение выдвинутых идей. При этом группа, высказывавшая идеи, сама их не обсуждает. Для этого либо каждая группа посылает представителя со списком идей в соседнюю группу, либо заранее формируется группа экспертов, которая не работает на первом этапе.

Метод комиссии заключается в том, что в процессе заседания комиссии (дискуссии) каждый из экспертов аргументированно отстаивает свою позицию. Обоснованное мнение формируется в процессе обсуждения экспертами поставленной проблемы.

Метод дневников используют в том случае, когда объект проводимой экспертизы очень сложен. Экспертам выдаются блокноты, в которые они должны записывать свои мнения и оценки в течение нескольких дней. Они могут работать коллективно или индивидуально. Главное условие — работать каждый день над проблемой не менее одного часа. Результаты работы обсуждаются на совместной дискуссии.

Метод Дельфы носит название греческого города, где впервые был применен. Проводится он в несколько этапов. На первом этапе выдвигаются альтернативы, идеи, варианты оценки и т. д. Они все записываются на листе бумаги, который получает каждый эксперт. Он оценивает каждый вариант по пятибалльной шкале и передает свои оценки организатору, который подсчитывает среднюю оценку для каждого варианта. На втором этапе каждый эксперт получает лист со средними оценками и сравнивает их с теми, которые выставил сам. Цель этапа — приблизить оценки каждого эксперта к средним или получить обоснование того, почему эксперт остается при своем мнении. Листы с измененными оценками снова передаются организатору, который снова подсчитывает средние оценки каждого варианта. Работа продолжается до тех пор, пока все индивидуальные оценки не будут приближены к средним.

Метод «за» — «против» является разновидностью дискуссии. Для его проведения создается группа экспертов и вырабатываются возможные оценки объекта экспертизы. Далее каждый эксперт выступает с обоснованием того, почему он принимает или отвергает ту или иную оценку. В процессе выступлений формируются группы «за» и «против» вариантов решений. На следующем этапе представители точек зрения меняются местами (те, кто выступает «за», должны приводить аргументы «против» и наоборот), приводят дополнительные аргументы и вырабатывают согласованные оценки. В том случае, когда в процессе дискуссии не удается выработать согласованное решение, формируются рабочие группы для дальнейшего совершенствования предложенных вариантов.

Метод обобщения независимых характеристик заключается в одновременной оценке наблюдаемого явления различными по своему статусу людьми (учитель, представитель администрации, ученик, родитель и др.).

Метод сценариев — совокупность правил и критериев, которые оформляются в виде сценария индивидуальной оценки и раздаются экспертам. В ходе работы они должны четко следовать предложенному сценарию. Метод используется, например, при оценке деятельности педагогов в процессе аттестации.

• [1] Мехтиханова Н. Н. Экспертная оценка. Ярославль: Изд-во ЯрГУ, 2006. 45 с.
• [2] Новиков Л. М. Научно-экспериментальная работа в образовательном учреждении.М.: Изд-во Ассоциация «Профессиональное образование», 1998. 134 с.
• [3] Масленников Е. В. Экспертное знание: Интеграционный подход и его приложениев социологическом исследовании. М.: Наука, 2001.
• [4] Ядов В. А. Стратегия социологического исследования: описание, объяснение, понимание социальной реальности. М.: Добросвет, 1998.