Психологические факторы тестовых заданий

Психологические факторы тестовых заданий

Гущин Ю. Ф. Московский центр качества образования

1. Факторы, определяющие понимание тестовых заданий

Тестовые задания можно рассматривать как разновидность сообщений или текстов, адресованных учащимся с определенной целью. Цель этих сообщений состоит в том, чтобы проверить и оценить их знания по соответствующим разделам учебного материала. Но вначале эти сообщения должны быть правильно (адекватно) поняты учащимся. Если этого нет, то трудно ожидать, что цели оценки будут реализованы и достигнуты.

Подход к тестовым заданиям как информационному сообщению, которое вначале должно быть воспринято и понято учащимся, а затем на него должна последовать ответная реакция соответствует информационному подходу к рассмотрению общения. По модели общения, как деятельности по обмену информацией, в его структуре различают следующие составляющие: источник информации, сообщение, передающие каналы и тот или те, кто эту информацию принимает (индивид, группа индивидов, аудитория слушателей). По этой модели эффективность общения зависит от характеристик этих составляющих. Так, например, источник информации оценивается в этом случае по шкале «доверие — недоверие», а сообщение — по шкале «понимание-непонимание». Доверие или недоверие к источнику информации зависит в основном от того, воспринимают ли те, кому предназначена информация, как «своего» или «чужого».

Этот фактор имеет незначительное влияние в ситуациях обучения и проверки знаний. Более того, психологи считают, что в ситуациях проверки знаний наиболее благоприятным является нейтральное отношение к источнику информации (что, собственно, и реализуется в полной мере при использовании тестов и тестирования). Хотя, заметим, и этот фактор нельзя недоучитывать. Неизвестный в данном случае источник информации (авторами тестов является, как правило, группа или коллектив специалистов) не означает то же самое, что «нейтральный». Неизвестность часто ассоциируется учащимися с тревожным фактором и угрозой. Неизвестность и неизвестное многих страшит, а поэтому для снижения отрицательного влияния этого фактора следует, видимо, сообщать учащимся, кто является автором тестов — учитель-предметник, или группа учителей-предметников данной школы, или опытные специалисты специального центра по разработке тестов. Имеет смысл сообщать также, что данные тесты были уже опробованы в других классах или школах и в них заложено только то содержание, которое уже освоено школьниками. При этом целесообразно конкретизировать те темы и разделы, по которым проводится проверка знаний. понимание тестовый задание логика Более значимыми для контроля с помощью тестов являются характеристики сообщения. В тестах функция сообщений представлена в формулировках (утверждениях, вопросах и/или текстах) тестовых заданий. Сообщения, как уже отмечалось выше, оцениваются по шкале понимания-непонимания. С этой точки зрения понимание может быть полным, неполным, частично или значительно затрудненным, искаженным и т. д. Эти характеристики зависят от того, какие барьеры возникают у учащихся на пути понимания сообщений. Известный советский историк и психолог Б. Ф. Поршнев предложил следующую классификацию этих барьеров: он выделяет фонетический, семантический, стилистический и логический факторы (уровни), определяющие понимание-непонимание. Рассмотрим, что означают эти уровни применительно к тестам и тестированию.

Фонетический уровень. Обусловленное этим фактором влияние на понимание возникает в ситуации, когда затруднения возникают на фонетическом уровне. Наиболее типичным является случай, когда непонятен сам язык сообщения. Неполное понимание или искаженное понимание может возникать, когда говорят быстро, невнятно, с акцентом или когда используются незнакомые или несоответствующие контексту слова, затрудняющие правильное понимание текста в целом. С учетом сказанного трудно предположить, что формулировка какого-то задания окажется непонятной на фонетическом уровне. Поэтому и примеры такого рода формулировок практически невозможно воспроизвести. Исключение представляют задания на языке, не известном тестируемому. Такое может быть в тестах по иностранному языку. Однако в этом случае это не недостаток теста или отдельных формулировок, а показатель неподготовленности по данному предмету самого учащегося.

Семантический уровень. Такое непонимание возникает, например, в связи с многозначностью слов языка. Некоторые слова многозначны по смыслу и их понимание зависит часто от контекста и его понимания. «Смысловые поля» слов у разных людей различны. Поэтому одни и те же слова могут пониматься по разному. Непонимание на стилистическом уровне может возникать и при использовании текста, в котором используются специальные научные термины или профессиональный жаргон. В этом случае специалистам такой тест будет совершенно понятен, а неспециалистам (к числу которых можно отнести и учащихся) — нет.

Пример 1. «В полемике против сенатора от штата Флорида К. Пеппера, его противник заявил: „…все ФБР и каждый член конгресса знают, что Клод Пеппер бесстыдный экстраверт. Более того, есть основания считать, что он практикует непотизм по отношению к свояченице, сестра его была феспианкой в греховном Нью-Йорке. Наконец, и этому трудно поверить, хорошо известно, что до женитьбы Пеппер практиковал целибат“. В результате этого К. Пеппер потерпел поражение на очередных выборах. Что, на ваш взгляд, сыграло решающую роль в поражении сенатора?».

В данном примере используются такие понятия, как «экстраверт» — общительный человек, «непотизм» — покровительство родственникам, «феспианка» — поклонница драматического искусства, целибат — безбрачие. В этом случае наблюдается перегруженность текста терминами и выражениями, которые, вероятно, могут быть известны и понятны только специалистам в данной узкой области. Все это конечно, существенно затрудняет понимание данного текста.

В одной из публикаций приводятся результаты исследования, проводившегося со студентами первого курса в г. Новокузнецке. Им предложили дать определения словам, входящим в обычную газетную лексику: бундесвер, экскалация, левые силы, вояж и др. Всего в эксперименте участвовало 112 человек; было получено 1120 ответов. Результаты эксперимента таковы: правильными оказались 7% ответов, неточными — 39%, неправильными 54%. Из 112 человек не знали значения слова «вояж» — 57 человек, «координация» — 66, «либерал» — 65; не смогли правильно объяснить, что такое «курс акций» — 94 человека, 54 — не дали определения понятию «левые силы».

В ЕГЭ в заданиях категории «С» (с развернутым ответом) часто используются оригинальные тексты из научных, научно-популярных, газетных и др. типа публикаций. Поэтому в них могут встречаться термины и слова, непонятные тестируемым, что может приводить к непониманию или искаженному пониманию всего текста. В результате это скажется на качестве выполнения задания.

Стилистический уровень. Непонимание в этом случае возникает из-за несовпадения содержания и формы сообщения: нарушаются синтаксические нормы письменной речи.

Пример 2. Специалиста, окончившего вуз, просят написать «Резюме», которое содержало бы его профессиональную историю, а он в ответ излагает свою автобиографию.

Несовпадение стиля и содержания может встречаться в заданиях «С», когда выпускника просят написать сочинение-рассуждение, эссе или отзыв, а он демонстрирует непонимание стилевых особенностей и пишет в ответ текст, в котором отсутствуют признаки рассуждения, или отзыв, в котором отсутствуют оценки и/или обоснования.

К непониманию может приводить, кроме того, стилевое пере усложнение текста.

Логический уровень непонимания. В этом случае непонимание может быть связано или с нарушением логических норм и правил построения текста или с неприятием учащимися логики коммуникатора (источника информации). При этом следует учитывать, что существуют разные логики и разные люди не в одинаковой степени владеют этими логиками. Уже в самом по себе разнообразии логик заложены основания для непонимания. Логика может восприниматься как «своя» и чужая". «Чужая логика — «неправильная», как могут считать некоторые люди, и, следовательно, к ней следует относиться недоверчиво или пренебрежительно. Если мы отказываем логике сообщения в правильности, то на нас не произведут никакого впечатления разнообразные «следовательно», «исходя из .», «мы можем заключить.», «потому что .» и т. п., так как это может рассматриваться как подделка под логику и ей поэтому выражается недоверие. В таких случаях сообщение натыкается на логический барьер непонимания.

Возможны ли логические барьеры в педагогических тестах? Вероятно да, поскольку логические нормы (правила) построения тестов иили отдельных предложений (утверждений) известны далеко не всем составителям тестовых заданий и не все умеют ими пользоваться.

Логические барьеры, затрудняющие понимание, иногда встречаются в тексте инструкций к заданиям с развернутым ответом. Первое, что требуется от учащегося при выполнении заданий группы «С», это — правильно понять, что нужно делать. Если инструкция или формулировка задания недостаточно четки и определенны, то это может повлечь за собой непонимание и как следствие ошибки при выполнении задания. Если инструкция адресована учителю или лицам, ответственным за проведение тестирования, то неверное ее прочтение также в конечном счете отразится на качестве деятельности учащихся.

Пример 3. «Желательно, чтобы в сочинении в той или иной форме

— были отражены основные мысли автора: в условиях «многолюдства» особенно важно поддерживать выработанные человечеством этические нормы, быть воспитанным человеком — вежливым и внимательным при любых обстоятельствах по отношению ко всем окружающим, не только знакомым, но и посторонним, чужим людям;

— отмечены разнообразные языковые средства и стилистические приёмы, характерные для данного текста: парцелляция, неожиданные сочетания слов и сравнения, придающие фразам ироническое и саркастическое звучание, пародируется динамичный стиль репортажа и т. п.". (один из вариантов инструкции к заданиям «С» демо-версии 2003 г.). Здесь есть, на наш взгляд, почва для неоднозначной трактовки текста инструкции. В частности, четко не говорится о том, что означает в данном случае «желательно» и «в той или иной форме …»? Можно по разному понимать и трактовать эти требования. Если возможны разные трактовки (в том числе экспертов, проверяющих задания), то это будет влиять на результат и оценку.

Пример 4. «Если одаренность понимать как высокий темп антропологического роста и высокий уровень обучаемости (последнее соответствует идеям Л.С. Выготского), и если предположить, что в ходе обучения даже в обычных школах дети могут сталкиваться с ситуациями, способствующими развитию у них вышеназванных способностей, например, когда педагоги более или менее целенаправленно демонстрируют свое собственное понимание или рефлексию, (а также развитие способностей могло идти через книги, через взаимодействие с другими взрослыми и т. д.), то, если старшеклассник это «взял», то есть взял образцы — соответствующие способы рефлексии и понимания, особенно взял достаточно сложные культурные образцы, он может считаться одаренным (по крайней мере в данной сфере своих проявлений) Текст из статьи Н. М. Амяги «Исследование развития способностей рефлексии, понимания и мировозренческого самоопределения старшеклассников». «.

В данном случае причиной непонимания (или затрудненного понимания) является смысловая перегруженность текста, т. е. когда разные смысловые единицы объединены в одном предложении и представляют собой «поток сознания».

2. Учет психологии тестируемых

При проведении тестировании нередки случаи, когда учащиеся пытаются угадать правильный ответ. Это происходит в том случае, когда учащиеся не готовы к контролю, а тест содержит «закрытые» задания (с несколькими вариантами ответа, один из которых правильный). В этой ситуации предлагаемые варианты как бы провоцируют угадать правильный ответ. При этом, как правило, угадывание происходит не «вслепую», а опирается на определенную логику. По сути говоря, учащийся пытается использовать какие-то рациональные и иррациональные признаки и стратегии поведения, которые позволяют определить правильный вариант ответа.

Психологию необходимо учитывать при разработке и отборе заданий для теста. Приведем некоторые типичные психологии. В этом разделе используется материал из кн. «Основы психодиагностики» по ред А. Г. Шмелева — «Феникс», Р-на-Дону, 1996, ч. 2, р. 3.7. .

1) Выбирай «золотую середину. В соответствии с этой логикой учащийся полает, что автор задания всегда располагает правильный ответ между двумя неправильными. Поэтому целесообразно ставить правильный ответ так, чтобы он не совпадал с этой логикой. Например:

1.1 При условии экономического развития Эфиопии естественный прирост населения в ней

а) повысится

б) понизится

в) останется без изменений.

Клубни картофеля образуются на концах

а) боковых корней

б) придаточных корней

в) подземных побегов.

2) Выбирай более развернутый и аргументированный ответ, учитывающий частные случаи.

2.1. «Маргиналами называются

а) социальные группы, занимающие промежуточное положение между устойчивыми общностями

б) люди, опустившиеся на социальное «дно»

В этом примере вариант ответа а) соответствует логике «выбирай более развернутый ответ» и может быть выбран независимо от фактических знаний учащегося по предмету. Поэтому целесообразно ложный ответ делать более развернутым. Например:

2.2. «Что такое автократия?

а) самодержавие

б) рабовладельческая республика", в которой глава государства избирается из числа видных рабовладельцев-аристократов

3) Выбирай более наукообразный ответ. Для маскировки правильного ответа можно ложный вариант сформулировать так, чтобы он казался наукообразным. Примеры:

3.1. «Как называется деталь самолета, с помощью которого обеспечивается подъемная сила?

а) крыло

б) фюзеляж.

4) Выбирай ответ, который напоминает что-то знакомое". Например:

3.2. «Как А. С. Пушкин охарактеризовал восстание Е. Пугачева?

а) «дубина народной войны»

б) «бунт, бессмысленный и беспощадный»

4) Отсекай варианты, которые заведомо не могут быть правильными.

Пример:

"И религиозному, и научному знанию о мире свойственно то, что они:

а) носят объективный характер

б) предполагают доказательства

в) могут передаваться из поколения в поколение

г) необходимы человеку для рациональной деятельности".

В этом случае достаточно очевидно, что варианты ответа а) и б) соответствуют только научному знанию и поэтому не могут быть правильными, а вариант г) противоречит обыденному понятию о религии и религиозном.

6) Выбирай ответ, который соответствует общим ожиданиям.

Ожидания, конечно, могут быть разными, однако существуют стереотипы, в соответствии с которыми «нормальная логика» подсказывает, что должно быть правильным, а что ложным.

Пример:

«В какую страну экспортировал Советский Союз стратегическое сырье для сталелитейной промышленности (никель, молибден) накануне вторжения гитлеровской Германии в 1941 году?

а) в Великобританию

б) в США

в) в Германию"

Здравый смысл подсказывает, что это не должна быть Германия. В этом случае, для того чтобы выбрать правильный вариант ответа, нужно знать историю.

1. Бородина В. А., Бородин С. М. Учим … читать, 1985.

2. Крижанский Ю. С., Третьяков В. П. «Грамматика общения» — СПб.: ЛГУ, 1990.

3. Основы психодиагностики. Под ред. А. Г. Шмелева — «Феникс», Р-на-Дону, 1996, ч. 2, р. 3.7.

4. Поршнев Б. Ф. Социальная психология и история. — 2-е изд., доп. и испр. М.: Наука, 1979. — 235 с.

5. Халперн Д. Психология критического мышления. — СПб., Серия «Мастера психологии»: «Питер», 2000.