Этапы составления теста

ЭТАПЫ СОСТАВЛЕНИЯ ТЕСТА — Разработка теста является сложным процессом, состоящим, по мнению ведущих тестологов, из нескольких этапов, которые, в свою очередь, включают промежуточные. Дж.Ч. Алдерсон и К. Клэпхэм резюмировали двенадцать этапов, которые соединили под термином тестовых спецификаций. Л. Ф. Бахман, и вслед за ней И. А. Цатурова и С. Р. Балуян, указывают на присутствие трех этапов: проектирования теста, разработки тестовых заданий и администрирования теста. В общих чертах можно утверждать, что спецификациям теста соответствуют этапы проектирования теста и разработки тестовых заданий.

Схема 5. Этапы составления теста [Балуян, 1999: 194].

Первый этап, проектирование теста или спецификация теста, включает определение цели теста, описание области применения языка и соответствующих типов коммуникативных задач, составление характеристики кандидатов, определение конструкта, установление способности оценки эффективности теста и, в конце, расчет и план для распределения ресурсов.

Второй этап, разработка тестовых заданий и соответствующих спецификаций, охватывает установление целей каждого задания, определение конструкта и обстановку для выполнения заданий, распределение времени, написание инструкции, составление характеристики стимула и ожидаемого ответа, решение метода оценивания. На этом этапе решаются также вопросы, касающиеся структуры теста в целом (количество и последовательность частей и заданий, их относительная важность и количество заданий в каждой части).

Третий этап, администрирование теста, относится к подготовке среды тестирования и персонала, к пилотному тестированию, к сбору информации об эффективности и ее анализу, и в итоге, к основному тестированию.

ОПРЕДЕЛЕНИЕ ЦЕЛИ ТЕСТА — Несмотря на то, что трудно переоценить значимость правильного определения цели тестирования, как на эффективности теста, так и на разработке образовательной программы, все-таки бывают случаи, когда тест разрабатывается на основе предшествующего опыта или как вариант из уже присутствующих и применяемых тестов. Это происходит по разным причинам, обсуждение которых не входит в задачи диссертационной работы, и которые являются часто политическими или связанными с недостатком ресурсов, выделенных для тестирования. В случае данного исследования целью разработки теста является обеспечение средства для контроля формирования устно-речевой коммуникативной компетенции при обучении русскоязычных студентов итальянскому языку на уровнях А2-В1.

Установление уровня владения коммуникативной компетенцией позволяет принимать те решения, которые связаны с результатом теста и которые различаются по своей важности и воздействию на участников тестирования. Помимо этого, результаты теста могут непосредственно влиять на программу обучения и помогают сделать выводы о ней, отражая, насколько уровень коммуникативной компетенции кандидатов соответствует целям программы.

ОПРЕДЕЛЕНИЕ ОБЛАСТИ ПРИМЕНЕНИЯ ЯЗЫКА И ТЕСТОВЫХ ЗАДАЧ — Согласно Л. Е. Алексеевой, отличительная черта обучения студентов профессионально ориентированному иностранному языку состоит в том, что «предполагаемый курс строится на основе конкретных профессионально значимых целей и задач студентов, что выражается в соответствующей методике подбора и организации тематического материала, а также в развитии определенных навыков и умений, необходимых для будущей профессиональной деятельности» [Алексеева, 2014, 5]. Если принимается положение, что тест является заключительным этапом курса обучения, а вузовское образование должно быть профессионально-ориентированным, следует, что тестовые задания также должны соответствовать тем, которые будущий специалист будет выполнять в профессиональной деятельности.

Установление области применения языка и последующее выявление профессиональных потребностей требует знание теоретических и прикладных аспектов профессиональной деятельности. Если составитель теста не владеет данными знаниями, ему необходимо обратиться к специалистам с целью выявления подробных знаний, навыков и умений в составе профессиональной компетенции. В последствие, можно приступить к анализу полученной информации, выявить профессиональные задачи, сгруппировать их по категориям со сходными характеристиками, их включить в образовательную программу и в окончательное тестирование.

ХАРАКТЕРИСТИКА КАНДИДАТОВ — Разработка качественного теста требует от составителя рассмотрения вопросов, касающихся индивидуальных особенностей студентов, для того чтобы обеспечить тест важнейшими характеристиками эффективности такими, как надежность, интерактивность и воздействие.

Согласно С. Р. Балуян, свойства кандидатов включают персональные характеристики, эмпирические и академические знания, уровень коммуникативной компетенции и предполагаемую эмоциональную реакцию на тест.

Персональные характеристики студентов касаются возраста, пола, родного языка, уровня образования, продолжительности изучения иностранного языка и так далее. Учет персональных характеристик при разработке теста поможет повысить его эффективность в целом.

В зависимости от уровня эмпирических и академических знаний студенты делятся на группы с однородными знаниями и на группы с большим разбросом знаний. Обычно, во время тестирования контролируется уровень сформированности знаний, необходимых для выполнения профессиональной деятельности будущих специалистов. Эти знания должны присутствовать на определенном уровне у всех студентов, поэтому чаще всего по окончанию вузов встречаются группы студентов с однородными знаниями.

Принятие в учет уровня коммуникативной компетенции необходимо в течение всего курса обучения до заключительного экзамена. Задания, стимулы к ним и требования к студентам должны оказаться на определенном уровне, в случае обучения иностранному языку в неязыковых вузах, соответствующем уровням А2 и B1.

Необходимо принимать во внимание, что качественное выполнение тестовых заданий зависит также от психологического состояния студента и от атмосферы вокруг него во время администрирования теста. Заранее преподаватели должны делать все возможное для создания наилучшей эмоциональной обстановки. По этому поводу С. Р. Балуян обращает особенное внимание на необходимость своевременного ознакомления студента с форматом и с обстановкой экзамена. Однако, помимо эмоционального восприятия экзамена, следует обеспечить когнитивное и смысловое восприятие всего процесса тестирования и мотивацию к экзамену. Сильно мотивирующим тестом является тест с высоким уровнем аутентичности, воздействия и интерактивности.

К спецификациям, касающимся характеристик кандидатов, можно подойти еще и с целью индивидуализации теста. Е. И. Пассов перечисляет компоненты личностной структуры, которые «служат источником для использования приемов личностной индивидуализации» [Пассов, 1991: 55]. Среди них только некоторые подходят для перехода от обучающей среды к тестовой. Контекст деятельности студента, мировоззрение, жизненный опыт и сфера интересов не сложно принимать в учет при окончании курса обучения. Труднее, однако, включить в процесс индивидуализации такие компоненты как эмоционально-чувственную сферу и статус личности в коллективе. Для того, чтобы учитывать последние два компонента, важно обеспечить наилучшие организационные и психологические условия при администрирования тестирования.

ОПРЕДЕЛЕНИЕ КОНСТРУКТА — Для создания эффективного теста необходимо определить компетенции, являющиеся объектом контроля, и знания, навыки и умения, в них включенные. Теоретическая модель коммуникативных компетенций предоставляет общую картину компетенции, среди которых выделяются наиболее значимые компетенции для выполнения профессиональной деятельности будущего специалиста. И тут сталкиваются две точки зрения. Первая защищает необходимость «условно разграничивать коммуникативные умения и навыки, хотя в реальном общении они чаще всего взаимодействуют» [Балуян, 0049: 62]. Другая, опирающаяся на принципы деятельностного подхода, считает искусственным и не оправданным деление коммуникативных компетенций на отдельные компоненты. Напротив, для успешного выполнения экзаменационных задач, студенту необходимо действовать, руководствуясь холистическими принципами. В этом состоит одно из отличий между коммуникативным подходом, свойственным Л. Ф. Бахману и С. Р. Балуян, и деятельностным, на принципах которого основывается модель CEFR.

В вузах владение языком является не самоцелью, но средством для выполнения профессиональной деятельности. Следовательно, конструктом теста должны стать профессиональные компетенции, связанные с владением коммуникативной компетенцией на иностранном языке.

РАЗРАБОТКА ТЕСТОВЫХ ЗАДАНИЙ — Для того чтобы придавать тесту высокий уровень эффективности, согласно Л. Ф. Бахману, И. А. Цатуровой и С. Р. Балуян, важно придерживаться двух общих стратегий. Во-первых, необходимо извлекать коммуникативные задачи из области профессиональной деятельности будущего специалиста, перерабатывая их для переноса в тест в качестве тестовых заданий. Во-вторых, желательно составлять оригинальные тестовые задания, основанные на спецификациях теста и на информациях, собранных на первых этапах его проектирования. Выбор одной или обеих стратегий зависит от конкретной тестовой ситуации и обеспечивает высокую степень аутентичности и интерактивности тестового задания. Кроме того, существуют общепринятые правила и приемы, которым необходимо руководствоваться во время проектирования и оформления тестовых задач для достижения их простоты, понятности и удобства. Вопрос, по которому нет общего согласия, касается уместности использования отрицательных формулировок в основной части задания. В. С. Аванесов и А. Н. Майоров высказались против, в то время как И. А. Цатурова и С. Р. Балуян считают их применение допустимым. Разногласие во мнениях объясняется тем, что «с одной стороны, использование отрицания приводит к противоречиям при чтении задания, с другой, отрицательные знания не так видны, как позитивные» [Майоров, 2001: 125].

СОСТАВЛЕНИЕ СПЕЦИФИКАЦИИ ТЕСТОВОГО ЗАДАНИЯ — Данный этап является одним из шагов, служивших основой для дальнейшей разработки тестовых заданий. Спецификации принимают форму документа, содержащего детальные характеристики тестовых заданий. В спецификациях указывается их цель, определяются компоненты коммуникативной компетенции, для измерения которых разрабатывается каждое задание, устанавливается конкретная обстановка для его выполнения, составляются инструкции к заданиям, описываются стимулы и ожидаемые ответы или действия кандидата на них, и определяется метод оценивания.

СОСТАВЛЕНИЕ ИНСТРУКЦИЙ К ТЕСТУ — Инструкции обеспечивают кандидатам представления о процедуре экзамена (длительности, уровне сложности), о типах заданий, о способе их выполнения и о методике и критериях оценивания. Своевременное ознакомление с инструкциями и с форматом экзамена предоставляет всем кандидатам одинаковые возможности успешно сдать тест. Согласно Дж.Ч. Алдерсону и К. Клэпхэм «цель инструкций заключается в обеспечении кандидатов, насколько это возможно и совместимо с гарантией честности, достаточной информацией для выполнения теста в меру своих возможностей» [Alderson, Clapham, 1995: 21].

При составлении инструкций необходимо принимать во внимание язык, на котором они предлагаются, и канал представления. Желательно, особенно в тех случаях, когда студенты могут быть не знакомы с форматом теста, приводить примеры решения задания. Канал представления инструкций зависит от целей теста и от уровня компетенции. Лучше всего, если «инструкции предлагаются как письменно, так и устно» [Балуян, 1999: 97].

ВЫБОР МЕТОДА ОЦЕНИВАНИЯ — Для корректного оценивания выполнения тестовых заданий необходимо принимать во внимание теоретическое определение конструкта, с помощью которого устанавливаются критерии оценки речевой деятельности кандидата. Так же, немаловажную роль в установлении предполагаемого правильного ответа играют спецификации тестовых заданий. Их большое количество и разнообразие их целей объясняют обилие методов оценивания. В случае устной речи, где невозможно требовать от кандидата единственный вариант правильного ответа, наилучшим способом оценки считается применение специальных шкал. Как замечает С. Луома, они «должны соответствовать цели тестирования и его конструкта» [Luoma, 2004: 82]. Данные шкалы «состоят из ряда качественных характеристик, описывающих ту или иную степень проявления умений и навыков» [Балуян, 1999: 99]. При достижении определенного уровня компетентности присвоится соответствующее количество баллов.

Как прежде было сказано, можно применить два подхода к тестовому измерению: холистический или аналитический. У каждого подхода есть положительные и отрицательные стороны. Использование целостной шкалы подходит в случаях оценки степени успешности выполнения коммуникативных задач, как бывает в соответствии с требованиями деятельностного подхода. С одной стороны, при использовании целостных шкал трудно установить с точностью уровень владения отдельными знаниями, навыками и умениями коммуникативной компетенции, и в последствие определить однозначную границу между уровнями. С другой стороны, ученые Европейского Совета, занимающиеся вопросами обучения иностранному языку и его тестирования согласно общим принципам деятельностного подхода, отдали свое предпочтение холистической оценке, позволяющей определить степень выполнения коммуникативной задачи, и таким образом, уровень сформированности коммуникативной компетенции в области профессионально-ориентированного обучения иностранному языку. В итоге, можно утверждать, что большинство исследователей склоняется к применению смешанного подхода к оценке. Они по-разному сочетают холистические и аналитические критерии в зависимости от целей тестирования и от теоретической школы принадлежности.

АДМИНИСТРИРОВАНИЕ ТЕСТА — После того как проектирование и разработка теста завершены, можно приступить к его администрированию, включающему разные этапы.

Во-первых, необходимо сделать все возможное не только для обеспечения наилучших условий тестирования (место, материалы, оборудование и время для тестирования), но также и для своевременного инструктирования участников теста (экзаменатор, маркер и другие). С. Л. Рубинштейн понимал влияние, которое оказывали на студента оценивающий преподавательский состав и обстановка во время экзамена: «Известно, насколько легче бывает делать свое дело в доброжелательном, чем в недоброжелательном окружении» [Рубинштейн, 1999: 625]. Хорошо организованная установка тестирования и положительное отношение тестирующего персонала оказывают бесспорное влияние на валидность и надежность теста, так как «технически, объективно одна и та же задача является психологической задачей различной трудности, когда её придётся решать в различных социальных ситуациях» [Рубинштейн, 1999: 626]. Относительно значимости профессионального поведения экзаменатора, особенно при проведении устного тестирования, высказываются также А. Анастази и С. Урбина. В стремлении повысить объективность теста они подчеркивают, что «вполне возможны значимые взаимодействия между характеристиками тестирующего и тестируемого, в том смысле, что одни и те же качества тестирующего или его манера поведения могут по-разному влиять на разных испытуемых в зависимости от индивидуальных особенностей последних» [Анастази, Урбина, 2007: 33].

Во-вторых, необходимо приступить к пилотному и к основному тестированию. Как утверждают Дж.Ч. Алдерсону и К. Клэпхэм, «несмотря на то, насколько хорошо был разработан тест, и как бы тщательно он не был отредактирован, не представляется возможным знать, как он будет работать, до тех пор, пока не применяется на студентах» [Alderson, Clapham, 1995: 73]. Поэтому, главной целью пилотного тестирования является сбор информации о характеристиках эффективности для анализа и пересмотра предварительного варианта теста и процедур при его администрировании. Пилотное тестирование имеет разнообразные задачи. В общих чертах можно сказать, что оно помогает выявить и решить возможные проблемы, связанные со средой тестирования. Благодаря ему во-первых, проверяется правильность распределения времени для прочтения и понимания инструкций к тестовым заданиям и для их выполнения. Во-вторых, выявляются и устраняются проблемы, связанные с процессом проведения тестирования, путем получения предварительной информации о реакции кандидатов на тест, о восприятии тестовых заданий и обо всех других возможных проблемах. Последовательное основное тестирование проводится с целью сделать выводы об уровне формирования коммуникативной компетенции. В дальнейшем, последовательный и постоянный сбор данных, касающихся проведения подобных тестов, позволяет осуществлять необходимые изменения и постоянно улучшать качество самого теста.