Типология языковых тестов и методика посттестового анализа: На материале британских и американских тестовых систем

Проблема контроля уровня владения иноязычной речью является одной из актуальных в современной методике преподавания иностранного языка.

Несмотря на предпринимаемые попытки усовершенствовать существующие формы контроля (письменные контрольные работы, экзамены, зачеты и др.), они все же страдают существенными недостатками, основным из которых является низкий уровень объективности оценки знаний, умений и навыков (ЗУН).

Вполне оправдан интерес, проявляемый в последние годы отечественными и зарубежными методистами, к тестовой методике контроля по иностранному языку (ИЯ), справедливо видящих в ней средство «повышения эффективности и объективности проверки языковых ЗУН и, следовательно, оптимизации процесса обучения И Я» (Рапопорт 1980).

Так, зарубежные методисты занимаются разработкой тестов (J. Upshur, G. May, J. Harries 1961; G. Weir 1993), экспериментальными исследованиями в области коммуникативной компетенции (L. Bachman 1990; М. Byram 1997; М. Halliday 1970;

S. Savignon 1982; A. Palmer 1972), а также вопросами посттестового анализа (Alderson 2000; В. North 1990; A. Pollit 1990) и унификации шкал (V. Ek, J. Trim 1990; В. North 2000).

Интерес отечественных методистов к указанной проблеме нашел свое отражение в ряде методических исследований, рассматривающих организацию проверки по отдельным аспектам языка и видам речевой деятельности (РД) как в школе, так и в вузе.

JI.В. Банкевич 1981; Ю. А. Веденяпин 1969; М. М. Нахабина 1973; И. А. Рапопорт 1987; Г. В. Ратинский 1974; Г. В. Рогова 1974; И. А. Цатурова 1971 и др.) — Однако, проблема выявления специфики языкового тестирования (ЯТ) при организации контроля рецептивных видов РД в обучении ИЯ в вузе недостаточно освещена в российской литературе.

Актуальность данного исследования определяется следующими факторами:

1) недостаточной теоретической разработанностью вопросов, связанных с проблемой контроля иноязычной речи и рецептивных видов РД в частности, в свете требований методической науки на современном этапе;

2) необходимостью создания более адекватных и надежных тестов, рассчитанных на контингент выпускников средних школ российской образовательной системы и выработки критериев их оценки в связи с введением всеобщего независимого тестирования на федеральном уровне.

Объектом исследования явились языковые тесты.

Предметом исследования — педагогические возможности языковых тестов в организации контроля при обучении ИЯ.

В качестве основной рабочей гипотезы было выдвинуто предположение о том, что тестовая методика является эффективным методом контроля рецептивных видов РД в процессе обучения ИЯ.

Основное гипотетическое положение раскрывается посредством введения частных гипотез:

1. Система осуществления контроля средствами языкового тестирования (ЯТ) благодаря своим возможностям позволяет: а) стимулировать интерес студентов к изучению предметаб) проверить успешность процесса обучения ИЯв) дать объективную оценку ЗУН.

2. Языковые тесты позволяют количественным путем измерить ЗУН в статике и динамике.

Цель работы — исследовать американские и британские тестовые методики проверки как инструмент осуществления контроля рецептивных видов РД студентов и разработать параметры сопоставительного анализа результатов тестирования по американской и британской тестирующим системам для их сравнения и в перспективе создания единой шкалы оценки.

В связи с целью работы предстояло решить следующие задачи;

1) исследовать понятие тест, выявить основные различия между психологическими и педагогическими тестами и проследить современное состояние проблемы ЯТ;

2) проанализировать основные виды педагогических тестов, выявив принципы их составления, и дать их классификацию;

3) рассмотреть специфику лингводидактического тестирования на примере рецептивных видов РД;

4) провести методический эксперимент, проверяющий рабочую гипотезу;

5) провести количественный и качественный анализ полученных результатов испытуемых по рецептивным видам РД на материале американских и британских тестов;

6) измерить внутритестовые параметры американского теста TOEFL (Test of English as a foreign Language) и британских тестов FCE (First Certificate in English), CAE (Certificate in Advanced English) с целью выявления их адекватности в условиях русскоязычной студенческой аудитории;

7) определить кросстестовую корреляцию уровня владения рецептивными навыками тестов TOEFL и FCE, TOEFL и CAE для разработки единой шкалы оценки.

Для решения поставленных задач были использованы следующие основные методы исследования: метод педагогического наблюдения, контент-анализ исследуемых тестов, методический эксперимент, лингводидактическое тестирование, метод статистической обработки данных (по классической методике посттестового анализа).

Материалом исследования послужили: а) для контент-анализа — американский тест TOEFL (Test of English as a foreign Language), предложенный службой педагогического тестирования (Educational Testing Service — ETS), ECPE (Examination for the Certificate of Proficiency in English, созданный Мичиганским университетом, а также FCE (First Certificate in English) и CAE (Certificate in Advanced English), разработанные синдикатом Кембриджского университета UCLES (The University of Cambridge Local Examination Syndicate) — б) для экспериментального исследования — тестовые работы студентов СПбГУ (в эксперименте принимали участие студенты факультета международных отношений и студенты юридического факультета).. ж.

Выбор вышеназванных тёстов в качестве материала ' для исследования обусловлен тем, что они востребованы в российской образовательной среде выпускниками средних школ, слушателями курсов и студентами высших учебных заведений. Результаты сдачи этих тестов требуются для участия в различных языковых программах и проектах, поскольку принятые ими стандарты в оценке знаний языка признаются во всем мире.

Научная новизна состоит в следующем:

1) впервые в отечественной тестологии применен строгий статистический анализ для обработки результатов англоязычных тестов;

2) в соответствии с выделенными методическими приемами в работе обобщается структура подачи материала в тестах и систематизируется методика проверки рецептивных видов РД;

3) на основании проведенного исследования осуществляется сопоставительный анализ американской и британской тестирующих систем и намечаются пути унификации шкал оценки.

Теоретическое значение настоящего исследования обусловлено тем, что в нем научно обосновывается возможность использования тестовой методики для контроля рецептивных видов РД.

Практическая значимость исследования заключается в том, что проведенный анализ тестовых заданий (ТЗ) в соответствии с методическими приемами и выявленные объекты контроля рецептивных видов РД являются практическим материалом для преподавателей, которые будут использовать языковые тесты.

Методика посттестовой обработки полученных количественных данных дает создателям и разработчикам тестов обширный материал для усовершенствования имеющихся и создания новых тестов.

На защиту выносятся следующие положения:

1. Объектом контроля тестовой методики должны быть в первую очередь рецептивные виды РД (аудирование и чтение), поскольку они легче, чем продуктивные, подвергаются измерению и обсчету.

2. Тест является объективным инструментом измерения ЗУН, если он составлен на основе методических требований пригодности, надежности, практичности, экономичности, возможности проведения и легкости для подсчета.

3. Типологическая классификация тестов (по основной цели и периодичности применения, по структуре построения, по содержанию, по форме выполнения, по условиям и месту проведения, по технике организации и проведения и по способу приготовления и количественной обработке данных) позволяет найти место для каждой категории тестов и выделить технологические приемы тестирования по проверке рецептивных видов РД: открытый вопрос дискуссионного типа, методика множественного выбора и методика дополнения с элементами выбора, методика двойного выбора «верно-неверно» и методика восстановления.

4. Тестовые задания классифицируются в соответствии с методическими приемами: по структуре подачи материала, по методике проверки навыка и по принципу построения ТЗ и принятия решения.

5. Субтесты TOEFL, FCE, CAE по проверке рецептивных видов РД позволяют проследить распределение баллов испытуемых (в зависимости от их принадлежности к разным факультетам, в рамках отдельно взятого субтеста и т. д.) и судить о динамике развития как отдельно взятого испытуемого, так и группы испытуемых в целом.

6. Специфика британских тестов (FCE, CAE, CPE) позволяет применять их на этапе текущего или итогового контроля на языковых специальностях, где английский язык является профессионально-ориентированным предметомспецифика американского теста TOEFL — на этапе предварительного контроля при вступительном тестировании по английскому языку студентов I курса неязыковых специальностей.

Апробация работы.

Основные положения и результаты исследования были представлены на II научно-практической конференции филологического факультета СПбГУ «Дополнительные образовательные программы по иностранным языкам» (февраль 2002 г.), на XXXI всероссийской научно-методической конференции преподавателей и аспирантов в СПбГУ (март 2002), на XXXII международной филологической конференции СПбГУ (март 2003 г.), а также в докладах на заседаниях кафедры иностранных языков и лингводидактики СПбГУ (2000;2002).

Объем и структура исследования.

Содержание диссертации изложено на 295 страницах печатного текста и включает введение, три главы, заключение, список сокращений, список литературы из 121 наименования, в том числе 44 на иностранном языке, список словарей (5 наименований) и 39 приложений, содержащих 42 таблицы, 22 рисунка, 4 гистограммы и образцы тестовых заданий по проверке рецептивных навыков.

3.4 Выводы.

1. Исследуемые тесты позволили измерить и проследить динамику развития рецептивных навыков к концу академического года как каждого отдельно взятого испытуемого, так и всей группы в целом. При этом динамика успешности по британским тестам (особенно по субтесту на восприятие устной речи на слух CAE) намного превосходит американские, так как обучение студентов в течение года ведется на британском варианте английского языка: преподаватели придерживаются британской нормы разговорного английского языка, используют британские учебные материалы.

2. Вероятностные факторы общего распределения по баллам испытуемых отражают разнородный состав выборки контингента испытуемых (студенты факультета международных отношений и юридического факультета) — половая принадлежность, разная трудность заданий, степень разнородности стартового уровня подготовки испытуемых, разный уровень развитости процессов мышления, памяти, вниманияразная психологическая подготовленность (готовность) к прохождению тестовминимальный временной разрыв между прохождением сопоставляемых тестов эмоциональное и физическое состояние) и т. д. Все эти факторы действуют в одном направлении и группируют испытуемых.

3. Коэффициент надежности, который колеблется в узких пределах от 0,90 до 0, 93 по аудированию и от 0,90 до 0, 94 по чтению, а также величины стандартного отклонения 5,95 и 5,82 (TOEFL), 5,5 и 16 (FCE и CAE) по восприятию и пониманию устной речи на слух- 6,21 и 6,07 (TOEFL) и 7,0 (FCE и CAE) по чтению и пониманию прочитанного показывают, что тесты надежны.

4. Параметры коэффициента трудности, а также дискриминантный коэффициент свидетельствуют о том, что 16% заданий TOEFL, 10% заданий FCE и 20% CAE субтеста по восприятию и пониманию устной речи на слух TOEFL- 20% заданий TOEFL и 31% заданий теста FCE (первый срез) — 18% заданий TOEFL и 16% заданий теста CAE (второй срез) не могут адекватно разделить контрольную группу тестируемых на группы сильных и слабых по степени владения рецептивными навыками и нуждаются в замене, в силу их неадекватности уровню испытуемых данной выборке русскоязычной аудитории.

5. На основании проведенного исследования можно заключить, что британские тесты (FCE, CAE, CPE) применимы на этапе текущего или итогового контроля на языковых специальностях;

TOEFL целесообразно использовать на этапе предварительного контроля при вступительном тестировании по английскому языку студентов I курса на неязыковых специальностях.

6. Вычисленные корреляторы тестов TOEFL/FCE и TOEFL/CAE по субтестам на проверку рецептивных видов РД тестов показывают, что британские и американские тесты направлены на измерение разнородных навыков.

7. Низкая кросстестовая корреляция говорит о том, что тесты имеют не вполне одинаковую природу, проверяют разные навыки,.

4 что особенно заметно на малой выборке испытуемых.

8. Проведенное исследование является лишь первой ступенью, подводящей к проблеме сопоставления американской и британской шкал оценки ЗУН для создания единой системы оценки по владению английским языком.

Заключение

.

В настоящем исследовании на материале американской и британской тестирующих систем изучалась возможность использования тестов в качестве метода диагностики ЗУН и контроля успешности в начале и в конце академического года, а также проверялась надежность субтестов TOEFL, FCE и CAE и адекватность их использования в условиях русскоязычной студенческой аудитории. Полученные данные позволяют наметить направления повышения оптимизации процесса обучения в целом, ^ выработать методику создания новых адекватных тестов, отвечающих условиям и критериям оценки ЗУН студентов неязыковых факультетов университетов.

Тест — это технический прием, «измерительный прибор», который с определенной степенью точности позволяет измерять и сравнивать уровни проявления той или иной умственной деятельности лишь в момент тестирования, но не предопределяет границ потенциальных возможностей личности. Для изучения динамики процесса развития человеческих способностей отдельно взятого испытуемого необходимы систематические измерения, 9 проводимые на протяжении достаточно длительного периода, что открывает большие возможности совершенствования путей целенаправленного воздействия и контроля. Однако, вместе с тем, следует осознавать границы возможностей теста и не пытаться получить от него больше, чем он может дать.

Исследуемые тесты позволили провести диагностику ЗУН по рецептивным видам РД в начале года обучения, проследить динамику успешности ЗУН отдельно взятого испытуемого к концу академического года в рамках отдельно взятого теста и от среза к срезу.

Исследование, проведенное в области проверки американских и британских тестирующих систем, дает основание утверждать, что тесты могут оказаться надежным инструментом в качестве одного из приемов контроля, если они построены в соответствии с научными данными и основными требованиями к составлению тестов, которые сводятся к следующим: пригодности, надежности, экономичности, возможности проведения и легкости для подсчета.

Вместе с тем, исследование показывает, что целый ряд как теоретических, так и практических вопросов тестовой методики контроля еще не исследован, или исследован недостаточно полно и глубоко. Среди самых актуальных вопросов: принципы отбора адекватных заданий, корреляция результатов теста по речевым навыкам (чтение и понимание прочитанного и восприятие и понимание устной речи на слухчтение и понимание прочитанного и грамматические навыки) и создание единой шкалы оценки ЗУН на материале репрезентативной выборки.

В перспективе, на наш взгляд, из-за все возрастающей роли английского языка как средства международного общения, необходимо усовершенствование коммуникативно-ориентированного тестирования с широким диапазоном коммуникативности тестов в зависимости от потребностей учащихся (программ, учебников) и общества, и уровня их владения иностранным языком, а также широкого использования электронных возможностей программированного обучения и новых компьютерных технологий в целях индивидуального, интерактивного и самостоятельного тестирования.

Проведенное исследование особенностей американских и британских тестов может послужить основой для дальнейших исследований с целью создания целостной системы управления усвоением ЗУН и процессом обучения ИЯ в целом с использованием различных по цели и по форме тестов. В свете вышеизложенного, может оказаться перспективной новая разновидность лингводидактических тестов, промежуточная между стандартизованными и нестандартизованными тестами — специально разработанный, ориентированный на учебное учреждение тест, представительной выборкой которого мог бы явиться контингент тестируемых одной школы, одного вуза или школ/вузов одного города в пределах ограниченного количества человек (400 человекминимальная выборка для анализа). Конечной же целью является единый общероссийский тест по английскому языку.

В этой связи для методистов и преподавателей могут оказаться полезными выделенные нами и проанализированные типы ТЗ как возможные пути осуществления контроля уровня владения ИЯ у учащихся любого года обучения как языкового, так и неязыкового учебного заведения.

Контент-анализ показал, что британские тесты (FCE, CAE, CPE) применимы на этапе текущего контроля (для проверки эффективности используемых приемов и способов обучения, диагностики трудностей и т. д.) или итогового контроля (для оценки результатов обучения, достигнутых студентами в конце работы над курсом) на языковых специальностях, где английский является профессионально-ориентированным предметомTOEFL целесообразно использовать на этапе предварительного контроля при вступительном тестировании по английскому языку студентов I курса на неязыковых специальностях, поскольку формат теста направлен не только на проверку ЗУН по английскому языку, но и на целый ряд общих показателей как умственного, так и личностного развития испытуемых.

Использование американской методики контроля для проверки ЗУН выпускников школ позволила бы, на наш взгляд, не только выявить их стартовый уровень владения английским языком, но и скорректировать курс обучения и четко оценить долю английского языка в учебном плане факультета (количество выделяемых часов), соотнося средний стартовый уровень с желаемым уровнем достижений в конце курса обучения. На наш взгляд, TOEFL — ближе, чем FCE к академической среде и на его основе можно составить тест для использования межфакультетскими кафедрами английского языка.

Итогом настоящего исследования явилось практическое исследование и последующее проведение статистического анализа с вычислением внутритестовых параметров и корреляторов по тестам TOEFL/FCE и TOEFL/CAE.

Данные экспериментальной проверки и результаты статистического анализа по вычислению внутритестовых параметров по исследуемым тестам дают основание утверждать, что те^ты надежны (коэффициент надежности колеблется в узких пределах от 0,90 до 0, 93 по аудированию и от 0,90 до 0, 94 по чтению). Результаты эксперимента по проверке адекватности тестов показывают, что данной выборке русскоязычных студентов представляется целесообразным в конце академического года наряду с американским тестом TOEFL на факультете международных отношений предъявлять британский тест CPE (Certificate of Proficiency).

По полученным данным корреляция между тестами оказалась достаточно низкой, что говорит о том, что тесты имеют не вполне одинаковую природу, проверяют разные навыки (выборка испытуемых, неоднородная с одной стороны, и малочисленная с другой, не позволяет провести точные статистические вычисления).

Проведенное исследование является лишь первой ступенью, подводящей к проблеме сопоставления шкал оценки ЗУН и создания единой системы оценки владения ИЯ.

Полученные результаты требуют дальнейшего исследования причин и факторов, влияющих на корреляцию по тестам, а также принципов, положенных в основу тестирования, проводимого с помощью тестов TOEFL, FCE и CAE.

Языковое тестирование — это современный, прогрессивный метод оценки. Его функция состоит в дополнении к традиционным формам контроля, в частичной их замене там, где это необходимо, чтобы сэкономить время и интенсифицировать процесс опроса на объективной основе. Поэтому возможные неточности показаний тестов могут быть быстро обнаружены преподавателем в процессе его повседневной работы со студентами.

Метод тестов должен быть активно использован в практике преподавания ИЯ, поскольку приведет к качественному улучшению процесса обучения и контроля.

В отдельных случаях, когда необходимо быстро и точно определить уровень владения языком большой массы испытуемых в отрыве от учебного процесса, например, при проведении вступительных или квалификационных испытаний, метод тестов обладает эксклюзивной приоритетностью.