Обзор существующих генераторов тестов

Задача автоматического порождения тестов не нова и уже существует некоторое количество генераторов языковых тестов. В данном разделе будет дан краткий обзор нескольких инструментов.

Один из генераторов тестов Exercise Maker описывается в работе А. Малафьева (Malafeev, 2015). Exercise Maker может на базе загруженного текста автоматически генерировать лексические и грамматические упражнения по английскому языку 7 типов: Word Formation, Error Correction, Open Cloze, Word Bank, Missing words, Text Fragments and Verb forms. Типы тестов частично основаны на Кембриджских экзаменах по английскому языку, таких как CAE, PCE, FCE и другие. Для каждого типа упражнений существуют правила, учитывающие такие факторы, как заглавную букву, особенности правописания, пунктуацию, длину слов, расстояние между пропусками, границы предложений и т. д. Для работы Exercise Maker требуются вручную собранные списки ошибок на правописание, списки лексических минимумов, форм частей речи и т. д. (см. Таблицу 1). Кроме генерации тестов Exercise Maker может присваивать входному тексту уровень его удобочитаемости (то есть легкости для восприятия человеком) на основе двух параметров: средней длины предложения и информации о частотности слов. Интересной особенностью программы Exercise Maker является то, что для каждого типа упражнений программа генерирует несколько подтипов упражнений различной сложности (например, в зависимости от числа пропусков в упражнениях, длинны пропуска, пропущенных слов). В таблице 1 можно посмотреть краткую информацию о программе Exercise Maker.

Другая система для английского языка описана в статье А. Феногеевой и Е. Кузьменко «Automatic generation of lexical exercises» (Fenogeeva & Kuzmenko, 2016). Инструмент создавался как дополнительный модуль для системы REALEC (Russian Error-Annotated Learner English Corpus). Инструмент может генерировать 5 типов лексических упражнений (Match collocations, Multiple Choice, Open Cloze, Word bank and Word Formation). Основным фокусом при создании инструмента стала генерация лексических упражнения на отработку коллокаций. Работа инструмента основана на материале двух корпусов — корпуса BNC (British National Corpus) и корпуса BAWE (The British Academic Written English Corpus) — и на академическом списке коллокаций Pearson (Pearson's academic collocation lists). Для каждой коллокации из списка генерируется ее парадигма и далее в корпусе программа ищет предложения, содержащие получившиеся коллокации. Для большинства типов упражнений требуются только данные корпуса и список коллокаций. Стоит отметить описанный в статье оригинальный подход к генерации упражнений типа multiple choice: для генерации трех ответов-дистракторов авторы использовали технологию word2vec, основанную на идее дистрибутивной семантики. В таблице 2 приведена краткая информация о программе.

Еще одна система генерации языковых упражнений называется ArikIturri (Aldabe, Lacalle, Maritxalar, Martinez, & Uria, 2006). В отличие от ранее упомянутых систем, ArikIturri поддерживает работу с несколькими языками: английским и баскским. Для работы программа использует языковые корпуса с морфологической и синтаксической разметкой и NLP инструменты. На вход программе поступает набор предложений с синтаксическим и морфологическим анализом в формате XML. На выходе получаются сгенерированные упражнения также в формате XML. Для работы программы пользователь должен указать, какой навык он хочет тренировать, и тип упражнений, которые должна генерировать программа. ArikIturri поддерживает пять типов тестов: Fill-in-the-blank, Word formation, Multiple choice, Error correction, Short answer. Система может генерировать тесты на два типа навыков — для английского языка это лексические тесты и для баскского — тесты как на лексику, так и на грамматику. При создании упражнений типа fill-in-the-flank генератор самостоятельно выбирает слова для пропуска на морфологическую флексию и на спряжение глаголов. Для каждого пропуска может быть один или более правильных вариантов ответа. Для создания дистракторов в заданиях типа multiple choice генерируются варианты с измененными морфологическими показателями (такими как падеж или время глагола). В таблице 3 представлена краткая информация о программе ArikIturri.

Таблица ArikIturri.

Существуют также инструменты генерации тестов по русскому языку, например, инструмент, разработанный исследовательской группой университета Хельсинки, названный Revita (Revita). Система может генерировать один тип тестов на базе загруженного текста — тесты с пропусками, где задача студента — выбрать правильную грамматическую форму. В система Revita можно либо загрузить свой текст и на его основе сгенерировать тест, либо выбрать текст из имеющегося в системе небольшого корпуса текстов, вручную поделенных по уровню сложности. Revita предназначена для учащихся среднего или продвинутого уровня. Система имеет удобный пользовательский интерфейс, поддерживает несколько языков и позиционирует себя не только как сайт для изучения языков, но и как сайт для поддержки языков под угрозой исчезновения. В таблице 4 дана краткая информация об инструменте Revita.

Таблица Revita.

Еще один инструмент для русского языка описан в статье «Автоматическое создание упражнений для изучающих русский язык как иностранный» (Белобородова, Мизгирева, Орехова, Рыбаков, & Сафарян, 2017). Программа разработана на языке Python и умеет генерировать 5 типов тестов: определение рода существительных, постановка глаголов в правильную временную форму, выбор прилагательного в нужном роде и числе, разделение слитного текста, поиск ошибок в написании отдельных слов.

Несмотря на то, что уже существует немало генераторов языковых тестов, недостатком многих из них является сильная привязка к конкретному языку и опора на значительное количество вручную собранных материалов. Кроме того, многие из генераторов находятся в закрытом доступе и/или не имеют удобного веб-интерфейса.