Организация системы компьютерного контроля знаний

На современном этапе непрерывное обучение как приобретение и совершенствование знаний, умений, навыков является обязательным условием успешной деятельности, что обусловлено быстрым развитием технологий и изменением уровней жизнедеятельности человека. Обучение, повышение квалификации и переподготовка специалистов в настоящее время невозможны без применения информационных технологий обучения (ИТО), которые представляют собой совокупность средств (программного и технического обучения, теоретических заданий, методических приемов) и способов их применения для эффективной учебной деятельности обучаемых и преподавателей.

Основная цель применения ИТО состоит в повышении эффективности обучения и контроля знаний за счет использования компьютерных средств решения дидактических и организационных задач. Контроль и оценка знаний является неотъемлемым элементом учебной деятельности, средством индивидуализации обучения, мотивации учащихся, анализа результатов успешности решения педагогических задач и оптимизации учебного процесса в целом.

1. Методы компьютеризированного контроля знаний

1.1 Структура контрольно-оценочной деятельности

Контрольно-оценочный этап (КОЭ) является обязательным компонентом учебной деятельности [1, 2, 3]. С этим этапом связана реализация так называемой «обратной связи» при обучении, т. е. получение информации о ходе усвоения, выявление трудностей, ошибок, пробелов в знаниях. Часто на данный этап возлагается устранение ошибок (доучивание) или определение и корректировка последующих обучающих воздействий. Таким образом, с точки зрения педагогики КОЭ может выполнять ориентирующую, диагностическую, обучающую, воспитательную, развивающую, контролирующую и управляющую функции.

Оценка может рассматриваться как ориентирующая, воздействующая на умственную работу, и стимулирующая, воздействующая на аффективно-волевую сферу. В учебном процессе оценка обычно фигурирует в форме отметки — некоторого числового эквивалента качества и количества знаний. Для того чтобы оценка выполняла свою ориентирующую функцию, она должна отражать результаты диагностического контроля знаний, т. е. содержать результаты анализа знаний, умений и навыков обучаемого в изучаемой предметной области (ПО) в соответствии с некоторой моделью обучаемого или моделью усвоения знаний. Положительная мотивация посредством оценивания достигается за счет выбора подходящего критерия, шкалы оценок и психологически приемлемой формы сообщения результатов.

С точки зрения места контроля знаний в учебной деятельности различают предварительный, текущий и итоговый контроль. Цель первого — получение информации о текущем состоянии знаний обучаемого для принятия решения о содержании и формах последующих обучающих воздействий. Отсутствие определенных знаний может служить препятствием для дальнейшего обучения, кроме того, в соответствии с учением о зоне ближайшего развития, в изучаемой ПО могут быть выделены элементы, находящиеся «на стыке» уже изученных и новых для обучаемого, образующие зону, в которой обучение понятиям, навыкам и действиям наиболее эффективно.

Задача текущего контроля заключается в проверке хода усвоения нового материала, определении числа заданий, необходимых для выработки конкретных навыков, закреплении изученного. Текущий контроль связан с проверкой отдельных порций — понятий, алгоритмов, действий, знаний простой структуры. Разнообразие моделей организации текущего контроля определяется различными исходными предположениями о составе и характеристиках заданий и влиянии контроля на процесс обучения.

Например, в задача определения оптимальной частоты и глубины контроля рассматривалась как оптимизационная, причем функция выигрыша содержала требования к получению достоверной информации о состоянии знаний при минимальных временных затратах и по крайней мере не ухудшении других характеристик познавательного процесса. Исследования зависимости между формами, частотой контроля и успеваемостью показали, что форма контроля должна соответствовать этапу усвоения, а частота контроля по мере усвоения может уменьшаться.

Итоговый контроль связан с проверкой усвоения определенного раздела учебной дисциплины, выявлении понимания обучаемым сущности, структуры, взаимосвязей с другими разделами. На этом этапе происходит обобщение и обсуждение.

В качестве видов контроля в психологии выделяют контроль по конечному результату, пошаговый контроль и опосредованный контроль по известным условиям или параметрам действий.

В программированном обучении и при автоматизированном контроле знаний классификация часто проводится в зависимости «от вида ответа обучаемого: свободный (конструируемый), выбор из меню, оценочный (требующий подтверждения или отрицания) и др. [13, 18, 19, 20]. При составлении заданий для автоматизированного контроля знаний необходимо руководствоваться методикой проведения диагностики содержательной стороны развития интеллекта [21], основанной на деятельностном подходе к обучению. Согласно ей, задания должны варьироваться по форме выполнения действия, по предметному содержанию и условиям применения действия. При невозможности применить действие в целом необходимо диагностировать отдельные операции в порядке, обратном формированию (т.е. в обратном тому, который был использован при обучении действию). Это позволяет избежать обучающего эффекта при контроле знаний. По этой же причине обратный порядок должен быть соблюден и при варьировании заданий по форме выполнения действия, по предметному содержанию задания должны следовать от менее привычных к знакомым. При желании достичь обучающего эффекта в процессе контроля знаний, нужно варьировать задания по форме выполнения, предметному содержанию и условиям выполнения действия в той же последовательности, которая была выбрана при обучении.

Понятия контроля и оценки знаний часто используются авторами как синонимы, обычно этим понятием обозначается процесс, который начинается с выдачи обучаемому одного или нескольких заданий и завершается оценкой результата или выставлением отметки. Попытка разделения указанных понятий предпринята в [22], где контрольно-оценочная деятельность (КОД) определяется как совокупность актов контроля и оценки. При этом контроль понимается как процесс сравнения контролируемого объекта с эталоном, а оценивание — независимый процесс, который производится по результатам контроля в соответствии с некоторым критерием.

Выделение двух составляющих КОД представляется обоснованным, поскольку сопоставление объекта с эталоном производится в рамках изучаемой ПО, и результат контроля выражается в терминах этой ПО и педагогических понятий, используемых в теории формирования знаний. Оценивание целесообразно рассматривать как перевод полученных на этапе контроля результатов в некоторую универсальную форму, чаще всего — в числовую, в виде отметок или баллов, а в более общем случае представление результата элементом частично упорядоченного множества.

Этап контроля состоит из определения цели контроля, выбора объекта контроля, выбора заданий для контроля, определения эталонных результатов выполнения заданий, определения метода сопоставления результатов, полученных обучаемым, с эталонными, сопоставления результатов в соответствии с выбранной моделью, представления результатов контроля в требуемой форме.

Содержание КОД определяется целью контроля, которая может описываться через требуемые качества (характеристики) знаний, уровни усвоения или владения знанием, либо через характеристики деятельности. Знания могут быть охарактеризованы с точки зрения их полноты, глубины, оперативности, конкретности, обобщенности, систематичности, системности, развернутости, гибкости, осознанности и прочности. Для контроля наличия каждого из качеств необходимо специфическое построение системы заданий. Например, глубина знаний может быть оценена через число известных обучаемому существенных признаков понятия, гибкость — по числу различных вариантов решения, предложенных обучаемым и т. п. Результат контроля может быть выражен в виде значений параметров указанных характеристик, которые могут быть как числовыми, так и нечисловыми (элементами некоторого множества). Составление заданий, по результатам выполнения которых можно установить (однозначно, либо с определенной вероятностью или уверенностью) значения параметров, представляет собой творческую задачу и выполняется преподавателем. Оценка качества заданий с точки зрения их способности охарактеризовать состояние знаний проводится путем сопоставления результатов их выполнения с результатами выполнения эталонных заданий, качество которых уже удостоверено, или путем сравнения результатов выполнения заданий с экспертными оценками качества или уровня знаний некоторой группы обучаемых.

Основная задача оценивания — отобразить результаты контроля, выраженные в форме эмпирической системы с соотношениями в числовую систему с соотношениями и обеспечить интерпретацию оценок в соответствии с целями контроля. Иногда к КОЭ относят коррекцию знаний обучаемого при неудовлетворительных результатах контроля. По-видимому, в рамках КОЭ следует рассматривать лишь те средства коррекции, которые не прерывают КОД, т. е. информацию об ошибке, правильный ответ и способ его получения, ссылку на соответствующий раздел знаний. Для отображения результатов контроля необходимо:

— сформулировать критерий отображения или требования к нему;

— выбрать числовую систему, которая будет служить образом эмпирической;

— задать гомоморфное отображение между двумя системами;

— определить математически корректные операции над оценками (суперпозиция, сравнение и т. п.).

Решениями подобных задач занимается теория измерений. Под шкалой понимается упорядоченная тройка <� A, R, f >, где, А — эмпирическая система, R — числовая система, f — гомоморфное или изоморфное отображение, А в R. Психологические основания шкалирования основаны на отношениях близости и предпочтения. Используемые в педагогике и психологии типы шкал различаются свойствами отображающей функции. Выделяют номинативные (инвариантные относительно любого однозначного преобразования), порядковые (инвариантные относительно монотонного преобразования), интервальные (инвариантные относительно линейного преобразования) шкалы. Частный случай последней — шкала разностей, инвариантная относительно сдвига — обычно используется при контроле знаний.

Обобщая психолого-педагогические требования к организации КОЭ и формам контроля, выделим основные положения, которые должны быть учтены при создании и использовании средств автоматизированного контроля знаний.

Текущий контроль должен быть всеобъемлющий и всеохватывающий, что может быть достигнуто за счет организации базы заданий по предмету и разработки адаптивных алгоритмов выбора заданий, учитывающих тематический состав последних. При проведении текущего контроля обратная связь с обучаемым должна способствовать обучению методам самоконтроля, созданию положительной мотивации, ориентации на предметное содержание деятельности и устранению аффективного влияния психологической ситуации опроса. При использовании автономных средств контроля знаний — контролирующих программ, компьютерных тестов, проведении автоматизированного зачета или экзамена [27, т. 1] глубина и вид контроля должны соответствовать этапу усвоения, а частота проведения контроля — этапу усвоения и уровню подготовки. Аналогичные требования должны быть учтены при создании интеллектуальных и экспертно-обучающих систем [27], в которых средства контроля выступают как неотъемлемая часть системы. Текущий контроль должен быть диагностическим, и его результаты должны быть представлены в форме, удобной для планирования дальнейшего учебного процесса, анализа причин ошибок и выбора педагогической стратегии. Результаты предварительного и итогового контроля должны допускать построение обобщенной оценки знаний обучаемого в некоторой шкале.

1.2 Компьютерные средства оценки уровня знаний

Методы определения уровня знаний обучаемого по дискретной или непрерывной шкале обычно называются методами тестирования, а средства, используемые для такого рода измерений, тестами. Применение тестов в образовании имеет достаточно длительную историю, ему посвящен обширный список работ, содержащих обоснование методов измерений, описание алгоритмов математической обработки результатов, а также сопоставление различных методов измерений и методики формирования тестовых заданий.

В фундаментальном труде А. Анастази [28, т.1] тестирование определяется как «объективное и стандартизованное измерение выборки поведения». Классификация тестов отражает классификацию методов контроля знаний. По назначению тесты можно разделить на организационные, групповые и индивидуальные. Первые используются как средство оценки, усовершенствования и постановки задач обучения, вторые служат для сравнительной оценки достижений в группе и последние — для оценки индивидуальных успехов обучаемого. По оцениваемому параметру выделяют тесты интеллекта, способностей, достижений, личностных характеристик, а также проективные. С точки зрения временной направленности результата тесты можно разделить на диагностические, предназначенные для фиксации текущего состояния знаний, навыков, способностей и свойств личности, и прогностические, для предсказания поведения или успехов личности при том или ином виде деятельности. Тесты могут применяться на любом этапе контроля. Начальные или предварительные тесты используются для выбора содержания, уровня изложения и методики обучения, промежуточные — для управления обучением и заключительные — для определения уровня усвоения или диагностики.

С точки зрения эталона, используемого для сопоставления и градации результатов тестирования, выделяют норма — ориентированные, критериально — ориентированные и индивидуально-ориентированные тесты. Различия между норма — ориентированными и критериально — ориентированными тестами заключается в том, что первые предназначены для ранжирования, упорядочивания, или определения «расстояния» результатов индивидуума от результатов некоторой типичной группы, послужившей основой для разработки норм. Вторые же сопоставляют результаты с принятыми классами или эталонами. Если первые используются для получения фиксированной выборки (N лучших, независимо от их реального уровня), то вторые определяют деление группы испытуемых на классы, обеспечивая, таким образом, выборку с заданными характеристиками. Индивидуально-ориентированные тесты предназначены для измерения успехов индивидуума с точки зрения его предыдущих результатов.

Основными характеристиками тестов независимо от их вида и содержания являются надежность и валидность. Надежность определяется согласованностью показателей, получаемых по аналогичным тестам. Различные типы оценок надежности отличаются факторами, которые приняты в качестве источника ошибки: временные изменения, различия в серии параллельных заданий, их несогласованность и т. п. Валидность определяет связь теста с измеряемой характеристикой. Вычисление обеих характеристик чаще всего основано на сопоставлении полученных результатов с результатами выполнения других тестов, надежность и валидность которых уже установлена.

Использование компьютеров в образовании позволило не только усовершенствовать организационную сторону тестирования, но и использовать новые психологические теории и математический аппарат для создания и обработки результатов тестов. К преимуществам компьютерного тестирования относятся: стандартизация представления заданий и проведения тестирования, зашита информации, вариабельность средств визуализации, сокращение времени на подготовку тестов и обработку результатов, возможность централизованного хранения и распространения тестов, а также статистической обработки результатов.

тестовый контроль программный знание

2. Требования к системам компьютерного контроля знаний

Можно разграничить на общие требования к программному обеспечению, ориентированному на взаимодействие с пользователем, и требования, обусловленные методическими особенностями компьютерного контроля знаний.

К общим требованиям относят требования к дизайну пользовательского интерфейса, удобству человеко — компьютерного взаимодействия и функциональной обоснованности структуры команд и операций. Более подробную информацию можно получить из следующих источников.

— Пользовательский интерфейс. Справочная система разработчика от Microsoft (User Interface)

— Разработка пользовательского интерфейса и тестирование удобства использования

— Пользовательский интерфейс и удобство использования Рассмотрим требования к системе тестового контроля знаний.

2.1 Ограничение времени

Контроль знаний в форме тестирования имеет жесткие ограничение во времени. Это обусловлено сильной взаимосвязью между длительностью тестирования и достоверностью результатов. Общепринятого подхода к определению времени тестирования нет, часто разработчики разнообразных тестов оставляют этот вопрос на усмотрение преподавателя. Авторам кажется наиболее предпочтителен метод определения длительности тестирования, когда времени отводиться ровно столько, чтобы 5% всех обучаемых ответили на все вопросы теста. Если времени существенно больше, то многими обучаемыми может быть дан правильный ответ с использованием ассоциативных знаний, что отрицательно сказывается на достоверности результатов. Если времени существенно меньше, то некоторые задания не будут предъявлены обучаемым вообще, что снижает дискриминативность (дифференцирующую способность) теста в целом.

2.2 Поддержка различных типов тестовых вопросов

С педагогической точки зрения наиболее предпочтителен открытый тип вопроса, когда на заданный вопрос обучаемым дается краткий или развернутый ответ в произвольной форме. Механизмы компьютерной обработки этого типа вопроса лежат в области машинного анализа естественного языка и являются в настоящее время областью активного научного поиска. Простых, практически применимых алгоритмов машинного анализа естественного языка в настоящее время не создано. Поэтому используют алгоритмы анализа ответа на открытый вопрос, налагающие существенные ограничениями на формулировку вопроса и формат ответа. Перечислим основные способы обработки ответов на открытый вопрос.

1. Ответ обучаемого сравнивается посимвольно с образцовым ответом, при абсолютном совпадении ответ считается верным, иначе — нет.

2. Ответ обучаемого также посимвольно сравнивается с образцовым, только происходит некоторая предварительная обработка спецсимволов (повторяющиеся пробелы, «висячие» пробелы, знаки препинания и др.) и регистра символов (преобразование к одному регистру в случае проверки без учета регистра).

3. Образцовый ответ представляет собой набор слов, присутствие которых в ответе пользователя обязательно и тех, присутствие которых недопустимо (метод ключевых слов).

4. Образцовый ответ представляет собой множество ответов, заданных неявно в виде шаблона определенной структуры. Во время проверки ответ пользователя подставляется в структуру шаблона и проверяется на соответствие ей либо из шаблона продуцируются все варианты ответа и посимвольно (возможно с предварительной обработкой) сравниваются с ответом пользователя.

Значительно большей популярностью пользуются различные виды закрытого вопроса. Это обусловлено особенностью вопроса закрытого типа, в котором количество вариантов ответов обычно небольшое, но всегда ограниченное количество. Алгоритмы, устанавливающие принадлежность ответа пользователя к классу правильных ответов достаточно просты. Существует множество разновидностей вопроса закрытого типа, в частности в спецификации IMS QTI (http://www.imsproject.org/question/) выделено 14 видов закрытого вопроса, разбитых на 3 класса плюс множество комбинированных видов вопроса. В мировой практике в целом и в отечественной в частности наиболее широко используют следующие виды закрытого вопроса.

1. Выбор единственного варианта ответа (альтернативный выбор). В этом случае обучаемому предъявляется вопрос и несколько вариантов ответов на него, из которых требуется выбрать единственный правильный ответ. Следует с осторожностью использовать количество ответов меньшее четырех, т.к. при этом высока вероятность угадывания правильного ответа. Максимальное количество вариантов ответов обычно не ограничивается, однако большое количество альтернатив увеличивает время на ответ сложность разработки вопроса, поскольку в ряде случаев непросто правильно подобрать большое количество дистракторов (умышленно неправильных вариантов ответа). Разновидностью альтернативного вопроса является выбор наиболее правильного ответа из нескольких. При оценке выполнения задания сопоставляется номер указанного обучаемым ответа с номером правильного.

2. Выбор нескольких вариантов ответов (множественный выбор). Этот вид вопроса отличается от предыдущего возможностью выбора нескольких правильных ответов. Допускается, хотя и не рекомендуется, ситуация, когда правильны все варианты ответа, либо правильных ответов нет вовсе. При оценивании номера ответов обучаемого сравниваются с номерами правильных ответов. Возможны два метода оценки ответа на вопрос этого вида. Во-первых, в случае полного совпадения набора номеров ответов указанных обучаемым с правильным набором ответов, задание считается выполненным, иначе не выполненным. Во-вторых вычисляется количество совпадения ответов обучаемого с правильными и результатом является степень правильности ответа. В последним случае возможно использование веса для каждого варианта ответа.

3. Установление соответствия. Обучаемому предъявляется формулировка вопроса и два столбца с некоторым количеством элементов в каждом. Количество элементов в столбцах может быть не равным. От обучаемого требуется каждому элементу одного столбца поставить в соответствие один или несколько элементов из другого столбца. Оценивание выполняется путем проверки набора соответствий, указанных обучаемым правильному набору. Как и для предыдущего вида вопроса возможен строгий или частичный метод оценки.

4. Восстановление правильной последовательности. Обучаемому требуется некоторое множество элементов расставить по порядку в соответствии с определенным признаком. Этот вопрос является разновидностью предыдущего, в случае, когда один столбец содержит элементы, характеризующие последовательность элементов другого столбца (Например, 1, 2, 3, … либо «первый», «второй», «третий» и т. д.)

5. Разбиение по группам. Имеется набор элементов, каждый из которых требуется отнести к определенной группе. Это также разновидность вопроса на соответствие, когда один столбец представляет собой набор исходных элементов, а второй наименование групп.

6. Указание области. Требуется указать одну или несколько областей определенной формы на рисунке. Форма области может быть — точечная (указывается точка), круглая (овальная), квадратная (прямоугольная), многоугольная, произвольная.

7. Разновидностью этого вопроса является вопрос на указание момента (диапазона) при воспроизведении аудио- (видео-) фрагмента. Оценивается совпадение указанной обучаемым областей с заданными с определенной точностью.

2.3 Особенности интерфейса

Программа взаимодействует с разными категориями пользователей, выдвигающими различные требования к пользовательскому интерфейсу. Разработчикам требуется больше функциональных возможностей, обучаемым важно иметь интуитивно понятный интерфейс. При прохождении тестирования обучаемым в каждый момент времени желательно предоставить как можно больше информации о процессе тестирования в целом. Однако, форма представления этой информации должна быть такой, чтоб не отвлекать внимание и не способствовать утомляемости или повышению нервного напряжения обучаемого.

Возможность внедрения мультимедиа информации в вопрос является существенным плюсом программы тестового контроля знаний. Обычно внедренная графическая и видеоинформация отображается в специальной области при предъявлении вопроса обучаемому, а аудиоинформация воспроизводится в фоновом режиме. Более сложной в реализации, но открывающей широкие возможности представляется обеспечение возможности внедрения мультимедиа информации как в контент формулировки вопроса, так и в контент вариантов ответа. Причем графическая информация отображается непосредственно, для воспроизведения каждого видеофрагмента отводится область необходимого размера, снабженная элементами управления воспроизведением, места внедрения аудио фрагментов содержат элементы управления воспроизведением этих фрагментов.

Положительным качеством программы является поддержка декоративного оформления текста вопроса и вариантов ответа. Это дает возможность разнообразить внешний вид вопросов или выделить отдельные элементы вопроса (расставить акценты), что способствует меньшей утомляемости обучаемого во время проведения тестирования, и более быстрому пониманию сути вопроса.

2.4 Возможности формирования и представления набора заданий

Тест в классическом понимании — инструмент для измерения уровня знаний обучаемого, практически апробированный и математически обоснованный. Отличительная особенность теста — высокая достоверность получаемых результатов — способствует его популярности как формы контроля знаний. При этом разработка такого инструмента требует усилий специалистов разного профиля (педагоги, психологи, эксперты и др.) и является не простой задачей. Тем более, что применение теста на одном контингенте обучаемых более одного раза отрицательно сказывается на достоверности результатов. В случаях, когда очень важно располагать объективной информацией об уровне знаний обучаемых (вступительные экзамены, выпускные экзамены, квалификационные экзамены и др.) затраты на разработку тестов можно считать оправданными. В случае проведения промежуточного (рубежного) контроля, дисциплинарных экзаменов, когда важно с высокой степенью достоверности контролировать уровень знаний обучаемых, но затраты на разработку полноценных тестов неоправданно велики, применяют ряд методов, позволяющих повторно использовать разработанные варианты тестов с незначительным уменьшением достоверности и некоторых других характеристик теста (надежность, валидность).

Некоторые методы позволяют применять однажды разработанный тест на различных группах одного потока, некоторые даже для повторного тестирования одной группы обучаемых.

1. Управление порядком предъявления. В классической теории тестирования рекомендуется задания теста сортировать в соответствии с возрастанием трудности, т.к. это облегчает последующий анализ результатов. Но так как в настоящее время широко известны алгоритмы анализа результатов на задания, не упорядоченные по трудности, то придерживаться этой рекомендации нет строгой необходимости. Применение автоматически генерируемой случайной последовательности предъявления тестовых заданий позволяет повторно использовать тест на разных группах обучаемых одного потока или одной специальности. Возможен смешанный метод формирования порядка предъявления заданий, когда порядок задания внутри определенной группы (группы могут быть сформированы по разному признаку, например, тип вопроса, тема, проверяемый уровень усвоения и др.) перемешивается, а сами группы вопросов предъявляются последовательно. Для закрытого типа вопроса с выбором ответов вполне обоснована возможность изменения порядка вариантов ответов случайным образом.

2. Генерации случайного набора заданий. Для каждого обучаемого генерируется индивидуальный набор заданий в соответствии с заданным критериями. Этот метод предполагает наличие обширной базы тестовых вопросов. Особое внимание следует уделить обеспечению одинаковой трудности полученных наборов тестовых заданий. Критериями может являться информация о количестве вопросов определенного типа, трудности, относящихся к определенной теме и др., и их порядке предъявления.

3. Автоматическая генерация тестовых заданий. Это тестовое задание представляет собой набор неизменных элементов и параметров. Параметры содержат правила генерирования значения. Это может быть информация о диапазоне и точности, либо порождающая формула для параметра числового типа или для параметра произвольного типа набор значений, из которых конкретное значение выбирается случайным образом или по определенному правилу. Этот метод с лёгкостью допускает использование тех же вариантов тестовых заданий повторно на одной группе обучаемых.

Особо следует выделить метод адаптивного тестирования. Достоинством этого метода является то, что он определяет уровень знаний обучаемого при минимальном количестве заданных вопросов (а значит за минимальное время), с требуемым уровнем достоверности. Ограничением применения адаптивного теста является сложность разработки вариантов тестовых заданий для него. Тестовые задания должны выть распределены по классам сложности и в каждом классе заданий должно быть несколько. Чем больше классов сложности, тем больше чувствительность теста и тем труднее подобрать задания одинаковой сложности.

2.5 Использование централизованной базы данных

Рассмотрим преимущества использования программой тестового контроля знаний централизованной базы данных в нескольких аспектах:

1. База тестов. Размещение тестов в базе дает возможность другим пользователям использовать их в своей работе. Это могут быть преподаватели той же или смежной дисциплины, использующие эти тесты для проведения проверок или обучаемые, использующие тесты для самоконтроля.

2. База тестовых вопросов. Требуется для работы алгоритмов динамической генерации вариантов тестов из множества тестовых заданий. Для проведения адаптивного тестирования также необходима база вопросов, поддерживающая разделение по классам трудности. Наличие обширной базы тестовых вопросов может упростить подбор вопросов для разработки «классического» теста.

3. База результатов тестирования. Позволяет в полной мере использовать алгоритмы статистического анализа. Анализ результатов может быть проведет в разрезе групп обучаемых (по каждому обучаемому) для определения рейтинга обучаемого (группы), изменения уровня знаний со временем и др. или в разрезе тестовых заданий (отдельно по каждому заданию) для определения для определения статистических характеристик задания (дискримитативность, релевантность).

2.6 Средства анализа и выдачи результатов тестирования

Наиболее простой метод оценки предлагает правильный ответ на задание теста оценивать одним балом, неправильный — нулем балов, для формирования оценки за выполнение теста подсчитываем количество набранных обучаемым баллов из максимально возможного количества. Большую гибкость оценке могут предать следующие дополнительные возможности.

1. Вес вопроса. С введением этого критерия появляется возможность управлять степенью значимости ответа на задание на оценку за тест в целом. Повывшая или понижая вес вопроса, мы, соответственно, увеличиваем или уменьшаем степень влияния этого задания на результат выполнения теста. Этот критерий должен отражать сложность (трудность, важность) данного тестового задания.

2. Степень полноты ответа на вопрос. Для открытого типа некоторых видов закрытого типа ответа имеется возможность учитывать частичное выполнение. Специальными алгоритмами возможно провести определение степени «правильности» для неполного ответа на вопрос и соответственно изменить оценку за задание.

3. Настраиваемая шкала оценки. В зависимости от ситуации возникает необходимость использовать разные шкалы оценки. Правила перевода из одной шкалы в другую тоже зависят от контекста применения и не могут быть однозначно предопределены. Следовательно, стоит реализовать возможность динамического (при разработке теста) задания размерности, правил преобразования и качественных характеристик используемой шкалы оценки.

Собранные результаты тестирования подлежат статистической обработке для определения некоторых показателей, таких как рейтинг; число обучаемых (в количественном или процентном выражении), получивших оценку из заданного интервала; количество баллов, выше которых есть результат только у заданного числа обучаемых (требуется, в частности, для определения проходного балла в ВУЗ), и др. Эти показатели отражают анализ в разрезе обучаемых, анализ в разрезе тестовых заданий дает важные статистические характеристики для каждого задания, использованного в тесте. Значение некоторых таких характеристик (надежность, дискримитативность) в ряде случаев позволяет сделать вывод о необходимости не учитывать ответы на некоторые задания, вследствие присутствия в этих заданиях не очевидных ошибок, искажающих результат.

Статистическая обработка обычно проводится вручную, но так как алгоритмы анализа легко формализуются, то возможна эффективная программная реализация этой обработки. В настоящее время автоматизация статистической обработки результатов слабо реализована в программных продуктах.

Очевидно, что результаты выполнения тестов должны содержать всю возможную информацию о прохождении процесса тестирования. Эта информация потребуется для различных методов анализа результатов. Однако, степень информации, предоставляемой обучаемому следует регулировать в зависимости от ситуации. В режиме самообучения следует выдавать максимально полный отчет для использования обучающей стороны контроля знаний. При тестировании без последующей обработки обучаемому можно предоставить информацию о количестве набранных баллов и некоторую информацию о прохождении теста. В случае прохождения тестирования с последующей обработкой результатов количество набранных баллов может быть изменено (при удалении из рассмотрения некоторых заданий) и шкала оценки также будет сформирована позже, поэтому обучаемому не может быть выдана какая-либо информация о результатах.

2.7 Дополнительные возможности в режиме самоконтроля

Тестирование в режиме самоконтроля направлено не столько на измерение уровня знаний, сколько на выявление пробелов и предоставление возможностей по их заполнению. С этой целью в систему может быть добавлена возможность использовать ссылки на материал, связанный с вопросом или различные пояснения по теме вопроса. Указанные возможности могут быть доступны для каждого вопроса во время тестирования или предъявляться по завершению для тех вопросов, на которые дан не полный или неверный ответ.

Отчет в режиме самоконтроля рекомендуется делать наиболее полным, с детальной информацией по каждому тестовому заданию вплоть до цитирования формулировки вопроса и указанием ответов обучаемого и правильных ответов.

Процесс тестирования в режиме самоконтроля должен как можно меньше отличаться от непосредственно тестирования. Интерфейс программы должен быть тот же и проходить тестирование при самоконтроле также должно с ограничением времени. Это помогает пользователю привыкнуть к среде тестирования и снижает психологическую нагрузку при прохождении контрольного тестирования.

2.8 Требования к программно-аппаратной платформе

Существует несколько наиболее популярных платформ компьютеров. В общем случае программа может функционировать только на той платформе, для которой она разработана (IBM PC, Apple Macintosh и др.), но существуют средства создания кросс — платформенных программ (например, программы на Java). Наряду с очевидным достоинством кросс-платформенных программ — возможность работать на разных аппаратных (программных) платформах, они имеют существенный недостаток — меньшее быстродействие, высокие требования к вычислительным ресурсам. Программа может предъявлять требования к определенным компонентам аппаратной платформы (частота процессора, размер жёсткого диска, объем оперативной памяти, наличие графического ускорителя и др.).

Программных платформ существенно больше, они, в основном, характеризуются семейством (классом) операционных систем (для аппаратной платформы IBM PC программные платформы: Win 9x, Win NT, Unix, Linux, FreeBSD, Solaris и др.).

Программы, имеющие распределенную архитектуру, могут содержать модули, функционирующие на разных программных и, даже аппаратных, платформах. К примеру, сервер тестирования работает в среде серверной операционной системы (Unix, Linux, FreeBSD и др.), программа педагога для создания тестов функционирует в среде Win NT, а для обучаемого требуется лишь Интернет-обозреватель, которые созданы для самых разных платформ.

Программная платформа включает в себя программное окружение — дополнительное программное обеспечение (драйверы сетевых протоколов, СУБД и др.). Если программа тестирования функционирует в составе комплекса программ (например, модуль тестирования в составе систем обеспечения дистанционного образования), и не может полностью функционировать отдельно, то наличие этого комплекса программ также является требованием программы тестирования к программному окружению.

2.9 Поддержка сетевого тестирования

Тестирование, как форма контроля знаний, подразумевает, в общем случае, единовременный контроль группы обучаемых. Существенным достоинством программы тестового контроля знаний является возможность работы в сетевом варианте, когда программа централизованно управляет процессом тестирования нескольких пользователей. Сетевое тестирование (через Интернет) наиболее предпочтительный вариант контроля знаний в системах дистанционного обучения.

2.10 Поддерживаемые форматы и стандарты представления данных

Существует большое количество отечественных и зарубежных программ тестового контроля, но все они имеют (в большей или меньшей степени) существенный недостаток — непереносимость (несовместимость) данных. Задания, разработанные для применения в одной системе не применимы для использования в другой. Для обеспечения переносимости данных (тестовых заданий, отчетов о результатах) необходима стандартизация. В нашей стране подобных стандартов нет. За рубежом некоторыми компаниями ведутся работы в этом направлении. В частности результатом попыток формализовать описание структур данных тестовых систем стало издание Консорциумом IMS спецификации IMS QTI.

Данная спецификация содержит рекомендации к структуре и описанию различных видов вопросов и отчетов о результатах. В соответствии с этой спецификацией данные (тест, задание, отчет) представляются в XML-формате и отделены от информации об их представлении. То, как эти данные будут выглядеть на компьютере пользователя, зависит от программной системы, интерпретирующей их.

3. Описание программного комплекса

Программный комплекс Test Environment (Те) выполнен c использованием технологии HTML и JavaScript. Применение этих Интернет — технологий позволило создать программу, функционирующую в сети Интернет или локальной сети и исполняемую браузером пользователя. При размещении программы в Интернет, пользователю для полноценной работы с ней требуется только Интернет — обозреватель (Internet Explorer версии 4.0, 5.0, 5.5, 6.0 и выше).

При разработке использовались инструменты Macromedia Dreamwever MX 2004 и Microsoft Script Editor 10.0.

3.1 Описание структуры программы

Программный комплекс Те (рис. 1) включает в себя две подсистемы Рис. 1. Структура программного комплекса Те

- Среда разработки тестов;

— Модуль тестирования.

Среда разработки тестов (редактор теста) позволяет создавать и изменять файлы тестов. Файл теста содержит блок вопросов, блок форм и блок алгоритмов. Редактор теста предоставляет соответствующие интерфейсы для работы с блоками теста. Редактор вопросов и редактор алгоритма оценки является интерфейсами преподавателя для взаимодействия с программным комплексом. Редактор вопросов позволяет изменять параметры вопроса (вес, количество вариантов ответа, правильные варианты ответа) и поля вопроса (Инструкция, Вопрос, Варианты ответа), а также сопоставить каждому вопросу определенную форму представления. Редактор алгоритма оценки позволяет задать правило перевода внутренней 100-бальной шкалы оценки в шкалу оценки низшей размерности (задать размерность, указать границы преобразования, задать качественную характеристику каждому интервалу).

Интерфейс редактора форм позволяет модифицировать формы представления вопросов. Формой представления является текст в формате HTML, сформированный в соответствии с определенными правилами. Поскольку изменение форм представления требует ручного редактирования htmlтекста и знания основ дизайна, следовательно, для этой работы требуется привлечение Web-дизайнера. Каждый вновь создаваемый тест содержит формы, заданные по умолчанию.

Помимо интерфейсов для редактирования вопросов и алгоритмов Среда разработки тестов предоставляет преподавателю ряд дополнительных возможностей:

— установка параметров теста (режим тестирования, длительность, параметры регистрации и др.);

— предварительный просмотр выбранного вопроса или формы;

— запуск редактируемого теста на исполнение.

Полученный тест может быть сохранен на локальный компьютер в виде файла (если в вопросах теста имеются графические изображения, они сохраняются в виде отдельных файлов в каталоге с файлом теста) или может быть загружен на сервер в виде записи базы данных.

Модуль тестирования представляет интерфейс обучаемого и включает в себя подсистему представления, отвечающую за диалог с обучаемым и подсистему оценивания. При запуске Модуль тестирования загружает указанный файл теста, и подсистема представления, руководствуясь информацией этого файла, осуществляет процесс тестирования. По завершении тестирования подсистема оценивания анализирует ответы обучаемого и формирует отчет о результатах, который может быть сохранен на диске, распечатан или загружен на сервер.

Передача Модулю тестирования файла теста возможна двумя вариантами. Во-первых, гиперссылка запуска Модуля тестирования содержит в качестве параметра адрес файла тестирования.

Во-вторых, если запуск происходит без параметров отображается диалог «Открытие файла».

Сервер тестирования является важным компонентом среды тестирования, позволяющим существенно расширить функциональность данного программного комплекса. Добавиться возможность использования централизованной базы данных (подробнее п. 2.5) и возможность реализации механизмов статистической обработки данных. Также наличие компоненты сервер тестирования позволит интегрировать разработанный программный комплекс практически в любую систему дистанционного обучения (обучение через Интернет). Разработка Сервера тестирования, качественно и полно реализующего эти возможности является по сложности задачей, сопоставимой с проделанной работой и в силу ограниченных ресурсов не реализована в рамках данной дипломной работы.

Программный комплекс (без компоненты Сервер тестирования) может с успехом использоваться для проведения тестирования, как на локальном компьютере, так и в локальной сети. Для тестирования через Интернет требуется компонент Сервер тестирования как минимум для сбора отчетов о результатах.

Программный комплекс Те направлен на взаимодействие с тремя группами пользователей (Преподаватели, Обучаемые, Дизайнеры). Очевидно, что преподавателю следует предоставить полный доступ ко всем возможностям программы. Дизайнер, в общем случае, — лицо, не участвующее в учебном процессе и, хотя, ему не требуется доступ к блоку вопросов, алгоритмов и параметрам теста, необходимость ограничения такого доступа отсутствует. Обучаемый — пользователь программы, имеющий ограниченные права: только прохождение теста в режиме заданном преподавателем. Следовательно, необходимым является использование разграничения доступа пользователей, в частности группы Обучаемые от других групп (Преподаватели и Дизайнеры). В данном программном комплексе это разграничение реализовано вынесением интерфейса обучаемого в отдельный компонент — Модуль тестирования. Обучаемый взаимодействует только с этим компонентом, не имея доступа к интерфейсу преподавателя или дизайнера, реализуемого компонентом Среда разработки тестов.

3.2.Интерфейс программы редактора тестов

Компонент Среда разработки тестов программного комплекса Те предназначен для разработки тестов. Он позволяет добавлять (создавать, изменять) тестовые вопросы, управлять формой их предъявления и настраивать параметры проведения тестирования.

3.2.1 Тест Понятие теста Ключевым понятием Те является понятие Тест. Тест включает.

— Вопросы. Каждый вопрос содержит набор полей вопроса.

— Формы. Формируют блоки, в которых отображаются элементы вопроса или параметры теста.

— Алгоритмы.

— Параметры.

Тест может включать произвольное количество вопросов, которые при тестировании будут предъявлены обучаемому. В параметрах теста указывается будут ли вопросы предъявляться в заданной, либо произвольной последовательности. Каждый вопрос содержит ссылку на форму, используемую для его отображения.

Формы представляют собой шаблоны для предъявления вопросов обучаемому. Различают формы теста и формы вопросов. Форма теста — шаблон для оформления окна тестирования — содержит информационные и управляющие области. Форма вопроса — шаблон для вывода полей вопроса. Тест должен содержать не менее одной формы теста и одной формы вопроса. Т.к. форм теста может быть более одной, то в параметрах теста указывается название формы, используемой при предъявлении теста.

Алгоритмы теста служат для расширения возможностей системы. Реализован алгоритм перевода 100-бальной внутрисистемной шкалы оценки в шкалу оценки меньшей размерности с качественными характеристиками. Теста может содержать не менее одного алгоритма оценки, при этом алгоритм, используемый при проведении тестирования, указывается в параметрах теста.

Параметры теста служат для изменения различных характеристик теста, таких как информация о тесте, режим проведения и др.

Создание теста В программную систему Те для редактирования тест может быть загружен при создании нового теста [] или открытии существующего [] (рис. 2).

Рис. 2. Открытие файла теста

При создании в систему загружается тест, с параметрами, заданными по-умолчанию.

Загруженный тест отображается в окне Структура теста (рис. 3).

Рис. 3. Окно Структура теста

Верхний узел отображает название теста, а при наведении на него указателя отображается автор теста. Верхний узел содержит три группы элементов: Вопросы, Формы, Алгоритмы. Группы содержат соответствующие элементы.

Группа Вопросы, при щелчке на неё указателем разворачивается и отображает список вопросов теста. Группа Формы содержит список форм теста, группа Алгоритмы — список алгоритмов.

Для добавления нового вопроса используется кнопка панели инструментов []. Для добавления формы теста — [], формы вопроса — [] и [] для добавления алгоритма.

При выделении щелчком указателя в окне Структура теста конкретного элемента (вопроса, формы или алгоритма) происходит запуск редактора элемента (соответственно вопроса, формы или алгоритма) в окне редактора.

Для вопроса и формы доступна возможность предварительного просмотра []. При запуске этой операции открывается новое окно, в которое загружается содержимое выделенного элемента в окружении элементов по-умолчанию (если выделенный элемент — форма вопроса, то в окно просмотра будет загружена форма теста, указанная форма вопроса, а в нее произвольный вопрос, т.к. форма вопроса не содержит информации о вопросах использующих её).

Порядок следования элементов внутри каждой группы задается путем перемещения этих элементов указателем. Порядок следования имеет существенное значение только для элементов группы вопросы, при отключенной опции «вопросы в произвольной последовательности» в диалоге Параметры теста. В этом случае порядок следования вопросов определяет порядок их предъявления обучаемому.

Для элементов теста доступны операции Вырезать [], Копировать [], Вставить [] и Удалить [].

Изменение параметров теста возможно посредством диалога Параметры теста [].

Если тест содержит более одного вопроса возможен его запуск в режиме отладки [] с целью поиска ошибок и неточностей при формировании вопросов и выбора подходящих параметров теста.

Для сохранения теста в файл используется кнопка на панели инструментов []. При первом сохранении открывается диалог выбора имени теста (рис. 4). Система предлагает какое-либо имя по-умолчанию и путь по умолчанию — подкаталог Projects установочного каталога программной системы Т. е. Для сохранения файла теста программе требуется получить разрешение на доступ к файловой системе. В случае получения этого доступа тест сохраняется, при отказе в доступе пользователю предлагается самостоятельно сохранить тест. Для этого открывается окно, содержащее текст теста, который следует скопировать в буфер обмена, вставить в текстовый редактор (например, Блокнот) и сохранить как текст.

Рис. 4. Диалог Сохранение файла теста

3.2.2 Редактор вопроса Создание вопроса Редактор вопроса (рис. 5) позволяет изменять индивидуальные параметры вопроса и формировать содержимое полей вопроса.

Параметрами вопроса являются:

— Форма представления. Позволяет указать какая из существующих в тесте форм вопроса, используется для предъявления этого вопроса.

— Вес вопроса. Вес вопроса относительно других вопросов теста. Может принимать значение от 1 до 100. Значение вводится в соответствующее поле и устанавливается при нажатии на кнопку «OK». Желательно наличие связи между значением этого параметра и относительной сложностью вопроса.