Разработка технологии компьютерного тестирования

РЕФЕРАТ

Дипломная работа — 77 страницы, 12 рисунков, 9 таблиц, 25 источников, 5 приложений.

Ключевые слова: ДИСТАНЦИОННОЕ ОБУЧЕНИЕ, КОМПЬЮТЕРНАЯ ОБУЧАЮЩАЯ ПРОГРАММА, КОНТРОЛЬ ЗНАНИЙ, ТЕСТИРОВАНИЕ, МАТЕМАТИЧЕСКИЙ АНАЛИЗ.

Тема дипломной работы: РАЗРАБОТКА ТЕХНОЛОГИИ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ ПО КУРСУ «МАТЕМАТИЧЕСКИЙ АНАЛИЗ» ДЛЯ СТУДЕНТОВ ВЕЧЕРНЕГО И ДИСТАНЦИОННОГО ОБУЧЕНИЯ.

В работе рассмотрены основные принципы методы и средства создания компьютерных обучающих курсов и систем тестирования знаний обучаемых.

Разработана система тестирования по курсу «Математический анализ», включающая в себя тестовых задания и справочную информацию по таким разделам курса, как «Комплексные числа», «Вычисление пределов функций одной переменной», «Дифференцирование функций одной переменной» .

Элементы системы тестирования могут быть использованы в учебном процессе в качестве лабораторных работ, контрольных работ, как дополнительный материал для самостоятельной работы обучаемых.

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И СПЕЦИАЛЬНЫХ ТЕРМИНОВ ВВЕДЕНИЕ

1 ТЕХНОЛОГИЯ СОЗДАНИЯ ОБУЧАЮЩИХ ПРОГРАММ

1.1 Методология подготовки исходных материалов

1.2 Требования к справочной информации

2 ТЕХНОЛОГИЯ СОЗДАНИЯ ТЕСТИРУЮЩИХ ПРОГРАММ

2.1 Требования к тестирующим программам

2.2 Методология подготовки тестовых заданий

2.3 Требования к содержанию тестовых заданий

3 ОБЗОР ПРОГРАММНЫХ СРЕДСТВ

3.1 Средства создания учебных курсов

3.2 Система «Униар Билдер 2002»

4 РАЗРАБОТКА СИСТЕМЫ ТЕСТИРОВАНИЯ

5 ТЕХНОЛОГИЯ ИСПОЛЬЗОВАНИЯ СИСТЕМЫ ТЕСТИРОВАНИЯ

5.1 Руководство по использованию (преподаватель)

5.2 Руководство по использованию (студент)

6 ЭКОНОМИЧЕСКОЕ ОБОСНОВАНИЕ ПРОЕКТА

6.1 Введение

6.2 План разработки программного продукта

6.3 Определение затрат на разработку программы

6.5 Оценка экономической эффективности внедрения программы

7 ОХРАНА ТРУДА И БЕЗОПАСНОСТЬ ЖИЗНЕДЕЯТЕЛЬНОСТИ

7.1 Введение

7.2 Основные характеристики изображения на экране

7.3 Освещенность рабочего помещения

7.4 Излучения и поля

7.5 Стандарты на мониторы

7.6 Воздействие работы с ПК на зрение человека

7.7 Заключение ЗАКЛЮЧЕНИЕ ПРИЛОЖЕНИЯ ЛИТЕРАТУРА

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И СПЕЦИАЛЬНЫХ ТЕРМИНОВ

ДО — дистанционное обучение.

АС ДО — автоматизированная система дистанционного обучения.

КОПР — компьютерная обучающая программа.

СТ — система тестирования.

Дистанционное обучение — это целенаправленный процесс интерактивного (диалогового), асинхронного или синхронного взаимодействия преподавателя и студентов между собой и со средствами обучения, индифферентный к их расположению в пространстве и времени.

Валидность теста — «комплексная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности используемой по отношению к ней диагностической процедуры». Тест можно считать валидным, если он позволяет оценить именно то, для определения чего предназначен (в нашем случае — степень усвоения учебного материала).

Надежность теста — в теории и практике тестирования понятие надежности имеет два значения. Тест считается надежным, если он дает одни и те же показатели для каждого испытуемого при повторном выполнении им данного теста (естественно, при условии, что он не знает или не помнит, правильно или неправильно выполнил каждое из предложенных заданий в первый раз). Такая надежность называется ретестовой. Тест называется также надежным, если он является внутренне согласованным, т. е. результаты выполнения отдельных заданий положительно коррелируют друг с другом и с общим показателем теста.

Дискриминативность теста — способность отдельных его заданий и теста в целом дифференцировать тестируемых относительно максимального и минимального результатов теста. Например, задания, на которые правильно отвечают все студенты, не имеют никакой практической ценности.

Шкалирование результатов тестирования — способ их оценивания и упорядочивания в определенную числовую систему. Шкалирование результатов и группировка их по интервалам необходимы для проведения ряда статистических процедур, которые должны сопутствовать валидидации теста. Речь идет о шкале, в соответствии с которой за правильное решение тестового задания студенту начисляются баллы (в общем случае — в зависимости от сложности задания), которые затем суммируются. При этом вся шкала обоснованным образом разбивается на интервалы. Требуется, чтобы ни в один интервал не попадала большая часть результатов. Частным случаем может являться деление шкалы достижений на интервалы одинаковой ширины.

За последние 30 с лишним лет в системах образования развитых стран произошли существенные структурные изменения, обусловленные всесторонним воздействием научно-технического прогресса на жизнедеятельность общества, информационной революцией.

Высшее образование должно быть одинаково доступным для всех на основе способностей каждого. Поскольку получение высшего образования всеми гражданами по традиционной очной форме практически невозможно (этого не выдержат бюджеты даже самых благополучных стран), широкое развитие получили такие формы образования, как вечернее и дистанционное обучение.

Многовековой педагогический опыт учит, что полноценное образование может быть получено лишь при наличии хороших учебно-методических материалов и учебников и общения, или, как сейчас принято говорить, диалога студента и преподавателя.

При вечерней форме обучения на такое общение отведено значительно меньше времени, чем при очной форме, а в случае дистанционного обучения контакт студента с преподавателем вообще сведен к минимуму. По этой причине большое внимание уделяется самостоятельной работе студентов. Закономерно встает вопрос о том, какими должны быть учебные материалы, чтобы обеспечить качественный процесс обучения и скомпенсировать ограниченное общение студента с преподавателем, который вносит в процесс обучения эмоциональную окраску, реализует обратную связь и, при необходимости, может провести корректировку процесса обучения студента.

Решением этой проблемы становится постепенная замена полиграфических изданий на компьютерные средства дистанционного обучения, в состав которых при современном развитии информационных технологий легко внедряются элементы такого диалога.

Кафедра «Математической кибернетики» Московского Авиационного Института уже долгие годы ведет активную и весьма успешную работу в данном направлении, разрабатывая технологию и средства дистанционного обучения.

Так, на кафедре «Математической кибернетики» более 15 лет назад была разработана универсальная инвариантная к дисциплине оболочка «Ракель», предназначенная для построения электронных учебников. С использованием «Ракель» был разработан целый цикл электронных учебников, сформировавший электронную библиотеку кафедры, которая содержит более 70 учебников по таким дисциплинам как «Теория управления», «Теория оптимизации», «Дискретная математика», «Системный анализ», «Дифференциальные уравнения», «Линейная алгебра и аналитическая геометрия» и др.

В последние годы инструментарий кафедры пополнился ещё одним универсальным средством создания электронных учебников — программным продуктом TBBuilder 2. Данная среда позволяет создавать электронные пособия и обучающие курсы по прикладным математическим дисциплинам, содержащие сведения по теории дисциплины, демонстрационные примеры решения типовых задач, модули решения типовых задач с пошаговым контролем правильности решения и контроля знаний. С помощью TBBuilder 2 был создан, например, электронный учебник по одному из разделов курса «Математический анализ» — «Интегральное исчисление. Неопределенный и определенный интегралы» .

Наконец, совсем недавно Центр Открытого Образования МАИ приобрел право лицензионного использования на АС ДО «ДОЦЕНТ», которая представляет собой комплекс высокоэффективных программно-методических средств дистанционного обучения, переподготовки и тестирования слушателей, основанный на сетевых технологиях и современных методиках образования на базе компьютерных обучающих программ и тестирующих систем. Использование этой системы предоставляет возможность создавать обучающие курсы по техническим и гуманитарным дисциплинам. Применение ее в сфере математических дисциплин теоретически обосновано, но примеров практического применения в настоящее время ещё не было. Вследствие этого была поставлена задача:

1. Изучив принципы, методы и средства построения компьютерных обучающих программ и проанализировав календарные планы по предмету «Математический анализ» для студентов первого курса факультета экономики и менеджмента, разработать технологию компьютерного тестирования по указанному курсу, принимая во внимание следующие особенности обучению математическим дисциплинам:

1) студенты, приступающие к изучению дисциплины, имеют разную математическую подготовку;

2) при изучении каждой последующей темы требуются знания, полученные при изучении предыдущих тем;

3) решение ряда задач состоит из многих этапов;

4) ответы к практическим задачам содержат математическую символику и инварианты относительно формы записи.

2. Использовать программную среду создания обучающих и тестирующих программ, наиболее точно отвечающую поставленной задаче, и реализовать систему тестирования с учетом разработанной технологии. Функциональное назначение данной системы должно заключаться в обучении навыкам решения задач по курсу «Математический анализ» с последующим контролем полученных знаний.

3. Создаваемая система тестирования должна удовлетворять следующим требованиям:

1) Система должна быть легко настраиваемой и масштабируемой с тем, чтобы её можно элементы могли служить в качестве и обучающих курсов, и лабораторных и контрольных работ.

2) В качестве тематики задач для тестирования предлагается рассмотреть следующие разделы курса «Математический анализ» :

— Комплексные числа: определение, алгебраические операции, возведение в степень, извлечение корня, решение уравнений.

— Вычисление пределов функции одной переменной (методы раскрытия основных видов неопределенностей);

— Дифференцирование функции одной переменной (заданных в явной, неявной и параметрических формах);

Для реализации поставленной задачи было использовано средство разработки компьютерных обучающих и контролирующих программ «Униар Билдер 2002», входящее в комплектацию АС ДО «ДОЦЕНТ». Это позволило не только выполнить задачу создание системы тестирования, но и внести определенный вклад в развитие проекта по развитию дистанционного образования «Центра Открытого Обучения» МАИ.

На основании проделанной работы подробно описан процесс разработки технологии и реализации заявленной системы тестирования. Представлено описание готового продукта, инструкция по эксплуатации, расчет экономической эффективности применения системы тестирования и суммарных затрат на её разработку.

1 ТЕХНОЛОГИЯ СОЗДАНИЯ ОБУЧАЮЩИХ программ

1.1 Методология подготовки исходных материалов

Подготовка исходных материалов — первая стадия технологии создания КОПР.

Отправной точкой в подготовке исходных материалов является регламентация их объема. Здесь возможны два основных подхода.

Первый из них предполагает, что КОПР является дополнением к фундаментальным печатным учебникам и учебным пособиям для студентов, занимающихся по технологии ДО. В таком случае, объем не превышает пяти условных учетно-издательских листов по каждой дисциплине в пределах одного года обучения. При этом возможен вариант, когда учебный материал настолько наглядно и полно изложен в печатном учебнике, что состав КОПР по этой дисциплине ограничивается только тестами.

Другое дело, если КОПР создается как самостоятельное комплексное учебное средство. В этом случае в ней должно излагается основное содержание учебного материала дисциплины (курса), освещаться все вопросы, которые будут вынесены на зачет или экзамен. Объем материала в такой КОПР может превышать объем печатного аналога за счет введения тестов для самоконтроля, поясняющих примеров, разбора решений типовых задач, наличие необходимой нормативно-справочной базы и др.

Следующим вопросом, который следует рассмотреть, является структура КОПР. Главное требование, предъявляемое к ней, — модульность. Необходимость четкого структурирования материала (более жесткого, чем в традиционном учебнике) диктуется по крайней мере двумя причинами:

· организационной — разбивка учебного материала на блоки не только облегчает студенту его изучение в отсутствие преподавателя, но и позволяет регламентировать порядок взаимодействия студента и тьютора.;

· функциональной — реализация гипертекстовых переходов при разработке КОПР должна предполагать обособленность смысловых фрагментов тем.

Если КОПР используется как дополнение к традиционному печатному учебнику (учебному пособию), то при создании структуры обучающей программы должно быть сохранено соответствие между ними.

1.2 Требования к справочной информации

Справочная информация и дополнительный материал должны быть представлены в объеме, необходимом для обеспечения работы студента с основным учебным материалом. Элементы этой информации являются поясняющими или развивающими и несут важную методическую нагрузку, предоставляя студенту дополнительные сервисные возможности.

В качестве дополнительного (справочного) материала могут выступать:

· терминологический словарь;

· поясняющие расшифровки по тексту;

· ссылки на рекомендуемую дополнительную литературу;

· справочные данные;

а также иные текстовые и графические материалы, не включенные авторами в состав основного материала.

Терминологический словарь должен охватывать все термины, которые могут быть непонятны наиболее слабому студенту, и не допускать разночтений определений этих терминов в учебном материале и внутри словаря. Автор должен предусмотреть в словаре перекрестные ссылки (если в расшифровке одного термина имеется ссылка на другой).

Поясняющие расшифровки по тексту — пояснения вызываются студентом только в том случае, если они ему действительно необходимы или интересны.

Ссылки на рекомендуемую дополнительную литературу должны быть адресными, с указанием параграфов или страниц. Если фрагмент, на который ссылается автор, сравнительно невелик (1— 2 страницы), то, как правило, целесообразно поместить его в приложение к КОПР, чтобы избавить студента от необходимости поиска и просмотра дополнительной информации.

В качестве справочных данных следует приводить те сведения, которые:

· могут понадобиться при решении расчетных задач;

· могут послужить иллюстрацией теоретических построений.

Следует очень внимательно подходить к вопросу отбора справочных данных. Так, в состав КОПР необходимо включать только реально необходимое количество справочных данных. В слишком обширных справочных данных трудно ориентироваться, а недостаток данных, необходимых для решения задач, может вызвать многочисленные вопросы или длительные поиски нужных сведений в специальной литературе, что, в конечном счете, скажется на качестве обучения.

2 Технология создания тестирующих программ

2.1 Требования к тестирующим программам

Требования к построению тестовых заданий уже достаточно устоялись, и в системе Минобразования РФ их перечень примерно тот же. Так, в утвержденных ВТУ и согласованных в августе 1999 г. с Минобразования «Требованиях к программно-педагогическим тестам, тестовым заданиям и технологии компьютерного тестирования» содержатся следующие требования.

Базовыми требованиями к содержанию тестов являются:

· соответствие квалификационным требованиям, профессиям и должностям;

· преемственность по отношению к государственным образовательным стандартам;

· соответствие объемам учебных программ;

· ориентация на высокие технологии обучения.

Требования к программно-педагогическим тестовым заданиям:

· содержание тестового задания должно требовать от испытуемого однозначного ответа;

· содержание тестового задания должно быть ориентировано на получение ответа только по одной задаче из конкретной области знаний;

· следует избегать тестовых заданий, требующих развернутых ответов;

· основные термины тестового задания должны быть явно и ясно определены;

· определяющий признак и определяемые термины в тестовом задании должны обозначать одни и те же предметы;

· в тестовом задании определяющий признак должен быть необходимым и достаточным;

· тестовые задания должны быть прагматически корректными и рассчитаны на испытуемых с заданным (исходным) уровнем подготовки по конкретной предметной области;

· тестовое задание должно формулироваться в утвердительном или повелительном предложениях;

· при конструировании тестовых заданий необходимо применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания задания;

· количество слов в тестовом задании не должно превышать 10;

· среднее время ответа испытуемого на тестовое задание не должно превышать 5 минут.

Как видим, эти требования в целом соответствуют ранее изложенным. Имеющиеся же дополнительные требования (количество слов в тестовом задании не должно быть больше 10, задание должно формулироваться в утвердительном или повелительном наклонении) представляются разумными как рекомендации, но достаточно спорными, если полагать их обязательными.

2.2 Методология подготовки тестовых заданий

При дистанционном обучении большую важность приобретает контроль качества знаний. Поэтому особое внимание в КОПР должно быть уделено заданиям для самоконтроля и контроля.

Методология построения тестов для самоконтроля и контроля знаний в целом сходная. Однако есть и различия. Так, прямое и единственное назначение контрольных тестов — проверка усвоения знаний студентом по изучаемой дисциплине, в то время как задания для самоконтроля включают в себя и элементы обучения — ведь студенту сообщаются правильные ответы. Исходя из этого требования к корректности составления контрольных тестов более жесткие, поскольку исследуемый уровень знаний должен быть адекватно отражен некими количественными показателями. Поэтому далее при рассмотрении методики подготовки тестовых заданий мы будем говорить преимущественно о контрольных тестах.

Для того чтобы подготовленные тесты действительно позволяли оценить степень усвоения учебного материала, они должны быть составлены в соответствии с определенными требованиями классической теории тестирования, которые будут изложены далее. Кроме того, при написании тестовых заданий для компьютерных обучающих программ необходимо также учитывать специфику компьютерных тестов, обусловливающую их достоинства и некоторые недостатки.

К достоинствам компьютерной формы тестирования следует отнести:

· объективность тестирования — ЭВМ «беспристрастна» при предъявлении тестовых заданий и подсчете результатов их выполнения;

· удобство фиксации, хранения и представления результатов тестирования, а также возможность их автоматизированной обработки, включая ведение баз данных и статистический анализ;

· возможность создания таких тестовых заданий, которые не могут быть представлены без компьютера (с использованием графических, динамических, интерактивных и других специфических возможностей представления тестовых заданий на компьютере)

Недостаток компьютерного тестирования заключается в том, что от испытуемого требуются хотя бы минимальные навыки работы с ЭВМ. Поэтому надо составлять тесты таким образом, чтобы испытуемый не тратил больших усилий и внимания на восприятие вопроса и выбор ответа, и это не влияло бы на показанный результат. Правда, для тестирования студентов МАИ подобное ограничение не столь актуально, поскольку все они имеют навыки работы за компьютером.

Согласно теории тестирования [2], тест может быть охарактеризован как эффективный, если он удовлетворяет требованиям, относящимся к следующим его характеристикам:

· Валидность;

· Надежность;

· Дискриминативность;

· Шкалирование.

При подготовке тестовых заданий для контроля усвоения учебного материала необходимо последовательно решить следующие вопросы:

· каково должно быть содержание тестовых заданий;

· как правильно сконструировать тестовые задания;

· как правильно составить из тестовых заданий тесты;

· как убедиться в валидности, надежности, дискриминативности тестов и при необходимости скорректировать их.

2.3 Требования к содержанию тестовых заданий

Содержание тестовых заданий для контроля усвоения знаний по конкретной дисциплине определяется в первую очередь учебной программой этой дисциплины, которая в свою очередь составляется в соответствии с государственным образовательным стандартом. Автор должен определить наиболее существенные, важные, характерные понятия и определения курса, для проверки понимания которых и будут далее сформулированы тестовые задания. Таким образом, содержательная валидность теста обеспечивается авторами учебных материалов.

После того как содержание будущего теста определено, необходимо облечь его в конкретную форму, т. е. сконструировать тестовое задание. Это сложный и неформальный этап подготовки тестовой базы, требующий от автора творческого подхода, знания основ теории тестирования, педагогического опыта. Поэтому остановимся на нем подробнее.

В тестах следует выделить следующие возможные формы тестовых заданий [3]:

· закрытая (в том числе задания с несколькими вариантами выбора и альтернативные задания);

· открытая;

· на установление соответствия;

· на установление правильной последовательности.

Закрытые задания наиболее часто встречающиеся на практике, состоят из двух частей:

· основной части, содержащей утверждение или вопрос;

· вариантов выбора, или некоторого количества возможных ответов, из которых тестируемый должен выбрать правильный ответ.

Если в задании представлены только два варианта выбора — «да» и «нет», то такое задание называется альтернативным.

При формировании задания с несколькими вариантами выбора следует учитывать следующие правила [1]:

1. Задание должно быть записано настолько просто, насколько это возможно для его точного понимания. В формулировке вопроса не следует использовать отрицание, а также такие слова, в которых содержатся двусмысленность или противоречие;

2. Все неверные варианты ответа, называемые дистракторами, должны быть такими, чтобы привлечь внимание отвечающего. Чем больше будет неэффективных дистракторов (а тем более заведомо неприемлемых), тем проще становится задание;

3. Ответ на один вопрос не должен давать ключа к остальным (т. е. не рекомендуется использовать одни и те же варианты ответов в различных заданиях, если они могут навести отвечающего на правильный ответ);

4. Следует избегать тестирования тривиального ввиду простоты его обнаружения;

5. Следует учитывать компьютерную специфику заданий, выбирая понятные для тестируемого и удобные для разработчика способы их реализации.

Оптимальное количество вариантов ответов в закрытых заданиях: 4 — 6. Допускается и иное количество вариантов. Однако надо иметь в виду, что систематическое использование большого количества вариантов утомляет тестируемого. Меньшее же число вариантов упрощает задачу отвечающего, повышая вероятность угадывания верного ответа. Именно поэтому альтернативные задания хотя и достаточно широко применяются в тестировании, но по эффективности уступают заданиям с несколькими вариантами ответов, хотя сконструировать их гораздо проще.

По классической теории тестирования [2], в закрытом задании должен быть только один правильный вариант ответа. При компьютерном тестировании, однако, допускается и такая формулировка задания, когда для его правильного решения необходимо отметить несколько вариантов ответа. Такое построение также уменьшает вероятность угадывания правильного решения.

Недопустима такая формулировка закрытого задания, когда для правильного его решения необходимо отметить все варианты ответов. Точно так же неприемлемо, если среди перечисленных вариантов ответов нет ни одного правильного.

Задания в открытой форме требуют ответа, сформулированного самим обучаемым. Строго говоря [2], задания в открытой форме подразделяются на задания со свободным (т. е. произвольным) ответом и на задания с ограничениями на ответ.

Задания со свободными ответами для компьютерного тестирования можно включать в тестирование только в том случае, когда программа точно может оценить, правильно ли был дан ответ или нет.

Применимость открытых заданий с ограничениями на ответ студента не вызывает сомнений. К числу возможных ограничений могут относиться:

· ограничение по количеству слов в ответе (в явном виде указывается, что ответ должен быть сформулирован, например, одним словом или двумя словами);

· ограничение по характеру вводимой информации (численная или текстовая);

· ограничения в формате ввода ответа, например:

— указание в явном виде, сколько слов должен содержать ответ (рекомендуется не более двух) или ограничение длины поля ввода;

— указание, какого рода информация должна вводиться (численная, текстовая);

— указание, в каком формате должны быть введены дробные числа, а если в формате десятичной дроби — то с какой точностью;

— указание, как надо вводить символы, отсутствующие на клавиатуре, например, (бесконечность).

При формулировке ограничений следует исходить из того, что все они вводятся с единственной целью: чтобы тестирующая программа могла сравнить ответ обучаемого с хранящимся в памяти правильным ответом (возможно, с несколькими предусмотренными автором модификациями правильного ответа) и выявить их соответствие или несоответствие.

Правила 1, 4 и 5, изложенные при рассмотрении закрытых форм тестовых заданий, остаются актуальными и для открытых.

Пристального внимания требуют также задания на установление соответствия. В традиционной своей форме они предлагают испытуемому две группы элементов, и ему необходимо связать каждый элемент первой группы с одним или несколькими элементами второй. При этом количество элементов во второй группе должно быть не меньше, чем в первой (рекомендуется на 2−3 больше, чтобы повысить сложность задания).

Для составления эффективных заданий по-прежнему следует придерживаться правил 1, 3−5, изложенных при разборе закрытой формы заданий (а если имеются также и «отвлекающие» дистракторы, то всех пяти правил).

Задания на соответствие более сложны и в общем случае более эффективны, чем задания в закрытой форме. Об этом можно судить хотя бы по тому, что каждое задание на соответствие можно представить в виде набора заданий с несколькими вариантами ответов или еще большего количества альтернативных заданий.

Суммируя вышесказанное, можно добавить, что одни и те же задания часто могут предлагаться в различных формах. Следует выбирать ту из них, в которой вопрос формулируется более кратко и понятно, а вероятность угадывания правильного ответа меньше. Кроме того, необходимо обращать внимание на то, чтобы задание не содержало в себе подсказки для ответов на другие задания. Если задания в различных формах выглядят в равной степени эффективными, го предпочтительней тот тип, который менее всего представлен: разнообразие форм заданий уменьшает монотонность теста и, соответственно, снижает утомляемость. Потому что степень успешности выполнения теста достижений должна определяться уровнем усвоения знаний, а не выносливостью или усидчивостью. В противном случае тест автоматически становится невалидным.

3 ОБЗОР ПРОГРАММНЫХ СРЕДСТВ

3.1 Средства создания учебных курсов

Кафедра «Математической кибернетики» Московского Авиационного Института уже долгие годы ведет активную и весьма успешную работу в данном направлении, разрабатывая технологию и средства дистанционного обучения.

Так, на кафедре «Математической кибернетики» более 15 лет назад была разработана универсальная инвариантная к дисциплине оболочка «Ракель», предназначенная для построения электронных учебников. С использованием «Ракель» был разработан целый цикл электронных учебников, сформировавший электронную библиотеку кафедры, которая содержит более 70 учебников по таким дисциплинам как «Теория управления», «Теория оптимизации», «Дискретная математика», «Системный анализ», «Дифференциальные уравнения», «Линейная алгебра и аналитическая геометрия» и др.

В последние годы инструментарий кафедры пополнился ещё одним универсальным средством создания электронных учебников — программным продуктом TBBuilder 2. Данная среда позволяет создавать электронные пособия и обучающие курсы по прикладным математическим дисциплинам, содержащие сведения по теории дисциплины, демонстрационные примеры решения типовых задач, модули решения типовых задач с пошаговым контролем правильности решения и контроля знаний. С помощью TBBuilder 2 был создан, например, электронный учебник по одному из разделов курса «Математический анализ» — «Интегральное исчисление. Неопределенный и определенный интегралы» .

Наконец, совсем недавно Центр Открытого Образования МАИ приобрел право лицензионного использования на АС ДО «ДОЦЕНТ», которая представляет собой комплекс высокоэффективных программно-методических средств дистанционного обучения, переподготовки и тестирования слушателей, основанный на сетевых технологиях и современных методиках образования на базе компьютерных обучающих программ и тестирующих систем. Использование этой системы предоставляет возможность создавать обучающие курсы по техническим и гуманитарным дисциплинам. Применение ее в сфере математических дисциплин теоретически обосновано, но на практике математические обучающие курсы в ней не создавались.

Для реализации поставленной задачи было использовано средство разработки компьютерных обучающих и контролирующих программ «Униар Билдер 2002», входящее в комплектацию АС ДО «ДОЦЕНТ». Это позволило не только выполнить задачу создания системы тестирования, но и внести определенный вклад в развитие проекта по развитию дистанционного образования «Центра Открытого Обучения» МАИ.

3.2 Система " Униар Билдер 2002"

Курсы и тесты, подготовленные в программной среде «Униар Билдер 2002», могут работать автономно в режиме Windows-приложений или в виде Java-аплетов, встроенный в HTML-страницу, в том числе в составе Автоматизированной Системы Дистанционного Обучения «ДОЦЕНТ». При работе в составе системы «ДОЦЕНТ» протокол работы тестов записывается в базу данных системы и становится доступным преподавателю.

Обучающий курс, созданный с помощью «Униар Билдер 2002», состоит из разделов. Курс в целом имеет название, оглавление и общие параметры курса. Оглавление состоит из названий разделов. Раздел представляет собой последовательность связанных между собой экранов. Каждый экран связан с двумя другими экранами — следующим за данным и предыдущим.

Экран раздела курса может быть информационным или содержать тестовый вопрос, предполагающий ответ обучаемого. Тестовые вопросы (и соответствующие им типовые экраны — шаблоны) формируются на основании следующего перечня:

· выбор одного варианта ответа из нескольких возможных (Один из нескольких)

· выбор правильных ответов из предложенного списка (Много из нескольких)

· ввод эталонной строки текста (Эталонная строка)

· ввод модели строки текста (Модель строки)

· ввод формулы из латинских, греческих и векторный символов (Формула)

· выбор одной из заданных областей (Ожидание щелчка)

· ожидание ввода числа (Ответ — число)

· сборка объекта из составляющих (Сборка чертежа)

· указание последовательности объектов (Указание порядка)

· указание соответствия объектов (Указание соответствия)

· коррекция ошибок в многострочном тексте (Коррекция ошибок в тексте)

· векторная графика (Вектор)

· рисование заданного графика (График)

· перемещение объекта по экрану (Перетаскивание)

· выбор областей

· выделение текста

Все экраны группируются в файлы сценария c расширением «.atv». «Униар Билдер 2002» содержит в своем составе интерпретатор, который последовательно или с помощью случайной выборки выполняет экраны разделов файлов сценария и выводит результаты в виде графических образов на экран с подключением звуковых файлов. При выполнении в режиме Java-аплета файл сценария, для сокращения времени подкачки по сети Интернет, запаковывается в «ZIP» архив, а графический материал переводится в «GIF» формат. Пакет Java-классов Uniar2002 последовательно или с помощью случайной выборки выполняет экраны разделов файлов сценария и выводит результаты в виде графических образов на HTML страницу. По окончанию времени тестирования или по инициативе обучаемого формируется протокол тестирования и пересылается в базу данных АС «Доцент» .

Рассматривая конструктор учебных курсов «Униар Билдер 2002», необходимо особенно отметить функциональные средства данной программной среды, благодаря которым стала возможной реализация поставленной задачи.

Наличие разных режимов тестирования дает возможность осуществлять как обучение тестируемого, так и контроль его знаний. В зависимости от целей, преследуемых преподавателем: научить решать практические задачи или проверить, в каком объеме студенты освоили пройденный материал — каждому тестирования задаётся в настройках режим запуска, тем самым преподаватель может регламентировать свободу действий обучаемого, объем разрешенного справочного материала.

Каждый из вопросов может быть снабжен подсказками или файлом дополнительной помощи, а весь курс в целом — словарем терминов, доступных студенту в режиме обучения. Данная функция позволяет расширить тестирование справочными, которые:

· могут понадобиться при решении расчетных задач;

· могут послужить иллюстрацией теоретических построений.

Причем, система подключения дополнительной информации к тестированию рассчитана таким образом, что достаточно включать только реально необходимое количество справочных данных. В слишком обширных справочных данных трудно ориентироваться, а недостаток данных, необходимых для решения задач, может вызвать многочисленные вопросы или длительные поиски нужных сведений в специальной литературе, что, в конечном счете, скажется на качестве обучения.

Создателю теста предоставлена возможность задавать направление обучения посредством реализации переходов между вопросами по правильному и неправильному ответу, создавая тем самым нелинейные сценарии тестирования.

Расширение текстов вопросов и помощи гиперссылками позволяет организовать связь между разделами курса, обеспечивая интерактивность в процессе обучения.

Ведение протокола тестирования — дополнительная помощь в оценке знаний и возможность проведения удаленного тестирования. Анализируя результаты тестирования, преподаватель может следить за тем, какие из разделов усвоены в полной мере, а какие требуют дополнительной проработки.

4 РАЗРАБОТКА СИСТЕМЫ ТЕСТИРОВАНИЯ

После анализа поставленной задачи была разработана технологическая схема создания системы тестирования (см. рис 1).

Рисунок 1. Технологическая схема создания системы тестирования.

Согласно представленному алгоритму сначала были изучены принципы, методы и средства построения компьютерных обучающих программ, методология подготовки учебных материалов, описанная в предыдущей главе, и проанализированы календарные планы по предмету «Математический анализ» для студентов первого курса факультета экономики и менеджмента. На основании полученных результатов были сформированы требования к системе создаваемой системе тестирования, которые заключались в следующем:

· Полнота (В системе должны быть представлены все типы задач, подкрепленные необходимыми ля их решения теоретическими сведениями);

· Универсальность (Системы должна содержать как обучающий модуль, так и проверочные тесты с тем чтобы обеспечить не только тренировку навыков решения задач, но итоговый контроль знаний);

· Интерактивность;

· Гипертекстовая структура (быстрота и удобство переходов от раздела к разделу);

· Модульная структура (логическое разбиение системы тестирования на модули и элементы, каждый из которых соответствует отдельной теме или одно из видов тестирования);

· Мобильность (независимость итогового тестирования от программного обеспечения, установленного на компьютере у конечного пользователя — то есть возможность запуска на любом удаленном локальном компьютере или в сети учебного класса);

· Масштабируемость (возможность дальнейшего развития или настройки отдельных параметров в зависимости от потребностей преподавателя);

С учетом данных требований была разработана технологию компьютерного тестирования по указанному курсу.

В процессе разработки принимались во внимание следующие особенности обучению математическим дисциплинам:

· студенты, приступающие к изучению дисциплины, имеют разную математическую подготовку;

· при изучении каждой последующей темы требуются знания, полученные при изучении предыдущих тем;

· решение ряда задач состоит из многих этапов;

· ответы к практическим задачам содержат математическую символику и инварианты относительно формы записи.

С учетом разработанной технологии была реализована система тестирования. Функциональное назначение данной системы заключается согласно постановке задачи в обучении навыкам решения задач по курсу «Математический анализ» с последующим контролем полученных знаний. Элементы системы тестирования могут служить в качестве и обучающих курсов, и лабораторных и контрольных работ.

Следует отметить отдельно, что результатом исследования программной среды «Униар Билдер 2002» и последующей работы в ней явилась не только система тестирования, но и список замечаний и пожеланий к следующей версии данного продукта, основанный на некоторых недостатках версии текущей, среди которых можно, например, упомянуть такие:

· Текст вопроса не позволяет задать в вопросе формулу, что можно было бы скомпенсировать добавлением функции вставки картинки после текста (ниже текста).

· Среди специальных символов нет таких символов, как фигурная скобка (знак системы функций), (знак предела функции), корень n-ой степени.

· Редактирование текста в информационных окнах сопряжено с большими трудностями. Не предусмотрена работа со стандартным для операционной системы MS Windows набором «горячих» клавиш для таких команд, как выделение текста, копирование, вставка. Сами по себе функции правки текста работают не корректно в ряде случаев: например, при изменении цвета или шрифта одного из слов — меняются соответствующие характеристики соседнего, аналогично с «вырезанием текста». При переходе на новую строку не соблюдается одинаковая величина отступов первой строки абзаца.

· В таблицах отсутствуют стандартные для операционной системы MS Windows функции:

— Изменение ширины выбранного столбца;

— Автоподбор ширины по содержимому выбранного столбца или всех столбцов таблицы;

— Сортировки таблицы по возрастанию/убыванию значений любого из столбцов;

— Группировки строк таблицы по значениям любого из столбцов;

— Фильтрации по заданному значению любого из столбцов.

· После редактирования вопроса и сохранения изменений система добавляет в варианты ответов «лишние» переводы строк — нарушается единый стиль оформления тестовых заданий.

· Отсутствует возможность печати тестовых задания, так как при переводе теста в текстовый формат все формулы, представленные изображениями указываются именами файлов.

· В протокол тестирования не записывается:

— Время выполнения каждого вопроса — было бы интересно проследить за действиями обучаемого, так как это дает дополнительную информацию при анализе полноты полученных знаний (много времени потрачено на задачу — возможно, материал по данной теме усвоен плохо),

— Количество попыток ответить на каждый из вопросов — так как тестирования в режиме самоконтроля позволяют свободное перемещение по задачам и неограниченное число попыток при ответе на вопросы, преподавателю следует быть в курсе, сколько попыток тратил обучаемый на поиск правильного ответа к поставленной задаче.

5 Технология использования СИСТЕМЫ ТЕСТИРОВАНИЯ

Схематично состав и структуру созданной системы тестирования можно представить следующим образом:

Рисунок 2. Структура системы тестирования.

Как видно из схемы, сама системы тестирования состоит из элементов, которые представляют собой отдельные тесты и могут быть объединены по двум критериям:

· тематика заданий, включаемых в данный раздел;

· тип и назначение тестирования.

Тематика заданий складывается из следующий разделов курса «Математический анализ» :

· Комплексные числа: определение, алгебраические операции, возведение в степень, извлечение корня, решение уравнений.

· Вычисление пределов функции одной переменной (методы раскрытия основных видов неопределенностей);

· Дифференцирование функции одной переменной (заданных в явной, неявной и параметрических формах);

Более того, внутри каждой из перечисленных тем также существует деление по типам решаемых задач — задания одного вида сгруппированы в разделы теста, что позволяет систематизировать весь объем знаний, предлагаемый студенту, и облегчить навигацию внутри тестирования. Преподавателю же такое деление дает возможность более точно оценивать степень усвоения того или иного раздела курса и давать рекомендации по повторению отдельных тем, если обучаемый допускает ошибки при решении соответствующих задач.

Так, например, раздел, посвященный вычислению пределов функции одной переменной, содержит следующие подразделы:

· Общие принципы вычисления пределов;

· Задачи, содержащие иррациональность;

· Первый замечательный предел и его следствия;

· Второй замечательный предел.

Аналогично деление имеют все остальные разделы системы тестирования.

По типу тестирования системы разделяются на обучающие и контролирующие, что соотносится с методологией построения учебных курсов и обеспечивает, с одной стороны, всестороннее изучение студентом предлагаемого материала, а с другой стороны, закрепление полученных знаний и их проверку.

Обучающие тесты в каждом из своих подразделов содержат набор заданий по соответствующей теме. Каждое из заданий поделено на несколько вопросов (экранов теста), предоставляя тем самым студенту возможность пошагового решения задачи согласно изучаемому алгоритму. Задания составлены так, что каждый следующий вопрос задачи содержит результаты, полученные при ответе на предыдущий, что согласуется с принципами поэтапного решения математических задач. Кроме того, проходя обучающий тест, студент имеет возможность свободно перемещаться между экранами теста, то есть возвращаться к вопросам, на которые он уже давал ответ, сверяясь тем самым с ходом решения поставленной задачи. Система же тестирования при прохождении студентом теста даёт указания: правильно или неправильно студент ответил на текущий вопрос.

В целях более успешного и быстрого освоения учебного материала часть вопросов в обучающих тестах сопровождается подсказками. К одному экрану теста может быть прикреплена целая цепочка подсказок, а в ряде вопросов предусмотрена ссылка на внешний файл помощи. В помощи зависимости от темы тестирования содержатся необходимые для решения поставленной задачи базовые теоретические сведения, например, таблица производных, если речь идет о дифференцировании или алгоритм вычисления предела, содержащего иррациональное выражение в подпредельной функции.

5.1 Руководство по использованию (преподаватель)

Каждый учебный курс представляет собой файл с расширением *.atv, который открывается для просмотра и редактирования в среде «Униар Билдер 2002». Кроме того, все элементы доступны для автономного запуска без применения «Униар Билдер 2002». Преподаватель может воспользоваться любым вариантом; подробно остановимся на первом, который подразумевает предварительную настройку отдельных параметров теста перед запуском его для студентов.

После открытия сценария тестирования (файл *.atv) в «Униар Бидлер 2002», необходимо вызвать «Параметры теста» (кнопка на панели инструментов) — появляется электронная форма с параметрами теста:

Рисунок 3. Окно настроек параметров тестирования.

Тест в целом имеет следующие параметры:

· Время выполнения теста в минутах

· Количество выбираемых разделов — при случайной выборке из общего количества разделов случайным образом выбирается заданное этим параметром количество разделов.

· Режим тестирования (отладки) — возможны три варианта.

— 1 — строгое тестирование. На предыдущий вопрос вернуться нельзя, пока не дан ответ на текущий вопрос нельзя перейти на следующий. Данный режим рекомендуется использовать для контроля.

0 — строгое тестирование без подсказок. Допускается пропускать вопросы и последующий возврат к ним.

1 — тестирование с выдачей сообщений о результате проверки предыдущего вопроса в момент перехода на следующий вопрос: выводится надпись «правильно», если ответ на предыдущий вопрос правильный. При неправильном ответе на вопрос выводится надпись «неправильно». При значении коэффициента отладки, равном или меньшем нуля, никакая надпись не выводится. Данный режим рекомендуется использовать для обучающий разделов.

· Работа над ошибками разрешена — предполагает прикрепление к каждому экрану файла, который может быть вызван обучаемым в режиме обучающего тестирования в качестве дополнительной помощи или подробного разъяснения изучаемого материала. Обычно это Word документ, HTML документ или картинка в JPEG, GIF, PNG формате. При установке файла на навигационной панели появляется кнопка (Помощь). При щелчке по этой кнопке в отдельном окне навигатора вызывается файл помощи. При использовании данного файла помощи баллы не вычитаются, т. е. это бесплатная помощь обучаемому. Она, как правило, ссылается на страницы учебников по тематике текущего теста.

· Распределение оценок — задается в интервале от 0 до 100. В соответствии с пятибальной системой делится на пять областей, соответствующих оценкам 1, 2, 3, 4, 5. Нижняя граница для оценки определяет степень выполнения теста, при которой тест будет считаться выполненным. После завершения выполнения теста обучаемому выдается экран общих результатов выполнения тестов (см. Приложение 5). На этом экране в виде диаграмм выдаются суммарные результаты выполнения теста. На диаграмме нарисован необходимый проходной балл (в процентах), заданный в общих параметрах теста разработчиком теста, и полученный обучаемым балл. В данном примере полученный балл превосходит проходной балл, поэтому тест считается успешно пройденным. Кроме суммарных баллов выводятся диаграммы выполнения каждого раздела в отдельности. Таким образом, преподаватель или студент (при самостоятельном обучении) может следить за тем, какие из разделов усвоены в полной мере, а какие требуют дополнительной проработки.

· Оценка тестирования — параметр может принимать три значения: «По проходному баллу», «По пятибалльной системе», «По 100 балльной системе». При значении «По проходному баллу», если набранное обучаемым количество баллов больше заданного разработчиком курса проходного балла выводится сообщение о том, что тест пройден, без выставления оценки.

Кроме того, преподаватель имеет возможность указать тип желаемого протокола и настроить вид навигационной панели.

5.2 Руководство по использованию (студент)

При выполнении готового теста обучаемый перемещается по сценарию с помощью стандартной навигационной панели, расположенной в верхней части окна теста:

Рисунок 4. Пример навигационной панели.

Навигационная панель содержит следующую информацию:

· название теста: «Нахождение пределов функций одной переменной» в нашем примере,

· перечень разделов теста с указанием текущего (в черной рамочке), при щелчке по прямоугольнику раздела студент попадаете на первый вопрос этого раздела.

· название текущего раздела: «2. Первый замечательный предел и его следствия», например;

· вопросы текущего раздела — При щелчке по прямоугольнику вопроса Вы попадаете на соответствующий этому номеру вопрос.

В правой части навигационной панели находится кнопка — закончить обучающее тестирование по инициативе обучаемого. В контрольных же тестах кнопка «Закончить» не завершает тестирование пока не предприняты попытки ответить на все вопросы. Если есть вопросы, на которые студент ни разу не отвечал, то кнопка «Закончить» будет просто возвращать на вопрос, на который тестируемый еще ни разу не отвечал.

Ниже расположен таймер на котором высвечивается оставшееся время тестирования. По истечении этого времени выполнение теста автоматически прекращается, система проверяет ответы на все вопросы и демонстрирует результаты прохождения теста: оценка за выполнение и протокол тестирования.

Для последовательного перемещения по вопросам теста предназначены кнопки в правой части навигационной панели:

· - в ответе на текущий вопрос уверен (перейти на следующий вопрос);

· - в ответе на текущий вопрос не уверен (перейти на следующий вопрос);

· - ответ на текущий вопрос не знаю (перейти на следующий вопрос).

При щелчке по каждой из кнопок, прямоугольник вопроса окрашивается в цвет данной кнопки. Таким образом, обучаемый наглядно видит, как он отвечал на вопросы текущего раздела теста. Аналогично окрашиваются прямоугольники разделов теста.

Если обучаемый выполнил все разделы теста, а время тестирования не закончилось, то он может целенаправленно возвращаться к вопросам разделов, отмеченным кнопками «не знаю» и «не уверен» и повторно отвечать на эти вопросы. Таким образом, обучаемый может по собственному усмотрению строить тактику ответа на вопросы теста.

Кнопка позволяет вызвать калькулятор в любой момент выполнения теста. Кнопка вызывает меню греческих букв и математических символов, если вопрос имеет тип «Формула». Экраны помощи вызываются один за другим с помощью кнопок навигационной панели: (перейти на следующий уровень помощи), (перейти на предыдущий уровень помощи). Если помощь не предусмотрена, то данные кнопки отсутствуют.

Кнопка расширенной помощи для работы над ошибками, расположена справа на навигационной панели: она появляется, только если файл помощи фактически предусмотрен. После щелчка по этой кнопке файл помощи появляется в отдельном окне навигатора. При вызове другого файла помощи, новый файл будет заменять старый в этом же окне навигатора.

В зависимости от типа задаваемого вопросы обучаемому нужно произвести следующие действия для указания правильного ответа на него:

· «Один из нескольких» — обучаемый должен определить правильный вариант ответа и щелкнуть по тексту или картинке правильного варианта ответа. Система отмечает выбранный вариант ответа значком

· «Много из нескольких» — обучаемый должен определить несколько правильных вариантов ответа и щелкнуть по тексту или картинке этих вариантов ответа. Система отмечает выбранные варианты ответа значком .