Методическое оснащение. 
Современные образовательные технологии

Методическое оснащение должно решать одну из основных задач объективности получаемых при тестировании результатов — обеспечивать одинаковость условий для всех испытуемых.

Методическое оснащение включает в себя две части — сведения, которые необходимо знать пользователю теста об инструменте, и указания, содержащие правила предъявления теста испытуемым.

Сведения для пользователей оформляются в виде спецификации. Она обязательна для тестов, предназначенных для внешнего использования. В ней излагается:

• · классификационная характеристика теста (назначение и психолого-педагогическое содержание);
• · ограничения и показания для применения;
• · состав теста;
• · описание существующих форм и модификаций;
• · ссылка на апробацию теста;
• · ключи;
• · правила обработки данных;
• · устройство шкал;
• · данные о надёжности и валидности;
• · правила интерпретации результатов.

Требования к процедуре проведения должны быть зафиксированы в инструкциях для исследователя (ведущего).

Требования к формальной стороне процедуры проведения могут быть следующие:

• · обеспечение инструментарием в необходимых количествах в случае, когда используются простые материалы: карандаши, ластики, ручки, фломастеры (необходимо иметь их полуторакратный запас);
• · наличие столов и стульев в количестве, необходимом для проведения исследования, в соответствии с инструкцией по проведению;
• · размещение столов и стульев таким образом, чтобы к каждому испытуемому было удобно подойти;
• · обеспечение удобного места за столом для каждого испытуемого путём подбора оснащённого мебелью помещения необходимых размеров;
• · оборудование места с максимальным обзором для экспериментатора и, если это необходимо, для наблюдателя.

Особое место среди факторов, влияющих на индивидуальную и групповую работоспособность испытуемых, занимает время проведения теста и характер деятельности учащихся до тестирования. Наиболее благоприятно время с 9 до 12 или с 16 до 18 часов. Поскольку речь идёт о тестах учебных достижений, то наиболее приемлемо время второго или третьего урока первой смены. Авторы тестов могут потребовать не проводить тестирование после занятий физической культурой и спортом.

При организации проведения тестов важно учитывать ситуативные отвлекающие факторы. К ним относятся: шумы (с улицы, из других частей здания, радиои телетрансляции и т. п.), звонки, стук, звук шагов, гудение неисправных ламп дневного света, запах (пищи, краски и пр.), мигание света, неопрятность столов, помещения и т. д. Непосредственная подготовка к проведению теста заключается в проверке состояния помещения, его оснащения, пригодности для размещения испытуемых, а также устранении или уменьшении ситуативных отвлекающих факторов и проверке наличия, состояния и размещения тестовых установок и материалов.

Наиболее рациональным способом формализации процедуры проведения является написание сценария проведения.

Сценарий проведения исследования в общем виде должен включать в себя следующие необходимые сведения, которые могут сообщаться испытуемым (в зависимости от условий тестирования что-то может быть сокращено или добавлено):

• 1. Объяснить, зачем нужен тест, какие результаты ожидаются.
• 2. Объяснить, почему испытуемые должны приложить максимум усилий для его выполнения, акцентировать внимание испытуемых на возможности проверки своих сил или подчеркнуть соревновательный мотив. Отметить, что слишком сильная мотивировка, равно как и слишком слабая, в одинаковой степени негативно сказывается на результативности выполнения задания.
• 3. Медленно, громко, чётко, без запинок, естественным голосом прочесть инструкцию к тесту с примерами, если они имеются. В данном случае возможен вариант, когда испытуемые самостоятельно следят по своим вариантам текста за инструкцией. При таком порядке возможно воспроизведение инструкции по памяти.
• 4. Дать возможность испытуемым потренироваться, решив самостоятельно одну или более из задач-образцов, если таковые имеются; проверить, правильно ли понята инструкция.
• 5. Сообщить о временном ресурсе, о правилах исправления допущенных ошибок, о том, чего не рекомендуется делать при решении задач, к кому обращаться в случае возникновения вопросов.
• 6. Вместе с испытуемыми или самому записать, если требуется, паспортные и биографические данные в регистрационных бланках. Проследить за правильностью их заполнения.
• 7. Ответить на имеющиеся вопросы.
• 8. Дать команду начать решение задач теста. Время начала записать самому или попросить сделать это испытуемых на регистрационном бланке.
• 9. Во время решения задач или ответов на вопросы следить:
  • — за временем решения, если это необходимо;
  • — за наличием отточенных карандашей и других материалов;
  • — за правильностью заполнения паспортной части регистрационных бланков (если замечена ошибка, своевременно её устранить);
  • — за тем, чтобы испытуемые не писали на тестовых брошюрах, если иное не предусмотрено, не портили тестовых установок и приборов;
  • — за тем, чтобы соседи не общались между собой, не шептались, не мешали друг другу, не подглядывали друг у друга;
  • — за состоянием испытуемых;
  • — за тем, чтобы испытуемые своевременно получали ответы на вопросы, связанные с процедурой проведения (ответы не должны служить подсказкой для решения или нарушать указания инструкции, возможные варианты ответов должны быть предусмотрены).
• 10. После сигнала к окончанию решения задач теста при групповом проведении дать команду сложить брошюры и бланки для ответов в исходное положение или самому собрать их (если участвует не более 30 человек). Если участников тестирования больше 30, то рекомендуется попросить всех оставаться на своих местах, чтобы облегчить сбор материала. Затем попросить передать в начало или конец колонки (ряда) тестовые материалы в следующем порядке: бланки для ответов, брошюры, черновики. После этого пересчитать количество бланков и брошюр, проверить, чтобы их количество совпадало с числом испытуемых.
• 11. По окончании тестирования просмотреть все брошюры и стереть пометки на них. Если это невозможно — брошюры следует уничтожить.

Кроме этого, сценарий должен предусматривать процедуру приветствия и благодарности за выполненную работу, действия экспериментатора с опоздавшими учащимися, реакцию на просьбы учеников временно покинуть место проведения тестирования, ответы на наиболее часто встречающи|еся вопросы и некоторые другие процедурные вопросы (по усмотрению авторов). Для всех тестов учебных достижений, предназначенных для внешнего использования, обязательна фиксация требований к ведущему тестирование. Проводить тестирование может только специально подготовленный человек. Он должен удовлетворять определённым профессиональным и личностным требованиям:

• · быть в зафиксированном статусе в отношении к ученикам: это должен быть педагог преподающий предмет, по которому проводится испытание, завуч, работающий или не работающий в данном классе, педагог иной школы и т. п.;
• · должен уметь контролировать себя, быть эмоционально уравновешенным, общительным, тактичным;
• · должен понимать задачи эксперимента, быть компетентным в проведении теста, а если ему предстоит обработка результатов — то и в оценивании результатов.

Значительные возможности по стандартизации процедуры проведения тестирования даёт институт наблюдателей.

Наблюдатель — лицо, фиксирующее процедуру проведения и соответствие действий ведущего (исследователя) сценарию тестирования. Наблюдателю запрещается вмешиваться в процесс тестирования. Присутствие наблюдателя, несомненно, удорожает проведение исследования, однако достигаемый при этом значительный выигрыш в качестве компенсирует все дополнительные затраты: ведь в случае некачественного проведения все усилия могут оказаться напрасными. Наблюдатели могут присутствовать не на всех процедурах тестирования, но сама возможность их присутствия в значительной степени дисциплинирует исследователей.

Присутствие наблюдателей позволяет сравнить качество проведения тестирования у разных ведущих, а также в тех группах, где присутствовал наблюдатель, и там, где он не присутствовал. Особенно важно присутствие наблюдателя на этапе апробации инструментария, поскольку он даёт возможность собрать материал для дальнейшей работы над инструментом.

Деятельность наблюдателя заключается в заполнении анкеты наблюдателя, в которой, кроме фиксации времени и оценки правильности выполнения ведущим пунктов сценария, должны присутствовать вопросы по оценке поведения учащихся, корректности поведения ведущего, неординарных случаях. Институт наблюдателей предполагает наличие инструкции по использованию анкеты наблюдателя. В ней должны содержаться сведения о том, при каких нарушениях процедуры, зафиксированных наблюдателем, результаты тестирования могут быть аннулированы.

6.7 Памятка для учителя (о составлении тестовых заданий) Оценка качества заданий.

Для оценки качества заданий применяются такие характеристики, как трудность задачи, коррекция на угадывание и дискриминативность.

Трудность задачи определяется долями выбора, решивших и не решивших задачу. Например, если задачу решили только 20% участников тестирования, то ее можно оценить как трудную для данных испытуемых, если 80% - как легкую.

Трудность задачи позволяет определить место задачи в тесте. Так, если задачу решает большинство испытуемых, то ее помещают в начале, если с задачей справляется незначительный процент, то ее, как трудную, располагают в конце теста.

Основным показателем трудности является индекс трудности, который для задания со свободно конструируемым ответом рассчитывается по следующей формуле:

V=100 x (1-),.

где V — индекс трудности в процентах;

n — число испытуемых, правильно решивших задачу, N — общее количество испытуемых.

Задания, которые имеют значения показателя трудности больше 80 или меньше 20, как правило, в тест не включаются.

Дискриминативность задачи определяется как способность отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл. Для ее определения применяется индекс дискриминации. Он вычисляется следующим образом:

Предположим, N-ое количество студентов выполнили тест.

Расположите выполненные работы в соответствии с количеством очков, полученных за выполнение теста (например, в порядке убывания).

Отберите примерно количества работ с наибольшим количеством очков и назовите это количество высокопродуктивной группой, выберите такое же число работ с наименьшим количеством очков и назовите это низкопродуктивной группой.

Определите в той и другой группе количество студентов, правильно выполнивших задание.

Определите индекс дискриминации D по следующей формуле:

D=(Np верх/N верх) — (Np ниж/N ниж),.

где Np — количество справившихся с задачей испытуемых,.

N — общее количество испытуемых в крайних группах.

Индекс дискриминации может принимать значение от -1 до +1.

Индекс, близкий к -1, свидетельствует о непригодности задачи для теста. Если значение D близко к 0, то задачи должны рассматриваться как некорректно сформулированные. Индекс, близкий к 1, является показателем того, что задача хорошо разделяет испытуемых с высокими и низкими результатами по тесту.

ПРИМЕРЫ ТЕСТОВЫХ ЗАДАНИЙ.

1. Задания с выбором правильного ответа:

Задания с двумя ответами:

СЛОВА, ПРОТИВОПОЛОЖНЫЕ ПО ЗНАЧЕНИЮ, НАЗЫВАЮТСЯ.

• 1. антонимы
• 2. синонимы

Задания с двумя ответами лучше всего применять для экспресс-диагностики, при которой точность измерения менее важна, чем быстрота.

Задания с пятью ответами:

Самый распространенный принцип формулирования задания — принцип классификации, при котором к каждому утверждению подбираются ответы, исключающие один другой с точки зрения правильности.

АВТОРОМ ПЬЕСЫ «ТРАМВАЙ ЖЕЛАНИЕ» ЯВЛЯЕТСЯ.

• 1. Миллер
• 2. Уайльд
• 3. Уильямс
• 4. Моэм
• 5. Кокто
• 2. Задания открытой формы применяются там, где нужно полностью исключить вероятность получения правильного ответа посредством угадывания и тем самым повысить качество педагогического измерения.

В ПРЕДЛОЖЕНИИ КРАТКОЕ ПРИЧАСТИЕ ВЫПОЛНЯЕТ ФУНКЦИЮ _______________.

3. Задания на установление соответствия:

ПИСАТЕЛИ ПРОИЗВЕДЕНИЯ.

• 1. Л. Н. Толстой А. Игрок
• 2. Достоевский Б. Обрыв
• 3. Гончаров В. Фрегат «Паллада»
• 4. Тургенев Г. Холстомер

Д. Пролог Е. Дым Ж. Дворянское гнездо З. Братья Карамазовы Рекомендуется, чтобы число элементов правого столбца было примерно в два раза больше числа элементов левого.

Основная сфера применения — текущий и тематический контроль.

4. Задания на установление правильной последовательности: Алгоритмизация деятельности важна на всех этапах обучения, но ее роль особо проявляется на заключительной стадии профессиональной подготовки и в процессе самой профессиональной деятельности. Задания рассматриваемой формы важны и для проверки системы знаний там, где ведущим системообразующим признаком знаний является упорядоченность элементов.

ЖАНРЫ В ИСТОРИЧЕСКОЙ ПРЕЕМСТВЕННОСТИ.

[ ] - новелла.

[ ] - трагедия.

[ ] - путешествие.

[ ] - роман-эпопея.

[ ] - былина.

[ ] - проповедь.

[ ] - ода.

[ ] - поэма.

[ ] - исповедь.

[ ] - роман Общую оценку можно дифференцировать в зависимости от места ошибки. Если первое событие будет определено неправильно, то неправильно будут определены и другие. И наоборот, ошибка, допущенная в последних элементах задания, не влияет на правильность ответов в первоначальных событиях. Отсюда: безошибочное решение — 3 балла, ошибка в конце задания — 2 балла, ошибка в середине — 1 балл, ошибка в начале — 0 баллов за работу.

Задания на установление правильной последовательности реализуют две функции тестов — контролирующую и обучающую.

Одной из особенностей современной тестовой технологии является создание на базе одного задания любой формы фасетного, или множественного задания. Это означает, что проверка знания признаков, свойств, состава, функций однотипных объектов может быть организована одним и тем же заданием, меняющим в своем тексте только название этих объектов. В заданиях закрытой формы это может выглядеть так:

ТИП ПИТАНИЯ У (РАСТЕНИЙ, ЖИВОТНЫХ, ГРИБОВ).

• 1. Автотрофный
• 2. Гетеротрофный
• 3. Затрудняюсь ответить

Объекты, помещенные в скобки, образуют многовариантность (три задания из одного). При построении каждого отдельного задания текст вне скобок повторяется. Если таких заданий в тесте много, это дает возможность создать бесконечное множество вариантов одного теста.

Этапы создания тестового инструментария Определение целей тестирования.

Отбор содержания учебного материала.

Составление тестовых заданий.

Компоновка заданий для апробации.

Апробация тестовых заданий.

Определение и расчёт показателей качества тестовых заданий.

Отбраковка заданий и составление теста.

Апробация теста.

Определение и расчёт показателей качества теста.

Составление окончательного варианта теста.