Актуальность исследования.
Настоящий этап социально-экономического развития характеризуется значительным ростом числа компаний, ориентированных на долгосрочное сотрудничество с персоналом и, как следствие, вкладывающих существенные средства в профессиональное развитие и обучение сотрудников. Одним из важнейших направлений становятся проблемы оценки уровня профессиональной компетентности, уровня подготовленности к решению профессионально специфичных задач, эффективности профессионального обучения, а также выявление пробелов в знаниях у начинающих профессионалов и их своевременное доучивание при помощи различных методов и приемов (Смирнов, 2005). Одной из частных, но в то же время ключевых и фундаментальных задач, является внедрение комплексных технологий (в ряде случаев ориентированных на среду Интернет), целью которых является повышение качества подготовки специалиста еще на этапе обучения в профессиональных учебных заведениях.
С начала 90-х годов в российской системе высшего профессионального образования наблюдается ярко выраженное усиление интереса к методам объективного (инструментального) контроля результатов обучения, в частности к педагогическим тестам. Эти перемены являются отражением современных мировых взглядов на роль контрольно-оценочной системы в образовании, когда контроль, оценка и обучение рассматриваются как взаимосвязанные и взаимопроникающие составляющие единого образовательного процесса (Звонников, Челышкова, 2003).
Эти перемены имеют также в качестве одной из причин массовую компьютеризацию (активное внедрение Интернет-технологий) образовательных учреждений, а также «корпоративных университетов» -систем профессиональной переподготовки кадров внутри современных корпораций. Этот процесс создает материально-технические предпосылки для использования стандартизированных процедур (тестов) как средства автоматизации системы контроля. Прикладное применение тестов профессиональных достижений затрагивает в настоящее время не только вузы, но и крупные производственные предприятия, вынужденные в условиях научно-технической революции постоянно заниматься процессами переподготовки персонала и самим осуществлять контроля качества переподготовки. Развитие непрерывного образования выражается в постоянной работе профессионала над своими профессиональными знаниями. Тесты профессиональных достижений в этих условиях являются одним из основных инструментов для объективной обратной связи об эффективности результатов этого непрерывного образования.
В последние два десятилетия в России тестовые технологии контроля достигли масштабов таких широко-известных общефедеральных государственных проектов как Единый государственный экзамен (ЕГЭ) для выпускников учреждений среднего образования и поступающих в вузы. Но и на уровне отдельных образовательных учреждений (отдельных школ и вузов), а также на уровне отдельных дисциплин тестовые технологии внедряются очень интенсивно. Это, по-видимому, обусловлено несколькими факторами, к числу которых можно отнести: а) переходом России к рыночной экономике, в рамках которой востребованы более объективные и одновременно более дешевые по реализации процедуры контроля за уровнем подготовки профессиональных кадров, б) глобальной микрокомпьютерной революцией и значительным ростом числа пользователей (как отдельных лиц, так и целых сообществ), использующих для решения профессиональных задач среду Интернет, позволяющей значительно ускорить и автоматизировать многие этапы разработки и применения тестовых технологий.
Вместе с тем данные процессы — процессы внедрения тестовых технологий — еще не стали в отечественной психологии предметом систематического изучения не только со стороны психометрической (математико-психологической теории измерений), но и со стороны инженерно-психологической (что требует изучение психологии пользователей тестовых технологий) и со стороны организационно-психологической составляющей (что требует изучение социально-психологических факторов и барьеров на пути внедрения).
В сфере российского образования усиление интереса к методам объективного контроля результатов обучения, в частности к педагогическим тестам, сопровождается главным образом усилиями небольшой группы тестологов по «ликвидации тестологической безграмотности» педагогических работников: в системе Минобразования и науки РФ в 2003 году создается Федеральный Институт Педагогических Измерений (ФИЛИ), учреждаются кафедры педизмерений (в таком вузе как РУДН). После известного постановления ЦК ВКБ (б) от 1936 года упущено фактически полвека в процессе формирования определенной базовой тестологической культуры. Нет сколько-нибудь единых представлений о базовых понятиях и процедурах в этой области. Отсюда возникает риск новых нарушений и извращений в ходе применения метода тестов, которые уже однажды в эпоху Советской России привели к негативной реакции на этот метод не только на уровне правящей верхушки, но и у массы российских работников образования.
В последние годы в обширной психолого-педагогической литературе все чаще акцентируется внимание на трудностях и проблемах, связанных с оценкой знаний: недостаточная сформулированность целей образования и, следовательно, критериев оценки, субъективизм производящего оценивание, отсутствие четких критериев, по которым производится оценка, и т. п. Попыткам решения с разных позиций этих проблем посвящены многие работы психологов, педагогов, методистов (Аванесов, 1998; Гильбух, 1976; Зинченко, 1982; Клайн, 1994; Майоров, 2000; Талызина, 1975; Шмелев, 1999; Огоп1ип (1, 1988). Однако, сама по себе тестовая технология, даже разработанная по всем правилам математической теории тестов, не снимает ряда психологических проблем. Возникает практическая проблема такой организации информационно-коммуникативной среды в процессе создания и применения тестов, которая бы снимала негативный эффект психологического отчуждения преподавателей (наставников на производстве) от образовательного процесса.
В работах наиболее системно-мыслящих специалистов тестовый контроль рассматривается не как изолированный инструмент, но входит в систему методов контроля — как элемент комплексной оценки качества знаний учащихся (студентов вузов, в частности). Технология комплексной оценки качества знаний студентов включает в себя учет текущей работы студентов, результаты промежуточного и итогового контроля знаний студентов, а также учет степени сохранности полученных знаний через какое-то время после экзамена. Это может быть достигнуто интеграцией как однотипных форм контроля (тестовых), проводимых в течение определенного периода обучения, так и разнотипных форм (в качестве дополнительного средства принятия решения об уровне усвоения знаний).
Одним из актуальных направлений является проблема использования особых сетевых инструментально-измерительных технологий для оценки образовательных достижений учащихся, которая набирает новую высоту в связи, с внедрением Интернета и других информационно-коммуникационных технологий. Новые информационные технологии инициируют развитие новых подходов к технологиям обучения, включая дистанционное образование. Однако неверным было бы предполагать, что информатизация процессов контроля усвоения знаний способна автоматически решить очерченные выше проблемы. Чрезвычайно важным является вопрос разработки четкой и научно обоснованной психолого-педагогической концепции создания и внедрения компьютеризированных тестовых методик контроля знаний.
Тестирование — это быстрый и в зависимости от контекста применения эффективный способ контроля и оценки учебных достижений, позволяющий регулярно проводить мониторинг уровня освоения учебного материала студентами и своевременно обеспечивать необходимое взаимодействие между учащимися и преподавателями, направленное на повышение качества образования. В повседневной практике контроля знаний использование систем тестирования позволяет повысить качество контроля, снизить долю субъективизма в процессе контроля знаний, сократить время для проведения зачетных занятий, повысить заинтересованность студентов в результатах обучения, осуществить на практике принцип единства требований к уровню знаний, получить объективную информацию о владении студентом определенными знаниями, умениями и навыками и соотнести эти данные с задачами обучения для своевременной коррекции процесса усвоения новых знаний. Для успешного внедрения и реального содействия эффективности учебного процесса, по мнению автора данной работы и его научного руководителя, тестовые формы контроля знаний должны не подменять, но дополнять традиционные, сложившиеся формы контроля успеваемости. При этом могут быть достигнуты, как минимум, 3 следующие методические и педагогические цели (Чумаков, 2006):
1) Получение объективных статистических данных о результативности учебных курсов и трудностях в усвоение определенных элементов содержания образования.
2) Повышения мотивации и ответственности в отношении студентов к контролю их образовательных достижений.
3) Совершенствование традиционной схемы приема экзаменов — в случае обнаружения резких расхождений между оценками экзаменаторов и оценкам студентов по тестам следует производить, как минимум, дополнительное устное собеседование экзаменаторов с экзаменуемым по материалам курса.
Учитывая вышесказанное, можно сформулировать следующие условия эффективного внедрения тестового контроля в практику работы образовательного учреждения:
1) Наличие базовой тестологической грамотности педагогического коллектива: преподаватели, использующие эту форму контроля, должны понимать сильные и слабые стороны тестового контроля, знать типологию тестовых заданий и смысл статистических процедур их отбора, понимать устройство тестовых шкал и статистические принципы педагогической диагностики.
2) Наличие адекватного программно-технического обеспечения: современный тестовый контроль требует компьютерной базы и для формирования тестов, и для их проведения, и для хранения их результатов. Не последнюю роль здесь играет создание и внедрение удобных эргономических решений, облегчающих работу непрофессиональных пользователей ЭВМ с тестовыми материалами и результатами.
3) Наличие адекватного организационно-управленческого решения, обеспечивающего разумное сочетание тестового контроля с действующей в той или иной степени налаженной системой оценки образовательных достижений учащихся.
По-видимому, в отсутствие одного из этих трех необходимых компонентов (психометрического, инженерного и организационно-управленческого обеспечения) попытки внедрения тестового контроля обречены на неудачу.
Данный общий тезис изучается в настоящей работе методом социально-практического эксперимента — на опыте внедрения системы тестового контроля в практику работы одного образовательного — факультета психологии МГУ.
Таким образом, к концептуальным вопросам развития сферы образования целесообразно отнести вопрос создания системы компьютерного тестирования, которая бы не отчуждала преподавателей от процесса контроля, но позволяла им активно влиять на образовательный процесс, способствовала эффективному усвоению учебного материала студентами, и использовалась, с одной стороны, преподавателем для промежуточного и итогового контроля знаний и, с другой стороны, учащимся для самооценки уровня подготовленности в процессе самостоятельной работы.
Однако неверно было бы предполагать, что одна лишь информатизация процессов контроля усвоения знаний способна решить очерченные выше проблемы. Чрезвычайно важным являются и вопросы психометрического обеспечения — вопросы разработки четкой и научно обоснованной концептуальной методологической основы для создания тестовых методик контроля знаний, и вопросы организационно-управленческого обеспечениявопросы создания адекватного организационно контекста, позволяющего не только проводить тесты, но и адекватно учитывать их результаты в работе образовательного учреждения. *.
В настоящей работе из указанных трех факторов, обеспечивающих внедрение тестовых технологий, преимущественное внимание уделяется первому фактору. И это не случайно, ибо в отсутствие базовой тестологической культуры, крайне трудно привести в действие два других фактора процесса внедрения тестовых технологий — инженерно-психологический и социально-психологический (организационно-управленческий). Но это не означает, что автор работы не понимает важной роли двух последних факторов. Сама по себе тестологическая (психометрическая) культура создает лишь предпосылку, но не является достаточным условием успешного внедрения тестовой технологии.
Как уже говорилось выше, в условиях интенсивного развития новых информационных технологий (в частности, Интернет-технологий) и стремительного темпа информатизации образования возникает новый комплекс научно-прикладных проблем, связанных с внедрением как известных тестовых технологий контроля знаний, так и принципиально новых методов. В этих условиях в фокусе внимание специалиста, занятого решением прикладной проблемы, должна оказываться не только психометрические (тестологические) аспекты, но и психолого-эргономические аспекты проблемы.
Таким образом, по содержанию решаемых научно-теоретических и научно-прикладных задач данное исследование оказывается на стыках следующих психологических дисциплин: а) общая психология и психодиагностика (разрабатывались тесты знаний именно по этим дисциплинам), б) инженерная психология и психология труда (рассматривались вопросы оптимизации информационных потоков и организации мобильных автоматизированных рабочих мест (АРМ) авторов-экспертов тестовых заданий, проблемы диагностики уровня профессиональных достижений, являющейся одним из этапов оценки квалификации профессионала, вопросы применения различных психодиагностических процедур и методов при оценке уровня профессиональных достижений, организационно-психологические аспекты внедрения тестовой системы контроля в учебно-информационную среду вуза) — в) педагогическая психология (рассматривались вопросы педагогических измерений и оптимизации системы контроля образовательных достижений), г) социальной психологии (рассматривались проблемы мотивации, а также' социально-психологические барьеры, мешающие участию студентов и преподавателей в освоении новой технологии).
Обозначенный выше научно-прикладной контекст позволяет автору сформулировать основные гипотезы исследования на основе определенного понимания предмета, объекта, целей и задач работы.
Объектом исследования явилась процедура оценки профессиональных знаний студентов старших курсов психологических факультетов вузов.
Предметом исследования явились теоретико-методологические принципы и практические процедуры разработки тестов профессиональных знаний с использованием Интернет-технологий.
Методическая цель исследования: построение методической схемы и апробирование технологической модели разработки педагогических компьютерных тестов контроля знаний с использованием Интернет-технологий.
Прикладная цель исследования: разработка инструментария для независимого и объективного тестового контроля знаний студентов-психологов.
Основная научная гипотеза исследования: тестовая форма контроля дает согласованные (валидные) результаты с традиционной формой контроля, но не дублирует эту форму, то есть, позволяет диагностировать особые свойства в структуре и качестве знаний. На этой гипотезе базируется основная практическая рекомендация для разработчиков тестовых систем в вузе: тестовая и традиционная формы контроля должны дополнять друг друга.
Частные гипотезы исследования:
— пропуск, по крайней мере, одного этапа в оптимальной последовательности шагов по конструированию теста, может привести к резкому снижению качества создаваемого инструментацелостность структуры знаний учащегося взаимосвязана с академической успеваемостьюпсихологическая позитивная установка преподавателей на использования тестовой технологии контроля формируется легче на основе принципа соучастия преподавателей в разработке самой технологии — на этапе конструирования банка тестовых заданий (в качестве авторов и экспертов по оценке и отбору тестовых заданий), а также при использовании тестовых баллов в качестве дополнительного источника информации, не отменяющего применения традиционных экзаменационных процедур.
Отдельные задачи исследования:
— выявить этапы, необходимые для создания полноценной и качественной методики тестирования знаний;
— выделить необходимые критерии, которым должен удовлетворять качественный тест достижений;
— выяснить концептуальные особенности различных принципов и подходов к созданию тестового инструментария и проанализировать, каким же должен быть тест достижений (на факультетах психологии и других центрах подготовки психологов) в зависимости от его целевого назначения;
— выяснить, какие факторы (в том числе организационные и социально-психологические) препятствуют успешному внедрению тестовых технологий в образовательную среду современного российского вуза, подготавливающего психологовапробировать новую технологическую модель Интернет-ориентированного банка тестовых заданий, обеспечивающую опосредованность, независимость и оперативность взаимодействия экспертов с разработчиками тестовых заданий и между собой.
Методологической базой исследования послужили:
— принципы и подходы классической теории тестов (B.C. Аванесов, А. Н. Майоров, А. Г. Шмелев, А. Анастази, П. Клайн, Н. Гронлунд);
— принципы и подходы неклассической теории тестов — IRT (Дж. Раш, А. Бирнбаум);
— психосемантический подход (А.Г. Шмелев, ЕЛО. Терехина, Е. Эйдман).
Последний подход, как, возможно, никакие другие, предполагает активную роль преподавателя как носителя знаний, ведь мерой успешности студента в данном случае объявляется сближение субъективного семантического пространства студента с эталонным пространством, в качестве которого принимается субъективное пространство преподавателя.
Методы исследования:
1) теоретический анализ литературных источников по психодиагностике, тестологии, психологии труда и организационной психологии, а также по психологии проектирования компьютерных систем;
2) метод тестов с вынужденным выбором;
3) метод согласования независимых экспертных оценок;
4) метод многомерного шкалирования с последующей реконструкцией субъективного пространства (в данном случае использовался экспресс-модификация полной процедуры многомерного шкалирования);
5) методический аппарат современного статистического анализа данных, включая корреляционный, факторный и кластерный анализ;
6) метод инженерно-психологического проектирования сетевых компьютерных многопользовательских систем и баз данных;
Достоверность и обоснованность результатов исследования обеспечивается детальной теоретической проработкой проблемы конструирования тестовых методик оценки уровня профессиональных достижений, а также изучение особенностей их внедрения в организационную среду вуза и использованием комплекса хорошо зарекомендовавших себя методических средств. Основой для реализации исследования послужила технология разработки тестов профессиональных достижений, разрабатывавшаяся на протяжении нескольких десятилетий за рубежом и в отечественной научной среде и прошедшая в модифицированном и переработанном виде полный цикл апробации при нашем непосредственном участии (Чумаков, 2006; Чумаков, Шмелев, 2005). Содержательная обоснованность полученных в диссертационном исследовании результатов подтверждается тем, что все диагностические обследования были проведены в реальных условиях предэкзаменационного тестирования выпускников при непосредственном внедрении технологии разработки и внедрения тестовой системы контроля в учебно-информационную среду вуза. Достоверность результатов обеспечивается репрезентативностью выборки испытуемых-студентов (общее число протестированных — свыше 400 человек), а также наличием значимо-согласованных экспертных оценок, полученных от 10 авторов-экспертов, которые соответствуют требованиям к использованию названных статистических процедур.
Научная новнзна работы.
Впервые был применен и проанализирован с позиции психологии метод независимых экспертных оценок для создания первичного банка тестовых заданий. Обоснована значимость расширения авторского этапа при конструировании тестов, когда авторы тестовых заданий становятся непосредственными рецензентами своих собственных и чужих заданий и тем самым преодолевается эффект отчуждения педагогического коллектива образовательного учреждения от содержательного смысла внедряемой тестовой технологии.
Впервые произведено исследование взаимосвязи экспертных оценок сложности и качества тестовых заданий с аналогичными показателями, полученными в результате статистического анализа пунктов теста после апробации тестовой методики на реальных испытуемых. Обычная процедура экспертизы тестовых заданий не предполагает решение экспертом этих заданий в позиции учащегося. В нашем случае эксперты были принципиально поставлены в позицию учащегося, должны были решать тестовые задания и лишь после этого оценивать их качество.
Произведено поисковое психодиагностическое исследование взаимосвязи между когнитивной сложностью (консистентностью и дифференцированностью специальных знаний учащихся) и академической успеваемостью по соответствующим учебным дисциплинам. Ранее подобного рода исследования производились только в других странах и в ходе применения громоздких психометрических (фактически исследовательских, а не практических диагностических) процедур полной попарной оценки различий.
В данной работе впервые созданы и внедрены процедуры тестового контроля знаний студентов-психологов с использованием Интернет-технологии «виртуальной лаборатории», или «Личного кабинета экзаменатора-преподавателя».
Теоретическая значимость работы состоит в изучении зависимости экспертных оценок качества тестовых заданий от уровня осведомленности экспертов в изучаемой области, а также в изучении взаимосвязи между когнитивной сложностью и академической успеваемостью.
Инструментальное оснащение исследования:
1) Основные серии тестирования студентов проводилось с использованием специализированного программного комплекса тестирования «МаЫеБЬ) (Мэйнтест), разработанного по руководством профессору кафедры психологии труда МГУ им. М. В. Ломоносова А.Г. Шмелевым (программная реализация О.Н. Кононов);
2) В работе использована технология «виртуальной лаборатории», позволяющая организовать пространственно-распределенный процесс сбора экспертных оценок: данные экспертизы тестовых заданий собирались с использованием специализированного Интернет-комплекса «Личный кабинет для он-лайн исследований» и обрабатывались в специализированной для этой цели оболочке «Ехрап», разработанной А. Г. Шмелевым (программная реализация Д.М. Ильиных);
3) Данные о когнитивной сложности представлений учащихся (данные о целостности представлений) собирались и обрабатывались с использованием специализированной психосемантической методики «Тест когнитивной сложности «11 слов», разработанной А. Г. Шмелевым (программная реализация А.Г. Ларионов).
4) Методы математической и статистической обработки и представления данных (статистический блок программного комплекса тестирования «Maintest», статистический пакет «Microsoft Excel»).
Практическая значимость работы.
Разработанная нами методическая схема и инструментальная система может быть использована не только педагогами (работниками сферы образования), но и специалистами кадровых служб предприятий для разработки собственного методического инструментария диагностики профессиональных знаний, отвечающего современным научным представлениям в области конструирования тестов и запросам практики. Прикладная ценность исследования — в позитивном ответе на вопрос о возможности применения различных психодиагностических процедур и методов, а также их сочетания с традиционными формами при оценке уровня профессиональных достижений.
Апробация и внедрение результатов работы.
Основные методологические выводы работы обсуждались на следующих крупных научно-практических конференциях: «Юбилейная конференция, посвященная 120-летию Московского психологического общества» (ПИ РАО, январь 2005), «Прикладная психология как ресурс социально-экономического развития России» (МГУ, ноябрь 2005), «Психологическая теория и практика в изменяющейся России» (ЮурГУ, май 2006). По результатам работы опубликованы 1 статья, 3 тезисных сообщения.
Результаты исследования внедрены на факультете психологии МГУ им. М. В. Ломоносова для реализации предэкзаменационного тестирования старшекурсников перед государственным экзаменом по общей психологии, в программу межкафедрального спецсеминара «Конструирование тестов», существенные технологические элементы внедрены в практику работы компании ЗАО «Агентство «Гуманитарные технологии».
Положения, выносимые на защиту:
1) Оценка уровня успешности усвоения знаний учащимся оказывается более объективной (валидной) в том случае, если формируется как комплексная процедура, которая совмещает различные способы сбора данных, как в традиционной форме, так и в форме тестового диалога учащегося с компьютером.
2) Разработка методик диагностики профессиональных знаний требует комплексного, структурированного подхода, содержащего определенный набор принципиально важных этапов, пропуск или отказ от которых может привести к созданию некачественного диагностического инструментария, а также к социально-психологическим трудностям во внедрении тестовой технологии контроля знаний.
3) Доказана валидность сконструированных компьютерных тестов знаний — в виде значимых коэффициентов корреляции между данными тестов и суммарным баллом успеваемости студентов за все’Ъ^годы обучения в вузе.
4) Развитие компьютеризированных Интернет-технологий позволяет расширить практику применения таких трудоемких в вычислительном отношении процедур при конструировании и применении тестов, как расчет согласованности экспертных оценок, а также построение пространственно-семантических моделей (концептуальных карт) индивидуального знания учащегося.
5) Одним из факторов, выступающих в качестве препятствий к внедрению тестовых технологий, состоит в определенных социальнопсихологических барьерах в сознании и поведении самих преподавателейв работе показано, что чем ниже уровень согласованности ответов эксперта-преподавателя с эталонными ответами других экспертов (по определенному тематическому блоку), тем ниже преподаватели оценивают качество тестовых заданий и тем критичнее они относятся к тесту в целом.
6) Операциональные трудности в работе по внедрению компьютерных тестов в учебный процесс сокращаются в результате применения передовых в психолого-эргономическом отношении технологий по организации интерфейса пользователя: использование веб-интерфейса (модели диалога, характерного для Интернет-сайта) существенно сокращает расходы времени пользователей на освоение компьютерной системы конструирования и проведения тестов знаний.
Структура и объем диссертации
.
Данная работа состоит из введения, трех глав, выводов, заключения, списка литературы и двадцати двух приложений. Объем основного текста составил 169 страниц (вместе с приложениями — 219 страниц). Содержание текста подробно иллюстрировано 21 рисунком и 17 таблицами. Бибилиография насчитывает 197 источников, из которых 82 на иностранном языке.
ВЫВОДЫ.
Итак, резюмируя все вышесказанное, мы можем сделать следующие выводы:
1. Комплексный подход к проблеме диагностики учебных достижений имеет статистически значимо более высокий уровень точности (валидности) оценки по сравнению с традиционной и тестовой формами контроля, применяемыми по отдельности. Тестовые испытания должны не заменять, но дополнять собой традиционные устные экзамены.
2. Получаемые в результате тестирования данные позволяют: а) прогнозировать успешность сдачи студентами госэкзамена по общей психологииб) обладают высокой конкурентной валидностью с традиционным госэкзаменом по отношению к такому интегральному критерию как «общий уровень подготовленности студентов на основе оценок за всю историю обучения в вузе».
3. Была разработана, компьютеризирована и апробирована технология конструирования тестов профессиональных достижений, основными особенностями которой являются следующие ключевые этапы: а) авторский цикл, б) экспертный цикл в рамках которого при помощи компьютерных технологии собираются первичные данные о трудности и качестве тестовых заданий еще до предъявления испытуемым, в) апробация тестовых заданий, скомпонованных определенным образом, на пилотной выборке (определения первичной статистической трудности заданий, оценка качества с позиции тестируемого, определение объективных параметров собственно процесса тестирования) — г) формирование основного банка тестовых заданий с учетом данных, полученных в результате пилотной апробациид) проведение основного тестированияе) анализ результатов проведения основного тестирования. Анализ ряда случаев опыта использования тестового инструментария при разработке которого были пропущены один или несколько из перечисленных выше этапов, а также подробное поэтапное освещение конструирования теста в настоящем исследовании дает очевидное представление об обоснованности предлагаемой нами методической схемы и необходимости следования ей.
4. Работа с экспертными оценками дала нам возможность, по крайней мере, частично понять, на каком уровне и каким образом происходит взаимодействие эксперта с тестовыми заданиями, какие факторы могут влиять на оценки эксперта. Субъективная оценка качества заданий обратно-пропорциональна точности экспертных оценок.
5. Применение именно Интернет-технологии тестирования создает не только операциональные удобства (скорость сбора данных и их последующей обработки, защита банка заданий от разглашения путем рандомизации вариантов), но и изменяет в ряде существенных моментов социально-психологическую ситуацию.
6. Нами было получено подтверждение перспективности предложенного нами пути преодоления «разрыва» между традиционной и тестовой форм системы контроля академической успеваемости посредством внедрения технологии семантического шкалирования (методов психосемантики) в сфере диагностику знаний, что дает нам возможность дальнейшего продолжения работ в этом направлении — по расширению репертуара тестовых технологий, опирающихся слишком часто на одни лишь задания с вынужденным выбором — не чувствительные к целостной организации индивидуальной понятийной системы.
ОБЩЕЕ ЗАКЛЮЧЕНИЕ.
Проблема использования инструментально-измерительных технологий для оценки образовательных достижений студентов набирает новую высоту в связи с повышением компьютерной вооруженности вузов, внедрением Интернета и других информационно-коммуникационных технологий. Решаемая в нашей работе проблема по сути интегральная, поскольку стоит на стыке сразу нескольких научных дисциплин и решает ряд специфических прикладных задач:
1. Эргономические вопросы, связанные с проектированием простых, удобных и в то же самое время функциональных рабочих мест экспертов и разработчиков тестовых заданий, которые часто находятся в географически различных местах, вопросы, связанные с анализом взаимосвязи и взаимодействия между ролевыми предписаниями самого метода в системе тестирования с одной стороны, и реальными исполнителями — с другой.
2. Глубокая когнитивно-психологическая, а не только дидактическая интерпретация данных, получаемых в процессе работы над созданием тестового инструменатрия.
3. Привнесение методов психометрического анализа тестового инструментария в сферу образовательного тестирования, которые изначально зародились в недрах разработки психологических тестов.
4. Организационно-психологический контекст принципиального внедрения системы тестирования, как новой формы контроля успеваемости учащихся, способной дополнить и улучшить сложившуюся традиционную систему оценки знаний. Проведение тестового контроля знаний, предваряющего госэкзамен и анализ результатов позволяют сделать ряд выводов и сформулировать ряд положений, направленных на улучшение системы итогого контроля результатов обучения студентов психологических специальностей. Вместо одноэтапной системы контроля (традиционный устный экзамен) следует, с нашей точки зрения, переходить к двухэтапной системе, в которой роль первого этапа-фильтра выполняет тестирование. Конечно, двухэтапный подход как таковой не является новостью для системы высшего образования: нередко экзамену по многим предметам предшествует сдача студентами зачета-допуска, обеспечивающего контроль усвоения базовых элементов курса. Наше предложение заключается в том, чтобы проводить подобный зачет-допуск в форме компьютеризированного теста, что позволяет не только снизить операционные расходы на его проведение, но и получить более объективные результаты, а также получить ценную обратную связь для преподавателей и методистов по статистике ошибок в усвоении отдельных элементов содержания. Как это и делается обычно на предварительных зачетах-допусках, студенту следует предоставить несколько (оптимально три) попыток сдачи зачета. Экзаменаторы должны располагать индивидуальными данными по результатам тестирования (количеству попыток, общему баллу и тематическому профилю по отдельным блокам). Двухэтапная система контроля знаний позволяет стимулировать подготовку студентов к госэкзамену, нарушая сложившуюся в последнее время тенденцию студентов к откладыванию начала подготовки едва ли не «на последний момент» — всего лишь за несколько дней до собственно госэкзамена (в надежде на подготовку с опорой на готовые шпаргалки к экзаменационным билетам), что тем самым повышает ответственность студентов и является стимулом для более серьезной работы с литературой и конспектами лекций.
Введение
дополнительных методов контроля знаний, предваряющих сдачу основного устного экзамена, позволяет на основе данных тестирования упростить процедуру сдачи экзамена, понижая эмоциональную (стрессовую) нагрузку прежде всего для добросовестных и успевающих студентов, и, стимулируя подготовку у тех, кто не смог с первой попытки продемонстрировать высокий уровень знаний при прохождении тестирования.
Нами могут быть предложены следующие варианты сочетания тестовых оценок и традиционной системы сдачи госэкзамена:
1) «Неформальный мягкий». Реализация этого варианта возможна в двух направлениях: а) преподаватели обращаются к результатам теста по своему усмотрению и скорее поощряют обладателей высоких тестовых балловб) студенты из «высокой группы» (набравшие высокий балл по тесту) получают возможность произвольного выбора вопроса из утвержденного на госэкзамене списка и проходят по нему устное собеседование с комиссиейстуденты, набравшие средний балл, сдают экзамен по традиционной схеместуденты, набравшие низкий балл, получают при устном собеседовании большее число дополнительных вопросов именно по тем темам, где они получили низкий тестовый балл.
2) «Формальный поощряющий». В этом варианте при разнице результатов в один балл (между тестом и экзаменом) оценка выставляется в пользу студента.
3) «Формальный страхующий». Оценка на экзамене не может быть ниже тестовой на 2 балла (то есть, отличника по тесту проверяют на экзамене так, что выбирают между оценкой «отлично» или «хорошо», а «хорошиста» по тесту оценивают уже в более широком интервале — между пятеркой и тройкой).
4) «Формальный арифметический». Тест выступает в роли «четвертого экзаменатора», и оценка, полученная студентом по тесту, участвует в голосовании с весом, равным 25 процентам. Такой подход будет тем более обоснованным, чем раньше будет введена практика независимой оценки каждого отвечающего каждым экзаменаторов (индивидуально и письменно). Однако реализация этого варианта возможна только в том случае, если распределения и тестовых оценок, и оценок на устном экзамене будут приближаться к нормальному (в контексте нашего исследования это означает, что необходимо несколько сократить трудность тестовых заданий и повысить критичность оценки экзаменаторов при устном ответе).
Резюмируя работу в целом, следует отметить очевидные преимущества, во-первых, введения инструментально-измерительных технологий оценки уровня профессиональных достижений в организационный контекст (в частности, в учебно-информационую среду вуза) — во-вторых, формирования системы коплексной оценки уровня подготовленности, которая обеспечивает повышение точности и объективности оцениванияв-третьих, применения Интернет-технологий, обеспечивающих более широкий, практически непрерывный доступ авторов тестовых заданий и экспертов к банку заданий, а также включение в процесс разработки в качестве авторов и экспертов самих сотрудников организации, что создает более благоприятную атмосферу и в значительной степени снижает «барьер отчуждения», практически всегда сопутствующий внедрению тестовых технологий.
