Проблема качества и управления качеством образования остается одной из ведущих для теоретиков и практиков системы образования различных уровней, отечественных и зарубежных.
В последние годы делаются попытки использовать в качестве методологической основы создания соответствующих систем управления качеством подготовки специалистов в вузе известные международные стандарты серии ИСО 9000, в частности, ИСО 9001 и 9004, рассматривая образовательную деятельность как процесс оказания услуг, несмотря на всю ее специфику.
Однако наиболее трудным и существенным является «постулат об «измеримости» составляющих образовательного процесса, его характеристик и параметров (семантических величин), то есть возможности формализации измерительных процедур, как это успешно сделано при измерении физических величин.
В первом приближении под качеством образования можно понимать степень достижения заданного уровня обученности (подготовленности), связанного с формированием определенных знаний, умений и навыков.
Современные зарубежные процедуры оценки качества высшего образования включают систему тестовой оценки знаний и способностей учащихся.
Значительное количество ученых и институтов, занимающихся вопросами оценки качества образования, не адекватно реальному продвижению в этой области и наличию значимых результатов. К настоящему времени не создана научно обоснованная система измерений показателей качества подготовки обучаемых.
Создание системы оценки качества подготовки лежит через разработку теории научной организации тестового контроля и использования возможности тестов.
На современном этапе приобретает особое значение работа по определению системы показателей качества, методов измерений и измерительных устройств, к которым наиболее часто относят тесты.
Разработка аттестационных тестов имеет дополнительные трудности, связанные с тем, что невозможно проверить учащихся по всему набору требований ГОС в рамках конкретной дисциплины, предмета, а тем более по всей совокупности изучаемых и изученных дисциплин.
Совершенствование требований ГОС, включая содержание и форму этих требований, должно обеспечить возможность создания стандартизированных средств в виде совокупности предметных и межпредметных тестов, форма и содержание тестовых заданий которых ориентированно и достаточно полно отражают содержание конкретных информационных источников.
Проблема исследования измерительных возможностей в образовании приковывает пристальное внимание теоретиков и практиков на протяжении длительного периода. Ее актуальность в последние годы стала проявляться и в направлениях образовательной деятельности высшего уровня, таких, как теория качества, квалиметрия, теория управления качеством, и в более «приземленных» областях, таких, как создание соответствующего измерительного инструмента, измерительных технологий, на всех этапах образования от грамотности к менталитету через образованность, профессиональную компетентность, культуру в интегрированной структуре образования как ценности, системы, процесса и результата.
Существенный вклад в достижение значительных успехов в названных направлениях внесли известные исследователи в области:
— философии образования — Х.-Г. Гадамер, Б. С. Гершунский, А. А. Вербицкий, Г. Л. Ильин, И. А. Зимняя, А. И. Субетто, Ю. Я. Клехо, Н. А. Бердяев, Н. С. Ладыжец, Е. В. Олесеюк, Ю. Г. Татур [12, 15, 18, 23, 24, 45, 49, 50,51,63,72, 123−142, 145];
— квалитологии и управления качеством образования: А. И. Субетто, М. М. Поташкин, В. В. Окрепилов, В. Ю. Огвоздин, Н. А. Селезнева, Литвак Б. Г., И. Б. Русман, В. И. Байденко, Р. Я. Касимов, Э. М. Сороко, Б. К. Коломиец, В. В. Щипанов, В. А. Качалов, А. Д. Гладун, Дзегеленюк И. И., Б. В. Гладков, А. А. Аветисов, А. Г. Дубницкий, И. Г. Галямина, И. В. Челпанов, В. М. Соколов, Б. А. Прудковский, Ю. К. Чернова, P.M. Хвастунов, А. В. Титов, J1.B. Макарова, А. А. Макаров, Д. М. Панин, Г. Саранцев, И. Сулима [19, 20, 25, 28, 31,33−36, 48, 56, 57, 59, 65, 66, 74, 79, 80, 95, 98, 99−101, 110, 114, 121, 122, 123−142, 143, 163, 164, 167, 175];
— теории и практики измерений в образовании: В. В. Налимов,.
A.И. Субетто, JI.B. Макарова, А. А. Макаров, Г. Г. Татурова, Ю. Н. Толстова, Г. У. Матушанский, И. А. Зимняя, Н. Э. Том, В. И. Красько [45, 46, 79, 84, 85, 89, 90−92, 123−142, 144, 151, 152];
— теории текстов и знаковых систем: Ю. Кристева, К. Барт, К. Леви-Строс, Г. Г. Почепцов, М. М. Бахтин, В. П. Беспалько, Б. У. Родионов, А. О. Татур [13,73, 104, 108, 145];
— теории и практики создания педагогических тестов и тестовых технологий: B.C. Аванесов, М. Б. Челышкова, Б. У. Родионов, А. О. Татур,.
B.А. Хлебников, А. Г. Шмелев, В. П. Беспалько, Л. М. Поддубная, П. Клайн, Г. У. Матушанский, С. В. Климин, А. С. Казаринов, Ю. Н. Семин, Ю. М. Нейман,.
A.И. Самыловский, А. В. Михеев, Н. А. Гришанова, Е. Г. Полуаршинова,.
B.Б. Моисеев, Л. Г. Пятирублевый, К. Р. Таранцева, В. В. Усманов, О.Ф. Шихо-ва., B.C. Черепанов, В. И. Нардюжев, И. В. Нардюжев, Н. В. Березин, Т. Г. Михалева, А. Н. Майоров и другие [2−9, 11, 13, 29, 53, 54, 62, 64, 82, 84, 93, 107, 108, 116−120, 145, 168, 169].
Теория и методология измерений в профессиональном образовании на базе тестовых технологий остается актуальной в силу следующих обстоятельств.
Во-первых, попытки реализовать измерительные процедуры в системе образования без опоры на научно обоснованные теоретические подходы, без использования достижений в области измерений в физическом мире привели к накоплению ошибок, разрыву в известной цепи измерительных процедур, носящих классический характер, чрезмерному увлечению заключительной стадией названных измерительных этапов — статистической обработкой результатов оценок, измерений с поверхностным анализом погрешностей.
Возникло противоречие между достаточно высоким уровнем использования математико-статистических методов для анализа результатов измерений и заметной неопределенностью в области разработки измерительных преобразователей.
Во-вторых, одним из важнейших показателей полноты решения проблем измерений в образовании являются нечеткость и недостаточность понятийного аппарата в измерительных системах семантических величин.
Создание теории измерений настоятельно требует совершенствования понятийного аппарата, прогнозируемой интерпретации, что не достигнуто к настоящему времени и сдерживает методологические направления исследований.
В-третьих, теоретические и методологические подходы к измерениям в настоящее время являются прерогативой элитной части вузов и преподавателей. Несмотря на активную работу исследовательского центра проблем качества подготовки специалистов, центра тестирования, конференций и научных семинаров по квалиметрическим проблемам и системам тестирования, рядовой преподаватель не осознал личностно и остается не подготовленным к тому, чтобы профессионально поднять себя на новый уровень педагогических технологий, связанных с научными подходами в области измерений.
Образовательная система продолжительное время втягивала преподавателей в модульно-рейтинговую оценку продуктивности учебной деятельности, адаптировала его к ней фактически в принудительном порядке, что сдерживает признание современных измерительных процедур наряду с сохранением традиционных, разрешение противоречий между которыми должно происходить в синергетическом плане от хаотического непризнания до организованного взаимодействия.
В-четвертых, учебный процесс можно условно разделить на обучающую и контролирующую составляющие, которые протекают достаточно автономно друг от друга. Тотальный контроль учебной деятельности в течение всего учебного времени семестра, как правило, не связан с контролем уровня обученно-сти, знаний, который смещен на другой определенный учебным планом временной промежуток, что приводит к необходимости теоретического обоснования соответствия обучающей и контролирующей составляющих на базе современных измерительно-обучающих процедур.
Разрешение противоречия между обучающей и измерительной составляющими в учебном процессе осуществляется на основе тестовых технологий и их измерительного инструмента.
В-пятых, применение различных шкал в системе образования для определения рейтинга учебных заведений и учащихся, уровня обученности и знаний практически делает невозможным проводить сравнение измерений результатов образования, выполненных в различных временных и пространственных координатах. Декларированная определенность требований образовательных стандартов находится в противоречии с неопределенными возможностями их измерений.
Разрешение этого противоречия должно происходить в направлении формирования параметров и показателей, обладающих свойствами измеримости, и совершенствования измерительных средств, в том числе применения экспертных подходов, разработанных с использованием тестовых технологий.
В-шестых, наличие широкого спектра практических сборников с тестовыми заданиями различных форм не свидетельствует о создании теоретической и методологической основы их композиционного построения.
Возникли противоречия между широкой практикой по построению тестовых заданий и тестов и ограниченностью теоретико-методологических исследований в области отражений текста в тестовых заданиях, что необходимо решать на основе теории распаковывания смыслов герменевтических подходов и основ структурализма.
Объект исследования в диссертации — измерительные системы на базе тестовых технологий, обеспечивающие управление качеством учебного процесса профессионального образования.
Предмет исследования — структуры тестовых заданий, процессы и принципы их формирования, метрологические характеристики различных форм тестовых заданий, тестов.
Цель диссертационной работы. Повышение качества управления учебным процессом на основе комплексных тестовых измерительных систем.
Для достижения цели в данном исследовании были поставлены задачи:
— провести анализ понятия качества, выявить составляющие категории качества, основные признаки, способствующие раскрытию семантики данной категории в условиях многозначной интерпретации и конкретных подходов и применений;
— определить основные возможности и направления применения тестовых технологий как измерительных процедур в системе высшего профессионального образования и выявить аналогии в измерениях физических и семантических величин;
— создать основ герменевтической теории образования, включающей ось — объяснение-понимание-интерпретация через речь и тексты как формы дискурса;
— разработать алгоритмы создания на основе тестовых заданий на соответствие (матричного типа) других форм тестовых заданий;
— создать обобщённую модель тестовых заданий;
— разработать новый понятийный аппарат в теории и практике композиционного построения тестовых заданий и тестов;
— определить возможности создания тестовых заданий или их совокупности и тестов, обладающих признаками экспертных систем, сис-систем диагностики и распознавания;
— выявить соотношения уровней обучающей и контролирующей составляющих тестовых заданий в зависимости от их форм;
— создать модель трансформации шкал, применяемых в образовании;
— разработать алгоритмы создания на базе компьютерного генерирования параллельных и локальных тестов гомогенного и гетерогенного характера, определить методологии подбора дистракторов для создания совершенных форм тестовых заданий;
— разработать основные принципы создания тестовых заданий;
— повести апробацию различных тестовых структур в учебном процессе.
Методы исследования основываются на общей теории измерений, теории управления, теории системного анализа и синтеза, квалитологии, квали-метрии и тестологии, теории множеств, прикладной информатике.
Научная новизна работы заключается в:
1. Создании комплексного подхода в управлении учебным процессом на основе тестовых технологий.
2. Раскрытии категории качества через интегральные характеристики базовых направлений.
3. Использовании аналогий в измерениях семантических и физических величин.
4. Разработке обобщенной модели тестового задания.
5. Применении герменевтических подходов в учебном процессе.
6. Разработке модели соответствия различных шкал, применяемых в образовании.
7. Разработке системы принципов создания тестовых заданий, параллельных и локальных тестов.
8. Создании модифицированной классификации тестовых заданий.
На защиту выносятся следующие положения:
1. Категория качества как измеряемая семантическая величина наиболее полно раскрывается в образовании в триедином подходе через основные направления.
1.1.соответствия стандарту, применению, стоимости, скрытым потребностям;
1.2.содержательной трактовки образования как ценности, системы, процесса и результата;
1.3.динамического развития в цепи — грамотность-образованность-профессиональная компетентность-культура-менталитет на основе дискри-тивной, конструктивной и семантической квалиметрии.
2. Система аналогий измерений семантических и физических величин на базе первичных измерительных преобразователей в виде тестовых заданий, обладающих соответствующими метрологическими характеристиками, представляет собой основу развития измерительных процедур в образовании.
3. Предложенная обобщённая модель тестового задания обладает свойствами и потенциальными возможностями интегрирования и дифференцирования тестовых задании и позволяет рассматривать тестовое задание как модель текста.
4. Многоуровневая модель распаковывания смыслов на базе герменевтических подходов в условиях редукции текста позволяет провести оптимизацию учебного процесса в рамках знаниевого и информационного подхода.
5. Методы преобразования структур тестовых заданий и тестов в информационных полях позволяют создавать экспертные системы с построением семантических логистических траекторий для распознавания объекта.
6. Основными принципами построения тестовых заданий, параллельных и локальных тестов являются: принцип максимальной эквивалентности тестового задания и текста, принцип максимального правдоподобия элементов тестовых заданий, принцип однозначности, принцип максимальной информативности, принцип оптимальной сбалансированности обучающей и контролирующей функции, принцип устойчивости тестовых заданий, принципы зависимости и независимости столбцов тестовых заданий матричного типа.
7. Новая классификация тестовых заданий и тестов на основе предложенного понятийного аппарата.
8. Алгоритмы генерации гомогенных и гетерогенных тестовых заданий и тестов в предметной области.
Практическая полезность. Теоретическая ценность заключается в создании обобщённой модели форм тестовых заданий с прогнозируемыми метрологическими характеристиками на базе усовершенствованного понятийного аппарата с использованием аналогий измерений в физических полях, развитии теории отражения информационных полей в других знаковых системах, разработке новых принципов в тестовых технологиях, применении герменевтических подходов в образовании.
Практическая полезность работы определяется созданием методологической базы измерений семантических величин в поле знаний, алгоритмов преобразования шкал измерений, в том числе применением нелинейных шкал, генерированием и интегрированием тестовых композиций на различных информационных полях, разработкой предметных тестов гомогенного и гетерогенного характера в приложении к специальным курсам, их использованием в реальных условиях учебного процесса.
Достоверность и обоснованность полученных результатов обеспечивается выбором исходных положений и методов исследования, применением аналитических подходов к решению поставленных задач, комплексностью в разработке проблем исследования, экспериментальной апробацией теоретических результатов по созданию широкого спектра тестовых заданий и тестов в предметных областях.
Апробация работы. Основные результаты работы докладывались на 8, 9 симпозиуме «Квалиметрия человека и образования: методология и практика» (г. Москва, 22 — 23 ноября 2000 г., г. Москва, ноябрь 1999 г.).
2 Всероссийская научно-практическая конференция «Развитие систем тестирования в России (г. Москва, 22 — 23 ноября 2000 г.).
Всероссийская научно-методическая конференция «Дистанционное образование. Проблемы и перспективы развития» (г. Саратов, 6−7 февраля 1997 г.).
Международная научно-методологическая конференция «Актуальность проблемы до вузовского образования» (г. Саратов, 10−11 января 2000 г.).
Всероссийская научно-методическая конференция «Дистанционное образование. Состояние и перспективы развития» (г. Саратов, 18−19 ноября 1998 г.).
Научно-методическая конференция «Современные методы обучения и контроля знаний студентов» (г. Саратов, 22 — 23 ноября 1995 г.).
Международные научно-технические конференции «Актуальные проблемы электронного приборостроения» (г. Саратов, 20 — 22 сентября, 2000 г., г. Саратов, 2002 г.).
IV международная научно-методическая конференция «Педагогический менеджмент и прогрессивные технологии в образовании» (г. Саратов, 29.09 -01.10.97г.).
Межвузовская научно-методическая конференция «Информационные технологии в образовании» (г. Саратов, 25 — 26 октября 2000 г.).
Межрегиональная научно-практическая конференция «Качество образования. Проблемы и перспективы развития ВУЗов Санкт — Петербурга с регионами России в контексте модификации образования» (г. Санкт-Петербург, 12 -14 марта 2002 г.).
Научно-методическая конференция «Региональные особенности развития машинои приборостроения, проблемы и опыт подготовки кадров» (г. Саратов, 22 — 25 мая, 2000 г.).
Научно-методическая конференция «Образование для всех: пути интеграции» / Саратов, 9−10 января, 2003 г.
Всероссийская научно-практическая конференция «Технологии интернет — на службу обществу» / Саратов, 14−15 апреля, 2003 г.
Всероссийская научно-методическая конференция «Образование в современном мире: глобальное и локальное» / Саратов, 9−10 января 2004 г.
Реализация результатов. Научные и практические результаты внедрены в учебный процесс Саратовского государственного технического университета на базе специальности «Электронные приборы и устройства» по курсам «Электронные приборы СВЧ», «Твердотельные приборы СВЧ» и др.
Созданы тесты по названным курсам, которые обеспечили совершенствование учебного процесса на базе учебных и учебно-методических пособий.
Выполнены дипломные проекты по тестовым заданий измерениям, программному обеспечению формированию тестов и тестовых заданий. По теме исследований работают 3 аспиранта.
Публикации. По материалам диссертации опубликована 1 монография, 2 учебных пособия, 59 научных и учебно-методических работ.
Структура и объём диссертации. Диссертация состоит из введения, 7 глав, заключения, библиографического списка и 6 приложений, содержит 368 страниц, 52 рисунков, 48 таблиц и библиографии из 232 наименований.
7.5. Выводы.
1. Предложен способ уменьшения влияния вероятности угадывания правильных ответов путем создания предметной матрицы, отражающей структуру информационного поля (элемента), являющегося частью общей структуры дисциплины, раздела, подраздела и включающего в себя несколько автономных тестовых заданий выбранной предметной области, что даже при использовании дихотомических тестовых заданий снижает уровень вероятности угадывания до (0,5)к, где к — число автономных тестовых заданий в элементе предметной матрицы.
2. Определен принцип формирования параллельных тестов, использование которых в системах тестирования представляет собой базу проведения многократных наблюдений, позволяющих избежать или уменьшить систематические и случайные погрешности путем генерирования определенного количества тестовых задании при формировании теста, выбирая i подразделов из m при количестве разделов п по формуле числа сочетаний.
SWO" = ml i (m — п).
3. Проведен анализ искусственности противопоставления информационной и знаниевой модели образования, на основе исследования структуры информации, включающей сообщения, системы, выбор, прием, содержание, знания и т. д. Информация приобретает значения знания, когда она воспринята человеком и приобрела смысл. К знаниям относят информацию, наделенную свойством истинности, в поисках которой роль преподавателя с расширением потока информации будет непременно возрастать, следовательно, в условиях множественности интерпретаций проблема распаковывания смыслов по Нали-мову приобретает сложный теоретический и практический характер, освоение которой возможно осуществлять только на высоком знаниевом уровне. На стадии первоначального контакта с текстом необходим определенный уровень подготовленности, на базе которого развивается процесс понимания текста, определяющий интенсивность процесса прохождения от считывания информации и рационального понимания до момента целостного понимания, когда объяснение текста, состоящее в анализе его структуры, использованном аппарате обозначений, связи с другими текстами, расчленение текста на составляющие, имеющие достаточно автономный характер, переходят в предварительное понимание, новое прочтение текста даёт возможность более полному пониманию текста в направлении, обозначенном автором текста.
4. Сформулирован и обоснован принцип приоритетности (первичности) разработки тестовых заданий на соответствие (матричного типа) по тексту любого вида (информационному полю). Открытые и закрытые тестовые задания являются производными тестового задания на соответствие, что определяет задания матричного типа в качестве обобщенной модели тестовых заданий. Обобщенная модель тестового задания позволяет провести анализ эффективности отдельных видов тестовых задании, связанных семантически, способствует развитию тестируемого в области анализа и синтеза, получению информации о степени адаптивности видов тестовых заданий определенному уровню знаний, позволяет глубже исследовать наличие пробелов в изучаемом материале, отраженного в тестовом задании на соответствие. Повышение интенсивности генерации тестовых заданий в «провальном» или «успешном» информационном поле дает возможность выявить устойчивость незнания или знания студента, что невозможно сделать при ограниченных возможностях других тестовых заданий для конкретного информационного поля.
5. Создана модель распаковывания смыслов, и возникновения погрешностей в рамках герменевтических подходов при рассмотрении информационных полей от совокупного знания, представленного в монографиях, статьях до лекций, методической литературы через процессы объяснения — интерпретации — понимания в рамках четырех уровней системы, позволяющей показать процесс редукции смысла на основе применения известной формулы Бейе-са. Исследуя возможности применения формулы Бейеса для случая многократной интерпретации исходного текста в системе объяснение — понимание — интерпретация получено выражение для оператора интерпретации.
Пусть Р (jii /у) = K|P (jn) Р (xJy) является исходной формулой Бейеса, где Р (ц/у) — функция распределения, определяющая семантику нового текста, возникающего после эволюционной ситуации уК] - константа нормировки. Тогда при воздействии дополнительного условия х получим:
Р (р/х) = К2Р (ц/у) Р (х/р), а при воздействии условия z.
Р (р. / z) = К3 Р (р / х) P (z / р). Суммарное воздействие условий у, х, z приведет к соотношению Р (ц / x, y, z) = К, К2К3 Р (ц) Р (у / р) Р (х / ц) P (z / ц).
Если событие (новый текст) обусловлено проявлением ситуаций х, у, z, независимых друг от друга, то возникновение нового текста Р (z, у, х/р) относительно исходного текста Р (р) связано с воздействием фильтров.
Р (у / р), Р (х / р) и P (z / р), что приводит к существенной редукции или изменению интерпретации исходного текста Р (р).
Частичную утрату первоначального текста можно восстановить за счет коэффициентов нормировки К], К2, Кз, которые должны быть больше единицы каждый или хотя бы их произведение.
6. Разработаны принципы построения тестовых заданий на различных видах и структурах информационных полей, в том числе на основе табличных материалов, повествовательных текстов, функциональных зависимостей, формулах и других.
7. При формировании тестовых заданий на соответствие необходимо провести оптимизацию его составляющих по числу множеств и числу элементов в каждом множестве. Задание не должно быть перегружено при относительно невысокой сложности. Расширение или сокращение задания не должно приводить к потере его целостности, предметности, семантической направленности, в нем должны быть признаки общности и фрагментарности. Тестовое задание, являясь моделью текста, должно позволять провести его инверсию в конкретный текст, мало отличающийся от первичного текста, однако новый текст становится более кратким, лаконичным, т. е. работа над композицией тестового задания рационально структурирует содержательную и видовую часть учебного материала, оптимизирует его по объему, глубине, доступности, сложности и т. д.
8. Определена методология подбора дистракторов, которые играют существенную роль в создании совершенных форм тестовых заданий.
Показано, что одни и те же элементы множеств в тестовых заданиях матричного типа становятся вариантами правильных ответов при соответствии конкретному элементу другого множества и дистракторами при соответствии другого элемента данного множества определенному элементу противоположного множества. При этом «отвлечение» или «сокрытие» правильного ответа осуществляется наиболее правдоподобным образом, дистракторы всегда становятся правильными ответами в зависимости от сопоставления конкретных элементов разных множеств, приобретая свойства истинности или ложности.
9. Определенные информационные поля обладают потенциальными возможностями композиционного построения тестовых задании на соответствие, когда обучающая составляющая тестового задания превосходит по своей амплитуде контролирующую составляющую, т. е. происходит инверсия функции тестового задания.
Принцип устойчивости (или принцип внутренней достаточности) тестового — задания характеризует уровень сбалансированности обучающей и контролирующей функции, как задания, так и теста в целом.
В процессе обучения, самоконтроля, должны применяться тестовые задания с заметной обучающей составляющей, а на заключительных стадиях — с высоким уровнем контролирующей составляющей.
Тестовые задания, композиционно построенные на основе принципа полного соответствия элементов множеств имеют максимальную обучающую составляющую по сравнению с другими тестовыми заданиями.
При создании несимметричных тестовых заданий матричного типа увеличивается контролирующая функция тестового задания.
10. Разработаны принципы, которые определяют базовые подходы к созданию тестовых заданий принцип максимальной эквивалентностипринцип максимального правдоподобияпринцип однозначностипринцип максимальной информативностипринцип устойчивостипринцип инверсивностипринцип сбалансированности обучающей и контролирующей функциипринцип независимости столбцов тестовых заданий матричного типапринцип зависимости столбцов тестовых задании, преобразующихся в экспертные системы.
ЗАКЛЮЧЕНИЕ
.
1. Проведено аналитическое исследование понятий качества, позволяющее выявить базовые составляющие категории качества и основные признаки, способствующие раскрытию семантики данной категории в условиях всеобщей интерпретации и конкретных подходов и применений.
Показано, что повышение качества подготовки специалистов как ключевая проблема образовательного процесса на современном этапе требует продолжения работ по совершенствованию методологических подходов к категории качества как интегральной характеристики, определяемой рядом свойств и функциональных возможностей объекта, участника образовательного процесса, студента, ученика.
Предложены основные направления интерпретации категории качества, базирующиеся на принятых в традиционных подходах, рекомендациях международных стандартов.
Проведен анализ широкого спектра подходов к содержанию и раскрытию смысла категории качества. Наиболее совершенной является формулировка категории качества, предложенная в последних работах Субетто А.И.
Целесообразно дополнить концепции качества: соответствие стандарту, соответствие применению, соответствие стоимости и соответствие скрытым потребностям пятой составляющей — соответствие личным потребностям.
2. Установлено, что развитие системы, в том числе и образовательной, не может осуществляться без анализа чувствительности качества как интегра-тивной величины в зависимости от основных свойств объекта оценки качества и установления для них порога чувствительности, как минимального значения свойств качества.
Осуществлен анализ состояния образования на основе закона системного наследования в соответствии с парными законами специализации и универса-нализации, дивертирования (роста разнообразия) и конвертирования (сокращения разнообразия). Сокращение разнообразия специальностей в результате реформы не привело к сдвигу в направлении универсализации образования из-за остаточной избыточности специальностей и направлений образования, особенно в области техники и технологий.
Возможностям применения процедур и технологий тестирования наиболее адаптивна статическая составляющая наследственного (традиционного) инварианта дисциплин.
3. Реализация системного подхода в определении количественных характеристик качества образования на основе технологий тестирования предполагает их осуществление в последовательной цепи: грамотность-образованность-профессиональная компетентность-культура-менталитет.
Измерительная процедура в области семантических величин, в том числе знаний, умений, должна включать по аналогии с измерениями физических величин следующие этапы: определение модели объекта измерения, выбор метода измерений, определение средств измерений, проведение измерений, обработка результатов измерении и их интерпретация, на чем практически не акцентируется внимание исследователей, занимающихся тестовыми технологиями.
4. Сложность и многофункциональность понятия «измерений», которое в настоящее время включает толкование измерительной системы как системы измерения входных величин, воспринимаемых датчиками (первичными измерительными преобразователями) и образующей на выходе собственно измерительную информацию, а также систем, выдающим количественные суждения о состоянии исследуемых объектов — контрольные, диагностические и распознающие системы, включающие, в свою очередь, системы измерения входных величин, дает возможность интерпретировать измерение семантических величин как процесс получения контрольной, диагностической и распознающей информации на базе первичных измерительных преобразователей в виде тестовых заданий и тестов с соответствующими метрологическими характеристиками.
Педагогические измерения, первоначально имеющие контролирующую направленность, должны вырастать в диагностические процедуры, которые основываются на тестовых технологиях.
Заслуживает особого внимания, распознающие измерительные системы в приложении к педагогическим измерениям. Тестовые технологии позволяют отказаться от образа «отличника» и «троечника», сформированных в большей степени на эмоциональном уровне или на базе интуиции, чем на объективном сравнении объектов и образов по признакам, характеризующим свойства образов и принятие по определенному алгоритму решение о принадлежности распознаваемых объектов с их свойствами к тому или иному образу.
5. Введено понятие фазовой диаграммы (аналоговой модели) эффективности обучения с траекториями обученности линейного и нелинейного типа, в координатах объем знаний — уровень умений, позволяющими оценить характеристики различных студентов.
Проведено сопоставление традиционного подхода в оценке знаний студентов и тестовых процедур в рамках заданного информационного поля, показано преимущество тестовых заданий и рекомендовано использовать синерге-тические возможности двух подходов.
Определена роль фраз, пропозиций, формулировок и высказываний как знаковых систем в образовательном процессе при взаимодействии двух основополагающих систем учебного процесса — учителя и ученика.
При разработке структуры учебника, учебного пособия необходимо следовать принципу «древа деривации», в соответствии с которым книга рассматривается как архив высказываний определенного направления от основания к вершине, от совокупности высказываний, относящихся к данной области, предмету, дисциплине, к высказыванию кратному, ёмкому, определяющему основные смыслы рассматриваемой группы высказываний, причем такое «сжатие» должно осуществляться без трансформации и редукции смысла.
6. Установлено, что основой учебного процесса на современном этапе является деятельность, направленная в рамках герменевтической теории на создание оси объяснение — понимание — интерпретация, в том числе через речь и тексты в условиях минимизации интерпретации или представления возможности обучаемому найти нужный вариант интерпретации среди многочисленных.
На основе герменевтического подхода следует признать, что вероятность понимания, в условиях неоднородности уровня подготовленности слушателей, возрастает при многократном объяснении, причем под этим процессом следует подразумевать многократное знакомство, постижение теста как совокупности знаков, представленного в различных формах дискурса, в том числе книгах, научных статьях, лекциях, учебных пособиях и других материалах, касающихся конкретного семантического направления.
Целесообразно использовать в учебном процессе подходы, определяемые герменевтикой, исходящей из идеи понимания, структурализмом, являющимся одной из форм научного объяснения, и пост структурализмом, который установил принцип множественного смыслового прочтения текста, на базе казуального, генетического и теологического (структурного) объяснения, включающего два самостоятельных типа: целеполагания, устанавливающего отношения между интенциями, средствами и результатом и функциональных взаимосвязей, к которым относится структурное объяснение, базирующееся на понятии структуры как целого, образованного взаимосвязанными элементами.
7. Дан анализ понятийному аппарату теории тестирования в изложении ряда авторов, в том числе формам тестовых заданий, которые имеют существенные взаимосвязи.
На основе тестовых заданий на соответствие или заданий матричного типа разработаны алгоритмы создания других тестовых заданий, включая задания на соответствие более низких порядков, задания на выбор правильного ответа и другие в условиях оптимизации тестовых структур, способных создавать производные тестовые задания с использованием компьютерного генерирования методом случайных чисел с определенными связывающими грамматическими образованьями.
Введены новые понятия в теории форм тестовых заданий, в том числе симметричные и несимметричные тестовые задания матричного типа, зеркальные тестовые задания, корректные, частично корректные и ложные тестовые задания, задания на конструирование.
8. Предложено развитие принципа удвоенной альтернативы. Новый подход позволяет рассматривать структуры с произвольным числом событий и признаков, что увеличивает число исходов S- (вариантов тестовых заданий) в соответствии с соотношением где кчисло событий, а пколичество признаков.
Разработан механизм, определяющий взаимосвязь понятий контрарности и контрадиктарности с использованием модели распаковывания смыслов на числовой оси. Введено понятие уровней контрадиктарности внутри интервала контрарности. Предложенный подход дает теоретическое обоснование методу семантического дифференциала, широко известному в социологических измерениях и предложенному Оскудом, который фактически является частным случаем предложенного метода.
В соответствии с формализмом нормальных алгоритмов Маркова, применяя правила вывода, реализуемые на основе операторов подставки, разработан метод создания тестовых заданий, представляющий собой алгоритм интегрирования простых тестовых заданий различного типа в более сложные тестовые задания на соответствие симметричного и несимметричного типа.
Определены основные подходы преобразования традиционных вопросов, используемых в экзаменационных процедурах, в тестовые задания с использованием материалов разных источников с учетом максимальной адаптивности повествовательного материала, обладающего определенным тестовым потенциалом, тестовым заданиям различных форм.
Предложено понятие «порога чувствительности» тестового задания, который связан с минимальным уровнем обученности, ниже которого поле знаний обучающегося не идентифицируется первичным измерительным преобразователям, к которым относятся тестовые задания.
Показано, что структура гомогенного теста должна допускать признаки гетерогенности, поскольку имеются тесные междисциплинарные связи в учебных планах, а деление материала по дисциплинам часто имеет условный характер. Если учебную дисциплину рассматривать как множество текстов, то абсолютно непересекающихся множеств среди технических дисциплин определить затруднительно, даже такие различные дисциплины как «Математика» и «Иностранный язык» относятся к знаковым системам, что их в достаточной степени объединяет.
9. Композиционное развитие тестовых заданий матричного типа на базе двух и более множеств позволяет преобразовать их в квалификационные или экспертные системы, содержащие множество, а объектов (моделей) и множества б атрибутов (условий, признаков). Совокупность множеств б, (подмножества б} 62,.бп) с соответствующими элементами позволяет распознать элементы множества, а (объект, модель, образ).
Поиск связи элементов множеств объектов и признаков предложено осуществлять путем построения логистических структур, отражающих соответствие элементов множеств в экспертной системе.
Разработанный подход представляет собой решение классической задачи синтеза, когда на базе характерных (классификационных) признаков воссоздается явление (модель, объект) и анализа, т. е. нахождение признаков (условий, атрибутов), которые соответствуют определенному явлению (модели, объекту).
10. Возможность решения задач анализа и синтеза в зависимости от вы-бранных форм тестовых заданий представляет собой вывод тестовых заданий на высокий уровень обучающей составляющей тестового задания, когда уровень контролирующей составляющей также увеличивается, т. е. возникает синергетиче-ское состояние обучающей и контролирующей функции тестового задания в ус-ловиях упорядоченности соответствий элементов множеств.
Сведение тестовых заданий матричной формы с двумя и более множествами к традиционным, например, на выбор правильного ответа, существенно снижает обучающую составляющую тестового задания, а часто она просто ликвидируется, что приводит к значительной утрате возможности получения информации для тестируемого при самоконтроле, самообучении и в режиме непосредственного тестирования.
Разработан алгоритм и представлены схемы трансформации тестовых заданий матричного типа в разновидности тестовых форм более простых композиций, определены структурные компоненты задания на соответствие, включающего повествовательную и вариативную составляющие.
Созданы формальные модели тестовых заданий на соответствие сим-метричного и несимметричного вида на базе произвольного количества множеств (до 9), позволяющее правильно идентифицировать образ — устройство конкретного типа путем анализа представленных признаков.
В случае обязательного включения одного из множеств, например, множества а, в производные тестовые задания на соответствие, получаемые из аналогичного задания более высокого порядка, общее количество заданий на соответствие определяется соотношением к&bdquo- {т-) «(т-Щп-ту.' где п — общее число множеств, m — число множеств, достаточное для распознавания соответствующего элемента множества а.
11. Предложено тест рассматривать как специфическое измерительное устройство, содержащее определённое количество первичных измерительных преобразователей в виде тестовых заданий, каждое из которых обладает своими измерительными (метрологическими) характеристиками и параметрами, адаптированными различным уровням подготовки (знаниям) отдельных студентов по аналогии с измерительным устройством физического плана, включающее большое количество элементов (датчиков) на базе первичных измерительных преобразователей для исследования, например, пространственного распределения физической величины в неоднородных физических полях.
Показано, что тест как совокупность тестовых заданий отражает по своей измерительной сущности интенсивность распределения семантической величины (подготовленности студентов) в семантическом поле, которое можно назвать полем знаний. Размещение тестовых заданий в тесте и в поле знаний определяет отклик в виде выходной информации на входной сигнал, связанный с уровнем знаний конкретного студента.
Традиционные опросы, экзамены предполагают непосредственное взаимодействие наблюдателя (измерителя) — преподавателя и наблюдаемого явления (измеряемая величина) — студент в режиме устного или письменного ответа, что можно считать механической моделью взаимодействия, отражающей соответствующую структуру.
Переход к тестированию в широком масштабе означает использование статистической модели взаимодействия учитель-ученик через посредство программно-аппаратных средств и методического обеспечения, основной базой которого являются тестовые композиции.
Поскольку традиционные вопросы не имеют обучающей составляющей, то тестовые задания, выдержанные в форме утверждений, имеют неоспоримые преимущества даже при использовании открытых форм.
Многократные наблюдения, как статистический путь освобождения от случайных погрешностей, может быть реализован при использовании нескольких тестов разной трудности с близкими метрологическими характеристиками тестовых заданий в составе каждого теста, что обеспечит измерение семантической величины по поддиапазонам этой величины и, в частности, уровня знаний обучающихся.
Проведён анализ возникновения систематических и случайных погрешностей на базе традиционного опроса и тестовых технологий. С определённой степенью условности можно считать, что в педагогических измерениях пересекаются понятия репрезентативной выборки и понятия многократных наблюдений, поскольку двойное «сканирование» каждого тестируемого по всей совокупности тестовых заданий и каждого задания по всему контингенту тестируемых напоминает процесс многократных наблюдений в физических измерениях.
12. Определена зависимость случайной погрешности от типа применяемых шкал. При использовании дихотомической шкалы (да, нет) и даже 5-бальной традиционной шкалы невозможно получить распределения определённой формы, соответствующих возможностям статистического анализа, что не позволяет ставить вопрос об определении уровня погрешностей.
При уменьшении величины бина, т. е. переходе к шкалам с меньшим делением гистограмма F от х, где F — доля соответствующих оценок от общего числа, а х — баллы, принимает форму, как правило, нормального распределения. При большом числе испытуемых непрерывная кривая стремится к предельному распределению, что достаточно хорошо согласуется с результатами практических наблюдений только в случае правильного выбора максимума распределения, находящегося в центре числовой оси, соответствующей баллам выбранной шкалы. При несовпадении уровня подготовленности испытуемых и трудности тестовых заданий кривая распределения смещается влево в сторону низких баллов в случае завышенной трудности относительно уровня подготовленности и вправо в сторону высоких баллов в случае заниженной трудности. Чем выше однородность в уровне подготовленности испытуемых, тем более выраженным получается резонансный характер кривой распределения.
Получено семейство уравнений, позволяющих провести соотнесение рассмотренных шкал при произвольном их сцеплении. Уравнения преобразования шкал решаются при сопоставлении минимальных, максимальных и произвольных значений шкал. Проведённый анализ позволяет осуществить оптимальное преобразование шкал, адаптируя его под соответствующие параметры и характеристики тестируемого контингента.
При трансформации шкал возникают зоны неопределённости двух типов: появляющиеся в данной шкале и трансформируемые из шкал с большим делением шкалы в шкалы с меньшим делением, причём единичная протяжённость зон неопределённости уменьшается с уменьшением цены деления шкалы при росте их общей численности. Предложенный принцип преобразования шкал позволяет осуществить как прямое, так и обратное преобразование.
13. Впервые осуществлен общий подход к анализу тестовых заданий на соответствие типа ai 6j) где i — число элементов в множестве а, j — число элементов в множестве б для случая i =j =п и i ф j.
Описан алгоритм поэтапного генерирования различных форм тестовых заданий из заданий на соответствие при i =j = п для случаев п = 2, 3, 4, 5 в том числе зеркальных тестовых заданий на соответствие более низкого порядка, тестовых заданий на выбор правильного ответа без перестановки и с перестановкой элементов по местам, на основе принципа удвоенной альтернативы, прямого и зеркального типа, симметричных и несимметричных.
Определены особенности композиционного построения тестовых заданий на базе конкретных тестовых заданий на соответствие с использованием компьютерных процедур с созданием оптимального соотнесенных текстов базовых, тестовых заданий и производных структур тестовых заданий более низкого порядка.
Установлено, что общее количество тестовых симметричных заданий на соответствие из базового тестового задания на соответствие определяется соотношением т=Ь-1 где С определяет функцию сочетания, п — число элементов в исходном множестве, m — число элементов в производном множестве, а — количество множеств, i = 2−4.
При генерации тестовых заданий на выбор правильного ответа из тестового задания на соответствие ложные тестовые задания появляются при.
Построены таблицы тестовых заданий на соответствие низших порядков, генерируемых из матричного задания на соответствие в диапазоне от i=j=3 до i=j=5. Получены закономерности появления тестовых заданий различных структур, в том числе корректных, частично корректных и ложных тестовых заданий, что необходимо для их выбора при компьютерной генерации.
Показано, что при m>n/2 полностью ложные тестовые задания появляются не могут, они будут корректными или частично корректными. Причем при п=5 и п=2 при двух множествах общее количество тестовых заданий равно 100, однако только 10 из них являются полностью корректными, а при п=5 и п=4 при а=2, общее количество тестовых заданий на соответствие низшего порядка равно 25 и только 5 из них корректные.
14. Получено соотношение, определяющее общее количество тестовых заданий на выбор правильного ответа из тестового задания на соответствие п уровня (т.е. когда тестовое задание типа (aj 6j) имеет i=j=n) где m — число элементов в множестве б при одном элементе в множестве а, причем m изменяется в диапазоне от 2 до п. ш<�п/2 т т=2.
S=n+nCnn-,+ nCnn-2+.
Предложены новые композиции тестовых заданий на выбор правильного ответа или несимметричные тестовые задания на соответствие, когда при выбранном уровне тестового задания на соответствие типа (a- 6j) при i=j=n количество генерируемых элементов в множестве, а больше чем 1, тогда при генерации двух элементов в множестве, а и трех и более элементов в множестве б получим несимметричное тестовое задание, число которых можно вычислить по формуле.
S= S23+ S24+ S25+ S34+ S35 +S45 или.
S р 2 р 3, л 24, /-1 5 | /-1 3^-1 4. ^ 3>-i 5 1 5.
ИЛИ.
S = СП2СП3 + (Сп2 + СП3) СП4 + (Сп2 + Сп2 + Сп3 + СП4) СП5.
Это дает возможность оценить общее количество несимметричных тестовых заданий для п = 5 числом 225.
В первой формуле для S через S23, S24 индексы 2, 3, 4, 5 означают количество генерируемых элементов в множестве, а (первый индекс) и множестве б (второй индекс), что во второй формуле проявляется через наличие двух сомножителей в каждом слагаемом с различными верхними индексами.
Разработан алгоритм генерирования несимметричных тестовых заданий на соответствие путем задания исходной строки и исходного столбца матрицы тестовых заданий.
15. Показано, что при создании параллельных тестов и при необходимости обеспечить отсутствие привыкания к расположению правильных ответов (элементов) целесообразно использовать перестановку элементов во всех множествах. В этом случае при i=j:=n=5 общее число тестовых заданий на соответствие порядка п=5 будет составлять п! п!, т. е. 14 400, что свидетельствует о бесконечной совокупности параллельных тестов гомогенного характера.
Предложен способ уменьшения влияния вероятности угадывания правильных ответов путем создания предметной матрицы, отражающей структуру информационного поля (элемента), являющегося частью общей структуры дисциплины, раздела, подраздела и включающего в себя несколько автономных тестовых заданий выбранной предметной области, что даже при использовании дихотомических тестовых заданий снижает уровень вероятности угадывания до (0,5)к, где к — число автономных тестовых заданий в элементе предметной матрицы.
Определен принцип формирования параллельных тестов, использование которых в системах тестирования представляет собой базу проведения многократных наблюдений, позволяющих избежать или уменьшить систематические и случайные погрешности путем генерирования определенного количества тестовых задании при формировании теста, выбирая i подразделов из m при количестве разделов п по формуле числа сочетаний tvA.
S,=(Cmy = -—— i (m — п).
Установлено, что задания матричного типа являются обобщенной моделью тестовых заданий. Обобщенная модель тестового задания позволяет провести анализ эффективности отдельных видов тестовых задании, связанных семантически, способствует развитию тестируемого в области анализа и синтеза, получению информации о степени адаптивности видов тестовых заданий определенному уровню знаний, позволяет глубже исследовать наличие пробелов в изучаемом материале, отраженного в тестовом задании на соответствие.
16. Сформулирован и обоснован принцип приоритетности (первичности) разработки тестовых заданий на соответствие (матричного типа) по тексту любого вида (информационному полю), позволяющий избежать фрагментарности. Открытые и закрытые тестовые задания являются производными тестового задания на соответствие, что определяет задания матричного типа в качестве обобщенной модели тестовых заданий. Обобщенная модель тестового задания позволяет провести анализ эффективности отдельных видов тестовых задании, связанных семантически, способствует развитию тестируемого в области анализа и синтеза, получению информации о степени адаптивности видов тестовых заданий определенному уровню знаний, позволяет глубже исследовать наличие пробелов в изучаемом материале, отраженного в тестовом задании на соответствие. Повышение интенсивности генерации тестовых заданий в «провальном» или «успешном» информационном поле дает возможность выявить устойчивость незнания или знания студента, что невозможно сделать при ограниченных возможностях других тестовых заданий для конкретного информационного поля. На стадии первоначального контакта с текстом необходим определенный уровень подготовленности, на базе которого развивается процесс понимания текста, определяющий интенсивность процесса прохождения от считывания информации и рационального понимания до момента целостного понимания, когда объяснение текста, состоящее в анализе его структуры, использованном аппарате обозначений, связи с другими текстами, расчленение текста на составляющие, имеющие достаточно автономный характер, переходят в предварительное понимание, новому прочтению текста, дающему возможность более полному пониманию текста в направлении, обозначенном автором текста.
17. Создана модель распаковывания смыслов, и возникновения погрешностей в рамках герменевтических подходов при рассмотрении информационных полей от совокупного знания, представленного в монографиях, статьях до лекций, методической литературы через процессы объяснения — интерпретациипонимания в рамках четырех уровней системы, позволяющей показать процесс редукции смысла на основе применения известной формулы Бейеса:
Р (ц/у) = к Р (ц)Р (у/ц).
18. Разработаны принципы построения тестовых заданий на различных видах и структурах информационных полей, в том числе на основе табличных материалов, повествовательных текстов, функциональных зависимостей, формулах и других.
При формировании тестовых заданий на соответствие необходимо провести оптимизацию его составляющих по числу множеств и числу элементов в каждом множестве. Задание не должно быть перегружено при относительно невысокой сложности. Расширение или сокращение задания не должно приводить к потере его целостности, предметности, семантической направленности. Сформулирован принцип максимального соответствия (эквивалентности) текста как элемента информационного поля и тестового задания, т. е. две знаковые системы текст и тестовое задание должны быть максимально адекватны в семантическом плане. Введено понятие тестовой модели текста или информационного поля, или поля знаний заданной предметной области. Такая модель представляет собой определённую систему с собственной структурой. Тестовое задание, являясь моделью текста, должно позволять провести его инверсию в конкретный текст, мало отличающийся от первичного текста, однако новый текст становится более кратким, лаконичным, т. е. работа над композицией тестового задания рационально структурирует содержательную и видовую часть учебного материала, оптимизирует его по объему, глубине, доступности, сложности и т. д.
Разработка тестовых заданий на соответствие тесно связана с законом максимального правдоподобия. Требование однородности элементов внутри множества трудно сохранить при увеличении количества элементов в множестве при соблюдении аналогичных требований внутри других множеств и сохранении достаточно определенных соответствий элементов различных множеств. Элементы в любом множестве должны быть однородными, с одной стороны, и свободно преобразовываться в дистракторы, с другой стороны, относительного нового элемента противоположного множества. При высокой степени однородности элементов множества они должны иметь вполне достаточную различимость при сопоставлении всех элементов различных множеств. Следовательно, необходимо руководствоваться при композиционном построении тестовых заданий на соответствие (особенно имеющих более двух множеств) принципом максимального правдоподобия или принципом максимального соответствия.
Определена методология подбора дистракторов, которые играют существенную роль в создании совершенных форм тестовых заданий.
Показано, что одни и те же элементы множеств в тестовых заданиях матричного типа становятся вариантами правильных ответов при соответствии конкретному элементу другого множества и дистракторами при соответствии другого элемента данного множества определенному элементу противоположного множества. При этом «отвлечение» или «сокрытие» правильного ответа осуществляется наиболее правдоподобным образом, дистракторы всегда становятся правильными ответами в зависимости от сопоставления конкретных элементов разных множеств, приобретая свойства истинности или ложности.
Определенные информационные поля обладают потенциальными возможностями композиционного построения тестовых задании на соответствие, когда обучающая составляющая тестового задания превосходит по своей амплитуде контролирующую составляющую, т. е. происходит инверсия функции тестового задания.
Принцип устойчивости (или принцип внутренней достаточности) тестового — задания характеризует уровень сбалансированности обучающей и контролирующей функции, как задания, так и теста в целом.
В процессе обучения, самоконтроля, должны применяться тестовые задания с заметной обучающей составляющей, а на заключительных стадиях — с высоким уровнем контролирующей составляющей.
Тестовые задания, композиционно построенные на основе принципа полного соответствия элементов множеств имеют максимальную обучающую составляющую по сравнению с другими тестовыми заданиями.
При создании несимметричных тестовых заданий матричного типа увеличивается контролирующая функция тестового задания.
19. Разработаны принципы, которые определяют основные подходы к построению тестовых заданий как основы создания измерительных систем для управления качеством учебного процесса профессионального образования:
— принцип максимальной эквивалентности;
— принцип максимального правдоподобия;
— принцип однозначности;
— принцип максимальной информативности;
— принцип устойчивости;
— принцип инверсивности;
— принцип автономности столбцов тестовых заданий матричного типа;
— принцип зависимости столбцов тестовых задании, преобразующихся в экспертные системы;
— принцип максимальной автономности элементов в отдельном множестве матричного тестового задания.
