На современном этапе развития сферы тестовых технологий, полученные теории и методики занимают важное место в решении проблем, связанных с повышением уровня качества профессионального образования. Образование занимает существенное место в развитии общества (развитие науки, духовное развитие, наследование культуры, ценностей и т. д.), личности (социализация' человека) и в настоящее время представляет собой ценность и необходимость для каждого из нас. Совокупность требований, предъявляемая к современному человеку, определяет необходимое качество — высокий уровень информационной культуры, развитый интеллект, умение грамотно работать с любой информацией. Образование — это процесс информатизации общества (личности), способствующий интеллектуализации всех видов человеческой деятельности, а также развитию творческого потенциала индивида;
Проблемы качества подготовки специалистов с. высшим образованием представляет собой совокупность актуальных теоретических и практических вопросов в сфере качества подготовки специалистов с высшим образованием, требующих исследования и решения в целях обеспечения сбалансированного соответствия подготовки специалистов многообразны потребностям, нормам, стандартам.
Управление качеством образования связано с идентификацией потребителя и его требований и общим развитием и улучшением научно — образовательного потенциала вуза с учетом формирования инновационной среды образовательных процессов для предоставления образовательных услуг с новым конкурентоспособным качеством.
Для управления качеством необходимым является воздействие на процессы становления, обеспечения, поддержки развития качества по отношению к объектам и процессам в высшем образование со стороны «субъекта управления» и организация им обратной связи (контроля, оценки, анализа) в соответствии со сформулированными целями, нормами, стандартами. На современном этапе приобретает особое значение работа по определению системы показателей качества, методов измерений и измерительных устройств, к которым наиболее часто относят тесты. Наиболее трудным и существенным является «постулат об „измеримости“ составляющих образовательного процесса, его характеристик и параметров (семантических величин), то есть возможности формализации измерительных процедур, как это успешно сделано при измерении физических величин. Проблема приобретения заданного уровня образованности, удовлетворяющего общественным и личным потребностям, может быть решена с использованием полученных ' достижений в области тестовых технологий, представляющая измерительный аппарат в системе высшего профессионального образования. Создание системы оценки качества подготовки основывается на теории научной организации тестового контроля и использовании возможности тестов: Системные и процессуальные аспекты образования» также могут быть стандартизированы и, следовательно, обладать признаками диагностичности № проверяемости. Так, проблема результативности в образовании достаточно тесно связана с понятием «распознавания образов, рассуждая^ о сравнении полученных результатов в образовании с эталонными по оптимальному числу наиболее существенных параметров», которых должно быть достаточно для обоснованного суждения о соответствии результатов (контроля'тому или иному стандарту.
В принятом от 21.12.09 г. Федеральном государственном образовательном стандарте высшего профессионального образования отмечается, что высшее учебное заведение обязано обеспечить! качество подготовки, тесно взаимосвязанное с разработкой объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников (типовые задания, контрольные работы, тесты), которым требуются модернизация и развитие на основе появления! новых направлений.
Измерительные процедуры, которые в основном базируются на тестовых технологиях, позволяют получить адекватную информацию о состоянии учебного процесса на различных его этапах и сигнализировать о недостатках в различных составляющих. Оптимальные тестовые структуры позволяют проводить мониторинг обучаемости студентов в текущих ситуациях, а также выявлять, при необходимости, остаточные знания. Полученные результаты и характеристики должны определить выбор адекватных решений, направленных на повышение качества учебного процесса. Создание оптимальных тестовых композиций является актуальной задачей и нерешенной в настоящее время.
Применяемые конструкции тестов, как правило, сводятся к тестам на выбор правильного ответа среди некоторого перечня представляемых. Реже используются структуры, получившие название «на соответствие», в которых задаются два множества элементов, соответствие среди которых необходимо найти. При этом одно из них является основным множеством (события: объекты, образы, явления, процессы и т. д.), другое — вспомогательное (признаки)! Переход от таких структур к композициям матричного типа, состоящих из нескольких множеств (более 2-х) — где одно множество является основным (событий), а остальные вспомогательными (признаков), позволяет выйти на. новый уровень оценочных процедур, в том числе с использованием логистических моделей и систем распознавания образов.
Кроме того, простейшие структуры тестовых заданий, включая' на выбор правильного ответа, и соответствующие тесты, созданные на их основе, обладают фактически только контролирующей функцией, тогда, как предлагаемые в диссертации оптимальные тестовые композиции имеют значительную величину обучающей составляющей, что позволяет принимать своевременные и сбалансированные решения^ по управлению учебным процессом иповышению его качества.
Понятие многократных измерений как способа' избавленияот погрешности практически не нашел применения в тестовых образовательных технологиях, что снижает достоверность их применения в оценке знаний обучающихся.
Существенный вклад в достижении значительных успехов в данном направлении внесли известные исследователи в области:
— квалитологии (А.И. Субетто, Коломиец, A.B. Титов, JT.B. Макарова, В.И. Байденко);
— теории и практики измерений в образовании (В.В. Налимов, А. И. Субетто, JI.B. Макарова, И.А. Зимняя);
— теории и практики создания педагогических тестов и тестовых технологий (B.C. Аванесов, М. Б. Челышкова, П. Клайн, Ю. М. Нейман и другие);
— разработки управленченского решения (Д.А. Новиков, Б.Г. Литвак).
В настоящее время тестирование способно усовершенствовать организацию образовательного процесса, путем внедрения постоянного текущего контроля с возможностью управления учебным процессом, а контроль, в свою очередь, является системообразующим элементом. С помощью тестов наиболее возможным становится выявление пробелов в подготовке обучающихся, а также устанавливание причин их возникновения, что является существенным моментом в педагогической деятельности.
Однако до настоящего времени научно обоснованная система показателей качества подготовки обучаемых с помощью тестовых моделей не создана.
Цель работы — повышение результативности учебного процесса высшего профессионального образования"на основе создания и исследования оптимальных тестовых композиций матричного типа.
Для достижения указанной цели поставлены следующие задачи:
1. Определение вероятности появления нового знания на основе иерархической модели структуры передачи информации от источников знаний. Оценка уровня информативности источников информации • одной или ряда групп относительно появления нового знания.
2. Вычисление критерия оптимальности тестовых композиций различной формы с помощью формул Байеса.
3. Разработка новых принципов формирования тестовых структур на основе сложных композиций матричного типа.
4. Разработка логистических моделей для интерпретирования возможности создания тестовых заданий и экспертных систем.
5. Оптимизация современных моделей теории тестов на основе преобразования трехпараметрической логистической модели А. Бирнбаума в двухпараметрическую.
6. Применение многократного тестирования для многократных наблюдений в учебном процессе.
Научная новизна диссертационной работы заключается в следующем:
1. Предложен алгоритм определения вероятности появления нового знания' в образовательной процедуре и оценки уровня информативности источников информации одной или различных групп относительно появления нового знания, отличающаяся использованием иерархической модели структуры передачи информации от источников знаний и критерия оптимальности тестовых композиций на основе теории Байеса1.
2. Построена методика применения разработанных автором логистических правил для формирования интегрированных тестовых композиций матричного типа.
3. Создан метод, позволяющий свести трехпараметрическую модель А. Бирнбаума к двухпараметрической понижением коэффициента случайной идентификации.
4. Разработан алгоритм идентификации вычисляемых параметров в образовательных системах с использованием многократных наблюдений, отличающийсяуменьшением погрешности при использовании тестовых технологий.
Во введении обосновывается актуальность задачи, решенной в диссертационной работе.
В первой главе проведено исследование проблемы качества высшего профессионального образования и пути ее решения с помощью тестовых технологий. Рассмотрена возможность и обоснована необходимость использования тестовых технологий в образовательной системе, позволяющих управлять качеством учебного процесса. Проведен обзор публикаций в области разработки, исследования и применения тестовых технологий, и на его основе выполнен критический анализ. Сформулирована цель работы и определены задачи, решение которых необходимо для ее достижения.
Во второй главе рассматриваются вопросы, связанные с адекватным преобразованием текста, представленного в различных источниках, в тестовые композиции и оценка возможных потерь информации. Для решения этой задачи предложен метод, основанный на применении формулы Байеса.
В третьей главе представлены разработка и интерпретация логистических моделей.
В четвертой главе приведена оптимизация применения тестовых композиций в образовательном процессе. Разработан метод понижения коэффициента случайной идентификации, позволяющий преобразовать трехпараметрическую модель А. Бирнбаума в двухпараметрическую модель. Обоснована необходимость многократных наблюдений как основы достоверности измерений в тестовых' образовательных технологиях. Л.
Основные положения и результаты работы обсуждались и докладывались на Международной научно-технической конференции «Радиотехника и связь» (Саратов, 2006 — 2009) — Международной научно-технической конференции «Актуальные проблемы электронного приборостроения» (Саратов, 2006, 2008) — Международной научно-практической конференции «Современная техника и технологии СТТ» (Томск: ТПУ, 2008) — II Всероссийской научно-технической конференции «Информационные технологии, системы автоматизированного проектирования и автоматизация» (Саратов, 2010) — Всероссийской научно-практической конференции молодых ученых «Инновации и актуальные проблемы техники и технологий» (Саратов, 2010).
Диссертационная работа поддержана фондом содействия развитию малых форм предприятий в научно-технической сфере в рамках программы «У.М.Н.И.К.».
По теме диссертации опубликовано 23 публикации из них 7 в журналах из перечня ВАК.
4.3 Основные результаты и выводы по главе 4.
1. Рассмотрены показатели' качества тестовых композиций, полученные с помощью математико-статистической обработки эмпирических данных, позволяющие оценить пригодность тестовой композиции в соответствии с целью разработки и применения тестовой структуры, что является неотъемлемой частью в процессе его проектирования и поправки.
2. Впервые предложен метод понижения коэффициента случайной идентификации С} в тестовых композициях матричного типа. В результате анализа тестовых композиций на соответствие с различным уровнем' трудности, разработанных с учетом новых методов и правил на возможность снижения эффекта случайное идентификации к минимуму, расчета коэффициентов случайное идентификации для тестов матричного типа позволили выделить правило проектирования тестовых композиций матричного типа на соответствие с С} -" 0:
При наличие в основном и вспомогательных множествах числа элементов п, у, к., л > 4 трехпараметрическая модельА. Бирнбаума преобразуется в двухпараметрическую.
3. Обоснованна необходимость применения многократных наблюдений в тестовых технологиях с целью повышения уровнядостоверности результатов измерений. В результате анализа характеристик, полученных при многократных наблюдений, было выявлено, что: «.
— во-первых, трехкратное тестирование позволяет существенно изменение снизить погрешность измерений, таким образом получить наиболее точные данные об уровне подготовки тестируемого, а, следовательно, о качестве образования в целом, однако картина измерений остается неустойчивой и следует провести дальнейшее увеличение числа измерений, увеличивая сложность тестовых заданий, что приведет к смещению максимума влево;
— во-вторых, многократное тестирование обладает не только контролирующей, но и обучающей функцией, которая способствует лучшему пониманию предметной области, ее особенностей и основных характеристик.
4. Рассмотрен анализ тестового задания дихотомического типа «ЛЕВ, ЛОВО илиМ типа в генераторном или усилительном режиме», полученного на основе тестовой композиции матричного типа, на соответствие показателям качества теста с помощью математико — статистической обработки данных.
5. Для анализа тестовых характеристик, результатов тестирования проведена адаптация программ по использованию вейвлет — функций для анализа сигналов различного вида «8сЬеш5гау1». Анализ характеристик распределений и полигонов частот результатов тестирования на основе вейвлет-спектрограмм, контурных и поверхностных графиков, указывает на то, что многократное тестирование, проводимое на основе оптимальных тестовых композиций матричного типа, соответствующих критериям качества теста, обеспечивает не только рост эффективности контролирующей составляющей, но и наличие обучающей составляющей данного процесса, что видно из смещения характеристик каждого последующего тестирования в сторону наивысших баллов.
Заключение
.
Диссертационная работа на тему «Разработка оптимальных тестовых композиций для высшего профессионального образования» посвящена детальному исследованию существующих актуальных проблем в сфере высшего профессионального образования, а именно:
• повышение качества подготовки выпускников по специальностям^ (направлению подготовки в вузе);
• повышение качества подготовки студентов по этапам обучения;
• - повышение конкурентоспособности выпускников по специальностям на отечественном и международном рынках труда;
• уменьшение числа отчисленных студентов;
• рост эффективности научно — исследовательских работ и их взаимосвязей с образовательным процессом;
• увеличение вклада в обеспечение социально — экономического развития регионального социума.
В' работе представлены возможные перспективы развития высшего профессионального образования в направлении более высокого международного уровня на основе использования новых методик и направлений в сфере тестовых технологий.
На современном этапе приобретает особое значение работа по определению системы показателей качества, методов измерений и измерительных устройств, к которым наиболее частоотносят тесты (тестовые технологии).
В работе показаны основные формы тестовых структур, рассмотрены основные показатели, характеристики композиций, позволяющие оценить эффективность их применения в изучаемой области.
В связи с этим, проведено аналитическое исследование понятия качества, позволяющее изучить основные признаки, раскрывающие семантику за данной категории, представлены основные цели системы высшего образования, совокупность внешних и внутренних факторов, влияющих на качество высшего образования, представлены интегрированные процессы управления необходимые.
125 организовать для роста уровня вуза. Рассмотрена составная часть науки квалитологии — квалиметрия, изучающая измерения и оценку качества объектов, систем, процессов. Квалиметрия образования позволяет оценить качество систем образования-, эффективность действующей" структуры^ выявить положительные и отрицательные стороны функционирующего образовательного комплекса. С учетом специфики данного направления под качеством образованияпонимают «степень достижения заданного уровня обученности, связанного сформированием определенных знаний, умений и навыков».
В качестве метода-, регулирования^ учебным процессом разработаны, автором, новые процедурыИ1 методы, тестовых технологийспособные усовершенствовать организацию образовательногоь процесса, путем: внедрения, постоянного текущего контроляс: возможностью, управленияучебнымпроцессом, а контроль, в свою очередь, являетсясистемообразующим: элементом, причем с помощью полученных достижений? возможнымстановится выявление пробелов в подготовке обучающихся, с дальнейшим определением причин их возникновениячто являетсясущественным моментом в педагогической деятельности. Для" наиболее глубокого изучения^ метода регулирования качеством в работе представлены виды контроля, его основные функции. Также приведены. и проанализированы достоинства метода тестовой" оценки, как метода контроля-образовательного процесса;
В? работе автором представлены, как, известные критерии качества тестовых структур, определяющих их эффективность, среди которых надежность и валидность тестовой композиции, так и новые, с учетом представленных подходов и методов.
Качество тестовой структуры определяет качеепю тестовой' оценки, знаний обучающихся. При этом достоинствами такого метода контроля образовательногопроцесса являются:
• достаточно высокая объективность, процесса измерений, незначительный уровень влияния субъективных факторов;
• объективность интерпретации результатов;
• необходимый уровень надежности, возможность обеспечения валидности измерений, валидности содержанияточность, экономия времени;
• возможность управления познавательной деятельностью обучающихся.
Знания тестируемого по дисциплине составляют меру качества, которая выражается через полученные результаты. В работе автором, представлены этапы формирования корректной тестовой композиции, способной обеспечить необходимое качество подготовки специалистов. В области тестовых технологий при генерировании тестовых композиций различного вида и сложности необходимым является их удовлетворение* целому набору принципов и характеристик, причем понятие «качество» выражает ценность, полезность и пригодность теста.
Критерии качества теста могут быть изучены с1 помощью? следующих методов:
• ' статистические методы (диаграмма сродства, причинно — следственная диаграмма, диаграмма в виде дерева);
•' законы комбинаторики;
•5 формулы Байеса;
• ' логистические моделей;
•1 математико-статистическая обработка тестовых структур;
• метод понижения, • коэффициента. случайной." идентификации (двухпараметрической модели А. Бирнбауматрехпараметрической логистической модели А. Бирнбаума);
• многократные наблюдения.
Автором рассматренывопросы, связанные с адекватным преобразованием текста, представленного * вразличных источниках, в тестовые композиции, и возможными потерями при таких преобразованиях. Впервые предложена иерархическая модель передачи информации от различных источников информации в рамках герменевтической процедуры «объяснение — понимание — интерпретация», а также в качестве радиотехнической системы. При проектировании тестовых композиций важным моментом является выбор источника информации для работы с конкретным тестом, позволяющегополучить структуры, отвечающие критериям качества теста и реализующие возможные функции тестовых технологий по управлению качеством образовательной процедуры. При необходимости работать с.
127 современными источниками информации с целью актуализации «банка» тестовых композиций в рамках исследуемой области.
В работе автором построен алгоритм применения методов статистической обработки, позволяющий получить корректно структурированные тестовые композиции, что определяет возможности теста как в роли контролирующей составляющей, так и обучающей, тесно взаимосвязанной с управлением качеством учебного процесса.
Автором сформулирован критерий оптимальности, полученный на основе нового метода исследования качества тестовой композиции с помощью соотношений Байеса, позволяющий оценитьструктуру * на оптимальность подобранных элементов основного и вспомогательных множеств (критерий оптимальности), что характеризуется-, в свою очередь, набором критериев.
Hai основе разработанных автором комплекса тестовых композиций на соответствие матричного типа по направлению'"Электроника и микроэлектроника", фактически представляющие собой элемент системы распознавания образов, были приведены интерпретация’структур, позволившая исследовать тесты на достаточность и избыточность элементов вспомогательных множеств, а также определить возможность идентификации объектов в рамках решении задачи системы распознавания образов.
В работе автором представлен метод формирования тестов с использованием законов комбинаторики (бином и полином Ньютона, метод случайной выборки), который является достаточно эффективным, т.к. может быть использован для составления не только простых заданий, но и тестовых композиций матричного типа различного уровня трудности.
В работе наиболее интересны, впервые представленные автором, логистические схемы тестовых композиций различного уровня трудности, рассматриваемые, начиная с истории возникновения понятия «логистики», заканчивая глубоким анализом построенных логистических моделей и схем. Такая система, при определенных условиях преобразующаяся в распознавание образов, опираясь на логику распознавания объектов исследования, дает возможность получить наиболее полную информацию об изучаемых распознаваемых устройствах, позволяет наиболее широко исследовать их признаки и свойства, а, следовательно, структуры можно анализировать с позиций достаточности и избыточности характеристик, что лучше детализирует материал и способствует расширению возможности идентификации устройств, используя различные сочетания множеств.
Возможности логистической модели:
• создание интегрированной эффективной системы управления, регулирования и контроля информационных потоков, предоставляющие возможность наиболее детализировано изучить исследуемый материал;
• определение наиболее правдоподобных соответствий (связей) между объектами и информационными потоками (признаками, свойствами);
• предоставление возможности управления и контроля, за отдельными данными* об, объектах для. обеспечения" передачи наиболее полной и достоверной информации обучающемуся в процессе исследования;
• предоставление возможности1 развития навыков анализа исинтеза в соответствии со спецификой представления логических цепочек (специальные обозначения основных и вспомогательных элементов в^ форме-геометрических фигур с соединительными логическими траекториями);
• предоставление возможности управления операциями движения по< траекториям^ с выявлением наиболее коротких и информативных цепочек взаимосвязей (принцип достаточности, принцип избыточности), если они существуют.
Автором впервые предложен метод понижения коэффициента случайной идентификации CJ и формула расчета С для тестовых композиций на соответствие.
В результате* анализа тестовых композиций на соответствие с различным уровнем трудности, на возможность снижения эффекта случайное идентификации к минимуму получено правило проектирования тестовых композиций матричного типа на соответствие с CJ 0, а именно, при наличии в основном и вспомогательных множествах числа элементов п, у, к., л > 4 трехпараметрическая модель А. Бирнбаума преобразуется в двухпараметрическую.
В работе автором обоснована необходимость многократных наблюдений как основы достоверности измерений в тестовых образовательных технологиях. С помощью программы «Конструктор Тестов Адаптивной Среды Тестирования ACT» проведены эксперименты в виде многократного тестирования группы учащихся по направлению «Электроника и микроэлектроника» с целью выявления и снижения к минимуму погрешности экспериментальных измерений, для получения наиболее достоверных данных об уровне (качестве)' подготовки тестируемых в рамках конкретного курса. В результате анализа характеристик, полученных при многократных наблюдений, выявлено следующее:
— во-первых, многократное тестирование позволяет увидеть существенное изменение результатов, что дает возможность снизить к минимуму погрешность измерений, таким образом получить наиболее точные данные об уровне подготовки тестируемого, а, следовательно, о качестве образования в целом, однако картина измерений остается неустойчивой и следует провесги дадьнейшее увеличение числа измерений, увеличивая сложность тестовых заданий, 5 что приведет к смещению максимума влево;
— во-вторых, многократное тестирование обладает не только контролирующей, но и обучающей функциейкоторая способствует лучшему пониманию предметной области, ее особенностей и основных характеристик.
Также автором проведен анализ тестового задания дихотомического типа «ЛБВ, ЛОВО илиМ типа в генераторном или усилительном режиме» и комплексного тестового задания матричного типа."Диоды", на соответствие показателям качества теста с помощью математико — статистической обработки данных.
В работе автором проведена адаптация программного продукта по использованию вейвлет — функций для анализа сигналов различного вида «Schemsravl», к анализу тестовых характеристик, результатам тестирования.
Автором разработана схема проектирования, разработки и применения новых методов и подходов для получения оптимальных тестовых композиций, I позволяющие управлять качеством учебного процесса (ex. 12).
Схема 12.
СИу>
Применение ТК Многократные наблюдения как основа достоверности измерений (многократное тестирование).
Анализ ТК на соответствие показателям качества теста с помощью математикостатистической обработки результатов тестирования.
Адаптация программного продукта «БсІіеітгау1» к анализу тестовых характеристик, результатов тестирования.
Схема представляет собой этапы проектирования и разработки тестов в тестовых технологиях, позволяющие реализовать образовательную и контролирующую функцию данного направления, что, в свою очередь, выявляет качество образовательного процесса на различных уровнях.
На основе результатов исследования выделены основные направления управления качеством учебного процесса с помощью полученных в диссертационной работе достижений в сфере тестовых технологий:
• повышение качества подготовки выпускников по специальностям (направлению подготовки в вузе);
• повышение качества подготовки студентов по этапам обучения;
• уменьшение числа отчисленных студентов;
• рост эффективности научно — исследовательских работ и их взаимосвязей с образовательным процессом.
