Автоматизация и управление процессом аттестации персонала промышленных предприятий на основе квалификационных характеристик и результатов адаптивного тестирования

Одной из основных задач системы подготовки и переподготовки персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ. Аттестация сотрудников промышленных предприятий представляет собой целенаправленный интерактивный процесс взаимодействия субъектов и объектов между собой, а также с соответствующими аппаратно-программными средствами. Система аттестации является одним из компонентов системы подготовки и переподготовки персонала, в которую также входят подсистемы определения целей, содержания, методов и средств обучения, организационно-правовых форм, а также учебно-материальная, финансово-экономическая, нормативно-правовая и маркетинговая подсистемы. Оперативный контроль уровня знаний и умений сотрудников может быть обеспечен лишь за счет всестороннего использования процедур компьютерного тестового контроля, обеспечивающих динамическую идентификацию уровня подготовленности персонала. Повышение эффективности компьютерного тестирования достигается за счет адаптивных алгоритмов, разработке которых в последнее время уделяется большое внимание. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты формирования тестов вместе с процедурами анализа эффективности механизмов предъявления тестовых заданий, что и определяет актуальность настоящей диссертационной работы.

Предметом исследования являются система аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при классификации уровня знаний сотрудников промышленных предприятий.

Целью работы является повышение эффективности системы аттестации по критерию точности оценки квалификационных характеристик за счет разработки и использования методов, моделей, алгоритмов и программных средств поддержки компьютерного тестового контроля.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ методов и моделей организации процедур компьютерного тестового контроля в системе аттестации промышленных предприятий;

• разработка системы квалификационных характеристик, оценочной шкалы и формирование схемы групповой аттестации;

• разработка механизмов формирования тестовых заданий и требований к программной инструментальной среде;

• разработка и анализ эффективности методов адаптивного тестового контроля на основе создания интерактивной среды имитационного моделирования;

• разработка программно-моделирующего комплекса конструирования тестовых заданий и тестов.

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и классический теоретико-множественный аппарат. Расчет вычислительных экспериментов выполнен в пакетах Зга^эПса и МаШСаё. При разработке моделей компонентов системы тестового контроля и аттестации использовались методы математического программирования, теории случайных процессов, имитационного моделирования и др.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.

В первой главе диссертации проводится системный анализ процедур тестового контроля. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов аттестации персонала.

При разработке процедур компьютерного тестового контроля основной проблемой является оценка эффективности предлагаемых процедур с точки зрения точности оценивания уровня знаний тестируемого. Адаптивный механизм предъявления тестовых заданий предполагает выбор каждого последующего задания из базы тестовых задания в зависимости от ответов на все предыдущие. В данном случае формирование алгоритма для описания механизмов предъявления дает большую свободу при построении новых методических принципов.

Предполагается, что база данных имитационной модели содержит все сформированные запросы по вариантам формирования структуры тестовых заданий. Результаты расчетов по желанию пользователя могут быть представлены как в табличной форме, так и в графической форме. Имеется возможность сравнительного анализа выбранных решений и оптимизации распределения при заданных ограничениях.

В общем случае оценивание уровня знаний по результатам ответов на тестовые задания в диссертации рассматривается как задача управления, где на каждом шаге процедуры выбирается очередное задание, обладающее определенной сложностью.

Во второй главе диссертации рассматриваются вопросы построения функциональных соотношений описания индивидуальных свойств обучаемого. которые базируются на моделях квалификационных характеристик.

С целью осуществления мониторинга уровня сформированное&tradeтребуемых характеристик специалиста предлагается использовать комплексный показатель качества психолого-индивидуальных компетенций, где учитываются локальные коэффициенты сформированности профессиональных компетенций, число локальных коэффициентов.

Психолого-индивидуальные компетенции представляют собой способности, развиваемые в профессиональной деятельности под влиянием мотивации, которая может, как усиливать, так и ослаблять потенциальные задатки специалиста. В этой связи необходимо осуществлять постоянный мониторинг мотивационной направленности. Для определения критериев сформированности проводится тестирование выборки специалистов, успешных в своей деятельности. Для визуализации локальных показателей используется их представление в виде профилограммы, где отображаются коэффициент точности вниманиякоэффициент продуктивности влияниякоэффициент распределения вниманиякоэффициент объема памятикоэффициент творческого мышлениякоэффициент логического мышленияПрименение такой модели специалиста на основе процессного подхода и методологии «развертывания функции качества» позволяет снизить уровень неопределенности идентификации и мониторинга рассматриваемых компетенций и повысить качество аттестации и переподготовки специалистов.

В третьей главе диссертации рассматриваются вопросы построения программно-моделирующей среды компьютерного тестового контроля в системе аттестации персонала. Первичным при формировании теста, является конструирование тестового задания. В работе предлагается формализованное описание методики конструирования тестовых заданий, с использованием разработанного с участием автора конструктора тестовых заданий, который имеет следующие функциональные компоненты: графический редактор формирования структуры заданияформирование схемы разбора ответапараметризация выполнения заданияподсистема генерации Р1азЬ-файла тестового задания. Функции графического редактора используются для создания графического образа с интерактивными полями.

Круг задач тестового контроля, охватывающий основные аспекты моделирования (для методиста с целью оценки его эффективности) и непосредственного контроля, решается путем создания совокупности сценариев, включающих: метод оценки вероятностей ошибочной классификации- .(моделирующие алгоритмы) — метод переоценки сложности тестовых заданийязык формирования последовательности тестовых заданийприложение компиляции языкаприложение разбора структуры гетерогенного теставизуализация результатов тестового контроля и другие.

В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процесса аттестации персонала. Система реализована в виде отдельного программного приложения. Программный комплекс разработан по открытому принципу, что позволяет наращивать его функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы.

Модуль построения сцены ответственен за визуализацию расположения объектов на сцене и задание свойств объектов. Содержит основные компоненты: инспектор компонент, инспектор свойств выделенного компонента, редактор сцены, палитра компонент. Эти компоненты взаимосвязаны друг с другом, таким образом, что изменения свойства объекта в одном компоненте (например, в инспекторе свойств) немедленно влечет обновление остальных компонент (например, изменения сразу отображаются в редакторе сцены). Модуль проектирования решения визуализирует граф решения. Позволяет задавать последовательность действий для правильного решения теста, указывать какие действия можно совершать параллельно. На основе данных графа модуль строит регулярное выражение, задающее класс правильных ответов на тест. Модуль скриптов теста позволяет добавить программные обработчики к тесту. Обработчики пишутся на языке программирования JavaScript. Обработчики динамически подключаются к тесту на этапе выполнения. Они позволяют реализовать любую функциональность теста, графическое задание которого было бы затруднительно (например, пересчет некоторых параметров при определённых действиях пользователей). Модуль упаковки теста позволяет собрать XML документ теста вместе со всеми ресурсами и библиотеками в единую структуру, готовую для сохранения в базе данных и распространению конечным пользователям. Модуль проигрывания теста позволяет запустить тест в режиме проигрывания. Все действия пользователя автоматически записываются для дальнейшего анализа. Модуль обработки ответа пользователя проверяет правильность действий пользователя при прохождении теста и сравнивает его на совпадение с регулярным выражением, задающим правильный ответ теста.

В заключении представлены основные результаты работы.

В приложении приводятся акты внедрения результатов диссертационной работы.

Научную новизну работы составляют методы и модели организации аттестации персонала промышленных предприятий на базе адаптивных механизмов тестового контроля. На защиту выносятся:

• модели формирования бальных шкал и оценок квалификационных характеристик;

• комбинированный алгоритм вычисления сложности заданий и уровня подготовленности участников тестирования по схеме групповой аттестации;

• автоматная схема описания проигрывателя тестовых заданий с встроенным компилятором формирования последовательности тестовых заданий.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов обучения и тестового контроля ряда образовательных учреждений, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в учебных центрах предприятий транспортного комплекса.

Научные результаты, полученные в диссертации, доведены до практического использования на транспортных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки учебных программ и процедур тестового контроля.

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2009;2012гг.);

• на заседании кафедры АСУ МАДИ.

Совокупность научных положений, идей и практических результатов исследований в области автоматизации образовательного процесса составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля и аттестаций сотрудников транспортных предприятий.

По результатам выполненных исследований опубликовано 7 печатных работ.

Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 132 страницах машинописного текста, содержит 37 рисунков, 19 таблиц, список литературы из 123 наименований и приложения.

Выводы по главе 3.

1. Разработаны правила и принципы конструирования создания тестовых заданий. Сформированы требования к инструментальной среде создания интерактивных тестовых заданий с единых позиций автоматной схемы разбора корректности выполнения.

2. Разработан метод оценки весов для уровня сложности тестовых заданий, входящих в статический тест на базе процедур дискриминантного анализа. Проведен анализ влияния коррелированное&tradeответов на веса сложности и разделяющую константу при классификации.

3. Разработана имитационная модель оценки матрицы ошибочных классификаций, параметризация которой включает размерность шкалы сложности, планы теста и механизмов предъявления, количественный состав группы тестируемых.

4. Построена марковская цепь процесса адаптивного тестового контроля, состояниями которой являются сложности заданий, а переходные вероятности определяются на основе логистической функции. Получены аналитические соотношения стационарных вероятностей цепи и показана их взаимосвязь с функцией уровня знаний.

4. ПРОГРАММНО-МОДЕЛИРУЮЩИЙ КОМПЛЕКС И АПРОБАЦИЯ СИСТЕМЫ АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ.

В главе разрабатываются принципы создания программного комплекса поддержки процедур формирования тестовых заданий и алгоритмов адаптивного тестового контроля в системе переподготовки персонала транспортных предприятий. Приведена структура программного комплекса, построена инфологическая модель базы данных.

4.1. Проектирование структуры программного комплекса и интерфейса баз данных.

При разработке структуры программного комплекса основной задачей было создание открытой системы с адаптивным интерфейсом и возможностью организации информационных связей с другими инструментальными средствами поддержки системы обучения по комбинированным технологиям.

4.1.1. Функции пользователей системы тестового контроля.

При реализации функций системы выделим классы пользователей системы: администратор (А), методист (М), консультант (Р) и обучаемый (О). Все эти категории пользователей отличаются по их отношению к учебным материалам (и), которые определяют совокупность неделимых единиц учебной информации, соответствующих структуре знаний специализации, и тестовым заданиям (Т), которые необходимы для контроля уровня знаний обучаемых. Все указанные категории пользователей работают в одном информационном пространстве. Кроме того, руководители предприятий должны иметь возможность оперативного просмотра результатов переподготовки, что приводит к задаче сопряжения с системой мониторинга.

Аттестация сотрудников, как один из инструментов управления персоналом, позволяет вырабатывать управленческие решения и решать вопросы не только управления кадрами, но и стратегического управления, планирования и развития.

Аттестации сотрудников транспортных предприятий представляют собой целенаправленный интерактивный, асинхронный процесс взаимодействия субъектов и объектов обучения между собой и со средствами обучения Общепринятыми компонентами системы аттестации являются подсистемы, целей обучения, содержания обучения, методов обучения, средств обучения. организационных форм обучения. а также идентификационно-контрольная, учебно-материальная, финансово-экономическая. нормативно-правовая, маркетинговая подсистемы Эффективность может быть достигнута лишь за счет вложенной в систему адаптивности, гибкости, модульности, параллельности, технологичности и др

4.1.2. Организация диалога в системе тестового контроля.

Обеспечение рационального диалогового взаимодействия в адаптивной сис1еме тестового контроля достигается на основе выделения множества парамефов диалога, существенных с точки зрения, как процесса компыоюрного тестирования, так и психологически оптимальных условий общения.

Сфера применения диалога охватывает процесс разработки ППТЗ, ППТ и технологий компьютерного тестирования Реально компьютерный тестовый диалог нацелен на получение либо классификации испытуемых по уровням их подготовки, либо, на оценку уровня достижений тестируемых из заданного класса Определение сферы применения диалога означает ппанирование того, какие по трудное I и ППТЗ разрешается системе предъявлять испытуемым.

По функции различают основной и вспомогательный диалог Основной диалог 01 носится к взаимодействию испытуемого с тестирующей системой и реализует требуемый результат тестового контроля. Вспомогательный диалог (метадиалог) предназначен для понимания компьютерного текста вводимого разработчиком ППТЗ, модификации, выбора и накопления банка заданий.

Вспомогательный диалог инициируется тестирующей системой с целью уточнения сообщения разработчика ППТЗ и администратора системы — это так называемый метадиалог. Для облегчения вспомогательного диалога используется выбор из меню. Чтобы обеспечить реципиентам разработку и ввод ППТЗ используются специальные символы, располагаемые в верхней части экрана (окна).

Различают два вида адаптации компьютерного диалога: адаптация к ситуации выполнения ППТЗ и адаптация к испытуемому.

Адаптация системы учебной ситуации означает, что сообщения, которые испытуемый вводит в компьютер, анализируется в контексте решения учебной задачи, причем каждое сообщение испытуемого соотносится заложенной в программу соответствующим ответом. На основе анализа качества ответов принимается решение о соответствующем тестирующем воздействии.

Адаптация диалога к испытуемому (индивидуализация) осуществляется при наличии в системе модели конкретного испытуемого, и компьютер выдает контролирующее воздействие с ее учетом.

Индивидуализация диалога может осуществляться на нескольких уровнях. Первый уровень — учет истории ответов данного объекта, т. е. накопление и анализ данных по успешности его деятельности при выполнении ППТЗ, статистика его ошибок и выдача последующих контролирующих воздействий с учетом этой статистики. Модель испытуемого, реализованная в такой программе, весьма примитивна, поскольку в ней представлен только один чисто результативный параметр его учебной деятельности.

Следующий уровень предполагает обогащение модели испытуемого с учетом множества параметров его деятельности (стиль познавательной деятельности и т. п.).

Важнейшим параметром диалога, реализуемого тестирующей системой, является уровень его педагогической направленности. Такая направленность наблюдается в ситуациях, когда тест ориентирован на предметную экранную область, т. е. его цели не выходят за пределы выполнения теста и считается достигнутым, если получен конкретный результат — исходный балл испытуемого. При этом в случае затруднений программа осуществляет переключение модели объекта согласно имеющейся в семантической сети фреймам ситуаций (классам). В этом случае еще нет личностного оценивания, а есть управление структурой испытуемого.

Основа процесса компьютерного тестирования — оценка истинного балла конкретного испытуемого выступает здесь как побочный продукт деятельности объекта. Этот вид диалога, который применяется во многих системах компьютерного контроля часто без должного обоснования механически переносится на компьютерную технологию тестового контроля.

Рассматриваемый уровень педагогической направленности может быть реализован при классификации испытуемых на персональных компьютерах, в ЛВС и с применением интернет технологий. Его можно отнести к области самотестирования, результатом которого является отнесение конкретного испытуемого к определенному классу.

На втором уровне педагогической направленности диалога компьютерного тестового контроля его цели требуют выполнения ППТЗ, уровень трудности которых строго соотнесен к уровню способностей к о н кр етн о го и с п ы ту е м о го.

Результатом компьютерного тестирования на втором уровне является индивидуальная оценка — истинный балл испытуемого данного класса обученности. В интеллектуальных тестирующих системах программа реализует определенную модель объекта, потом по мере диалога, эта модель развивается, обучается и индивидуализируется в ходе анализа действий конкретного объекта.

Тесты, обладающие личностной отнесенностью к уровню подготовки испытуемого, адекватнее понимаются и формируют определенные отношения к принципу тестирования, преодолению препятствий, способности объекта оценивать собственную мыслительную деятельность, применение стратегий и т. п.

Данный вид диалога реализуется на персональных компьютерах или ЛВС при обеспечении присутствия преподавателя или администратора сети. Проведение личного компьютерного тестирования с итоговым оцениванием уровня достижений испытуемого и заключение юридически защищенных договоров rio сети интернет практически невозможно. Это связано с тем, что вся деятельность в электронной сети основана целиком на доверии, ибо никаких правовых механизмов поддержки операций в сети интернет в настоящее время не существует. Авторизовать субъекта электронной сети, удаленного от банка ППТЗ, нереально.

Параметр симметричности диалога относится к мере инициативы, доступной для объекта и квазиобъекта по общению. Симметричный диалог предполагает равенство партнеров в инициировании шагов диалога. В компьютерном диалоге реально симметрия недостижима, поэтому можно говорить о разной степени асимметрии и ее дидактической целесообразности при разработке, модификации ППТЗ (тестов) и компьютерных технологий тестового контроля. При жесткой детерминации деятельности испытуемого в программу контроля заложена асимметрия диалога в пользу компьютера. Испытуемый получает возможность корректировки ответов до их ввода, выход из диалога в режиме анонимного или социально-ориентированного общения, когда сочтет это необходимым.

4.2. Структура базы данных системы тестового контроля.

База данных локального варианта конструктора тестовых заданий реализована на Access, а сетевой вариант на базе MS SQL Server. Основные таблицы базы локального варианта представлены на рис. 4.1. и 4.2.

Имя поля. | Тип данных 1 — Описание ш., счетчик Ключ.

Name ' Текстовый Название тестового задания.

BackCulor — Текстовый Задний фон.

Backl mage 1 Текстовый Полный путь к фоновой картинке.

Type ¦ Числовой Режим тестирования (тренировка, контроль).

Vid і Числовой Типзадания (перетаскивание, зап°лненне).

Font Текстовый [Шрифт по умолчанию.

Color Числовой Цвет шрифта по умолчанию.

Size • Числовой Размер шрифта по умолчанию.

Bold Логический Жирный по умолчанию.

Italic :Логический Курсив по умолчанию.

Underline .Логический Подчеркивание по умолчанию.

StrikeOut ¦ Логический Зачеркнутое по умолчанию.

Transparent .Логический Прозрачность.

Level^{Числовой} ^Уровень сложности задания.

BacklrnageNam э. Текстовый Имя фоновой картинки.

FileName ] Текстовый Имя файла.

File 1 Текстовый Полное имя файла.

Рис. 4.1. Таблица описания тестового задания.

Имя поля Тип данных Описание т Счетчик Ключ.

Магпе Текстовый Имя для генератора.

Test Числовой Привязка к тестовому заданию.

Type Числовой Тип объекта (текст, картинка, флэш-ролик).

Top Числовой Верхнее положение объекта.

Left Числовой Левое положение объекта.

Width Чисповой Длинна объекта.

Height Числовой Высота объекта.

Font Текстовый Шрифт надписи.

ColorЧисловой Цвет шрифта объекта.

Size Числовой^Размер шрифта объекта.

Bold Логический Жирный шрифт объекта.

Italic Логический Курсив шрифта объекта.

Underline Логический Подчеркнутый шриф|Т объекта.

StrikeOut Логический Зачеркнутый шрифт объекта.

Text Поле MEMO Надпись.

Link Числовой Полное имя вставляемого файла.

FileName Те-кстовый Имя файла.

Рис. 4.2.