Комплексное тестирование. 
Разработка системы автоматизированного создания резюме

Для проведения комплексного тестирования создана модель данных на основе реальных значений из LMS, полученных в процессе синхронизации, и на основе методической информации из учебных планов, относительно часов, системы контроля, наличия курсового проекта. Далее в таблицах 3.1−3.3 перечислены основные данные, которые были использованы в модели.

Таблица 3.5. Комплексное тестирование. Информация по курсам.

Таблица 3.6. Комплексное тестирование. Информация по компетенциям.

Таблица 3.7. Комплексное тестирование. Информация по профессиям

Таблицы компетенций и профессий, заполнялись исходя из реальной программы выбранных курсов и исходя из перечня наиболее популярных должностей, которые занимают выпускники по специальности «Вычислительные машины, комплексы, системы и сети». В рамках данного комплексного тестирования не стояла задача использовать все профессии, относящиеся к данной специальности, не стояло и задачи подобрать однозначные коэффициенты влияния курсов на компетенции, важности компетенции для профессий и т. п. Стояла задача показать работу систему с полноценным набором данных и в самом первом приближении проверить эффективность разработанной модели. Для этого к тестированию системы были привлечены студенты выпускники МИЭМ и МИФИ по соотвествующей специальности, в количестве 10 человек, которые использовали систему автоматизированного создания резюме и оценивали эффективность ее работы. Такое тестирование имело смысл проводить среди выпускников, так как среди них уже априори больше людей, имеющих постоянное место работы по некоторой специальности или, по меньшей мере, у них есть четкое понимание того, какой именно деятельностью они хотели бы заниматься на протяжении своей карьеры. По ходу работы с системой выпускники вводили свои итоговые оценки по внесенным в базу курсам, для некоторых из них (тех, кто проходил обучение в МИЭМ на кафедре ИКТ) средние оценки были импортированы из базы данных LMS. По результатам работы системы и опроса принимающих участия выпускников можно констатировать следующее: из принимавших участие в тестировании выпускников.

• 1. 5 — работают программированием;
• 2. 2 — занимаются администрированием;
• 3. 1 — работает 3D дизайнером;
• 4. 1 — занимается цифровой схемотехникой;
• 5. 1 — занимается менеджментом;

У 7 (четырех программистов, по одному администратору, схемотехнику, дизайнеру) из 10 проходивших тестирование текущая профессия совпадает с рекомендацией системы автоматизированного создания резюме, у 2 (программист и администратор) текущая профессия находится в тройке рекомендуемых;

на вопрос о том, соответствуют ли, в целом, выданные системой значения компетенций их собственным представлениям о своих навыках и умениях, 9 из 10 ответили утвердительно и лишь один пользователь выразил недоверие полученным значениям.

Таким образом, по результатам комплексного тестирования можно сделать следующие выводы: масштабы проведенных тестов и выборка пользователей не позволяет сделать однозначный вывод о полном успехе разработанной модели. Выбранные для тестирования коэффициенты нуждаются в тонкой настройке, в которой должны принимать участие методисты, преподаватели и сами пользователи системы. Тем не менее, показанный результат довольно точно отражает реальную ситуацию, а, следовательно, дает основания для дальнейшего развития системы.

Для отладки программного обеспечения использовались следующие средства:

• o Консоль отладки в браузере, реализованная во фреймворке Django — позволяет понять природу возникающих ошибок, и точки исходных кодов, которые к этим ошибками привели;
• o Стандартные операторы языка программирования Python, позволяющие вывести в консоль значения переменных;
• o Инструментарий среды разработки Geany;