Этапы выполнения проверки задания

Определим упорядоченный список этапов проверки заданий:

• 1. Работа загружена студентом;
• 2. Выполняется проверка правил задания, заданных преподавателем. Определяется набор проверок, необходимых для проведения тестирования;
• 3. Основываясь на определенных в шаге 2 проверок, начинается параллельная проверка статического анализа кода за исключением проверки на плагиат (даже если она была указана в качестве правил, заданных преподавателем), а также проверка исполнения программы;
• 3.1. Используя определенный в шаге 2 набор необходимых проверок исходного кода, начинается статический анализ кода. Проверки могут быть запущены параллельно по причине независимости их результатов. Для увеличения скорости проверки алгоритмы могут быть объединены, но это является частным случаем;
• 3.2. Используя определенный в шаге 2 набор необходимых проверок для тестирования поведения программы, начинается тестирование, состоящее из следующих шагов:
• 3.2.1. Загруженные файлы студентом (student files) и файлы, предоставленные преподавателем, для проведения тестирования (secret files) объединяются в один проект;
• 3.2.2. В случае, если программа представлена в виде исходного кода на компилируемом языке, начинается сборка проекта. Если проект не может быть удачно собран, проверка прерывается, и все последующие фазы, которые планировалось провести для тестирования поведения программы считаются провалившимися;
• 3.2.3. В случае, если необходимо провести юнит-тестирование проекта, программа запускается вместе с юнит-тестами, предоставленными в файлах проверки (secret files);
• 3.2.4. В случае, если необходимо провести тестирование с помощью проверки взаимодействия программы с командной строкой, программа запускается и в нее передаются данные, предоставленные в файлах проверки (secret files). Ожидаемый выход программы также представлен в файлах проверки, который используется для определения корректного поведения программы;
• 4. В случае завершения всех проверок (за исключением плагиата), определяется правило (набор подправил), формирующих оценку;
• 5. После определения правила оценивания, начинается формирование оценки — применение подправил к значениям метрик, полученным в ходе тестирования различных критериев;
• 6. После применения правила оценивания, полученная оценка запоминается. Далее генерируется три вида отчета, основанных на настройках доступа к отчету о проверке студентом: отчет для просмотра студентом до окончания приема работ, отчет для просмотра студентом после окончания приема работ, отчет для просмотра преподавателем.

Схематическое представление последовательности этапов проверки продемонстрировано на рис. 4.

Проверка заданий на плагиат осуществляется при наступлении окончания срока приема заданий на проверку или по запросу преподавателя.

Рисунок 4. Схематическое представление этапов проведения проверки задания по программированию.

Во второй главе были описаны принципы работы алгоритмов статического анализа исходного кода и, в частности, алгоритм поиска плагиата в наборе документов с помощью генерализации исходного кода, а также поиска и сравнения отпечатков.

Также был описан общий алгоритм оценки работы, использующий различные типы правил оценивания.