Общий алгоритм работы тестового сценария

Согласно требованиям технического задания, тестовый сценарий может содержать тестовые процедуры и вложенные тестовые сценарии. Кроме того, тестовый сценарий, аналогично тестовой процедуре, должна возвращать вызвавшему ее тестовому сценарию определенное значение, однозначно определяющее результат выполнения тестовой процедуры. Если тестовый сценарий является главным, то результат его выполнения является конечным результатом. Решение о том, каким должно быть возвращаемое значение, принимается самим тестовым сценарием на основе результатов выполнения всех входящих в него сценариев и процедур.

Тестовый сценарий должен быть способен определять результат его выполнения на основании результатов выполнения всех тестовых процедур, которые он вызывает. Результат UNRESOLVED является наиболее приоритетным среди всех возможных, при остановке работы теста оператором тестовый сценарий не должен анализировать результаты выполнения тестовых процедур. Следующий по приоритету результат — UNTESTED, при получении этого результата тестовый сценарий прекращает работу. Результаты PASS, FAIL и UNSUPPORTED тестовфй сценарий получает на основе анализа результатов всех выполненных тестовых процедур. Результат UNSUPPORTED может быть получен только в случае, если результат всех вызванных тестовых процедур UNSUPPORTED. Если данное условие не выполнено, тестовый сценарий должен проверить все значение на наличие результатов FAIL. Если найден хотя бы один — результат тестового сценария так же будет FAIL. Иначе результатом выполнения тестового сценария будет PASS.

Итак, наличие среди значений, возвращенных вложенными сценариями и процедурами, хотя бы одного результата FAIL, уже говорит о том, что весь сценарий не выполнен. Поэтому логично при обнаружении первого результата FAIL прекращать выполнение сценария и воспринимать данный результат как возвращаемое значение всего пакета. Однако, для тестов, многократно выполняющих одну и ту же процедуру на разных значениях (например, проверка всех возможных значений аттрибутов), целесообразно продолжать выполнение теста, даже при получении результата FAIL, просто переходя на следующую итерацию. Таким образом тестировщик будет иметь возможность определить все случаи, для которых тест не выполнен. Для того, чтобы однозначно определить поведение тестовой процедуры при получении результата FAIL необходимо ввести переменную «doOnError».

Кроме того, любой тестовый сценарий должен проверять выполнение условий, необходимых для запуска всех вложенных тестовых сценариев и процедур. Такими условиями могут быть правильность параметров, переданных тестовому сценарию, наличие необходимых файлов, существование и состояние тестируемых объектов и т. п.

Таким образом, на основе приведенных выше рассуждений был разработан общий алгоритм работы тестового сценария, блок-схема которого изображена на рисунке 5.2.

Для обозначения возвращаемого значения вложенных тестовых процедур на рисунке используется переменная RET. Для обозначения общего числа тестовых процедур в составе данного тестового сценария используется переменная N. Для обозначения номера текущей тестовой процедуры используется переменная i.

Рисунок 5.2 — Общий алгоритм работы тестового сценария Выбор языка программирования для написания тестов зависит от требований, предъявляемых к Системе тестирования. Никаких ограничений в области нет, поэтому тесты могут быть написаны на любом языке программирования и являться как скриптами, так и исполняемыми файлами. Однако, исходя из соображений единообразия с системой WAT Engine, принято решение выполнить основные тесты в виде TCL-скриптов.