Анализ результатов работы системы тестирования

Разработанные тесты были запущены на последней версии тестируемого программного обеспечения. По окончании тестирования было собрано время работы каждого теста. Также было подсчитано примерное время выполнения тех же действий на тех же данных вручную. Полученные результаты представлены на рисунке 8.1.

Рисунок 8.1 Время, затрачиваемое на автоматическое и ручное выполнение тестов Хотя для некоторых тестов разница во времени минимальна, такие тесты как SetOnline или CreateDeleteOnline, подразумевающие под собой создание дополнительных файлов и работу с большим количеством компонентов конфигурационной подсистемы, автоматически будут выполнены в несколько раз быстрее.

Безусловно, в реальности ручные тесты не занимают столько времени, так как они выполняются не на всем наборе данных, а лишь на нескольких случайно выбранных компонентах, для того чтобы определить что в целом тестируемый механизм работает. Это, в свою очередь, негативно сказывается на тестовом покрытии и, как следствие, на количестве найденных проблем. Для того, чтобы сравнить эффективность ручного и автоматического тестирования, были собраны следующие тестовые метрики:

• · Testing duration — время тестирования
• · Number of defects found — количество найденных дефектов
• · TC — Test Coverage — тестовое покрытие

· Percent Automatable — процент автоматизируемых тестов.

· Automation Progress — прогресс автоматизации.

Все метрики были подсчитаны для случаев автоматического и ручного тестирования конфигурационной подсистемы из рассчета что тестирование выполняется одним тестировщиком. Результаты представлены в таблице 8.1:

Таблица 8.1 Метрики тестирования.

Время автоматического тестирования было подсчитано для двух случаев. В первом случае тесты были запущены последовательно (то есть время тестирования всей подсистемы представляет собой сумму длительностей выполнения каждого теста), во втором случае — параллельно, с использованием тестовых кампаний (в данном случае время тестирования равно времени выполнения самого длительного теста). Хотя время автоматического тестирования в два раза превышает ручное выполнение, тестовое покрытие автоматических тестов в четыре раза выше, чем ручных. Как следствие, количество проблем, найденных при автоматическом тестировании, так же превышает количество проблем, обнаруженных вручную. Таким образом, эффективность тестирования в целом увеличивается при внедрении автоматических тестов.

Метрики автоматизированного тестирования показывают долю тестов, котрые в принципе могут быть автоматизированы, и процент уже автоматизированных тестов. Исходя из представленных данных можно сделать вывод, что почти половина всех автоматизируемых тестов были автоматизированы за один спринт, что евляется хорошим показателем производительности. Однако стоит заметить, что такие метрики гораздо эффективнее использовать при наличии нескольких спринтов.

В общем и целом, анализ результатов тестирования показал эффективность внедрения автоматических тестов в процесс тестирования. Хотя выполнение автотестов занимает почти в два раза больше времени, чем ручные тесты, они позволяют освободить человеческие ревурсы, так как оператору необходимо лишь запустить отдельные тесты или тестовые кампании и по прошествии определенного количества времени получить результаты тестирования.