Автоматизация тестирования программных приложений методом ключевых состояний

Актуальность темы

исследования. Появление первых компьютеров повлекло за собой и появление их непременных спутников — компьютерных программ (программных продуктов). Программирование, как и любая человеческая деятельность, каковым оно является, практически невозможно без ошибок. И если на ранних этапах развития процесс отладки программ, в силу их достаточной примитивности не представлял большой проблемы, то в настоящее время картина происходящего резко изменилась.

Как известно, в процессе разработки программных продуктов программы подвергаются изменениям. Как бы хорошо они ни были написаны первоначально, в них вносятся изменения, обусловленные необходимостью исправления существующих ошибок, выявленных в процессе их выполнения, или же желанием внести в программу дополнительные изменения. Расширение областей применения старых программ приводит к появлению новых функциональных требований, не учтенных изначально.

Все вышесказанное привело к тому, что контроль над изменениями приобрел статус критического фактора для сохранения полезности программ [35], т. е. фактора, ставшего по степени значимости доминирующим, что не могло не привлечь внимания специалистов.

Исследование причин неудач при реализации больших программных проектов, проведенное в 80-х годах прошлого века [76], показало, что число ошибок в спецификациях на программы значительно превышает их количество в программных кодах. Так около 56% ошибок допускаются на этапе формулировки требований к программе, при этом расходуется в среднем 82% всех усилий, затраченных коллективом на устранение ошибок проекта, в то время, как на этапе кодирования программ допускается соответственно 7% ошибок и тратится 1% усилий на их ликвидацию [76].

Кроме того, можно выделить пять наиболее важных этапов жизненного цикла программного средства:

• спецификацию;

• проектирование;

• кодирование;

• отладку;

• сопровождение.

По затратам времени, человеческих и машинных ресурсов все эти этапы не одинаковы. Наиболее «дорогими», в этом смысле, являются этапы, связанные с поиском ошибок в программах. Затраты ресурсов на них могут быть равными или даже превосходить совокупные затраты ресурсов на остальных этапах. В стандарте ОСЮ-8ТО-2167-А около 30% требований, документов и соответствующих им процессов непосредственно связаны с отладкой, тестированием и испытаниями программ. Данный стандарт является обязательным при выполнении заказов Министерства обороны США [26]. Эти затраты быстро увеличиваются при возрастании требований к качеству программного продукта. Следует учитывать, что значительная часть работ, выполняемых на этапе сопровождения, связана с поиском и устранением оставшихся в программе ошибок. Исследования [23, 63, 69] показали, что на долю устранения ошибок и сопровождение программного продукта приходится почти 75% всех затрат. Кроме того, и в случае внесения новых ошибок в программу на этап сопровождения приходятся огромные затраты.

Безусловно, подобная ситуация была неприемлема, поэтому существовавший стандартный процесс разработки программного обеспечения подвергся некоторой модернизации. Было сформулировано предложение, что для случаев повторной проверки корректности существующей функциональности программы, унаследованной, к примеру, в процессе разработки из предыдущей версии, необходимо использование регрессионного тестирования [46, 52] - повторного тестирования части программы, зависящей от внесенных изменений. Регрессионное тестирование прекрасно подходит как для проверки корректности изменений, внесенных в тестируемую систему, так и для проверки корректности добавленных к системе новых компонентов и функциональных возможностей. Кроме того, регрессионное тестирование позволяет проверить, что внесенные в код программы изменения корректны и не воздействуют неблагоприятно на остальные ее части. В случае же обнаружения в программе новых ошибок считается, что в системе появились регрессионные ошибки [56, 61]. Ввиду того, что поведение новой версии программы должно совпадать с поведением предыдущей версии, за исключением ситуаций, обусловленных внесением изменений, соответствующих новым требованиям к системе, регрессионные системные тесты можно рассматривать как частичные требования к новым версиям системы. В большинстве случаев вместо регрессионного тестирования для проверки того, что качество новой версии программы не ухудшилось, выполняется множество всех тестов, используемых на этапе системного и функционального тестирования продукта.

Регрессионное тестирование относится к необходимым методам профилактического сопровождения и применяется в ходе процесса разработки и модификации программного продукта. Однако, такой род деятельности является крайне ресурсоемким и, как следствие, дорогостоящим. Это обусловлено необходимостью проводить регрессионное тестирование в случае внесения даже малейших изменений в код программы, в то время, как процесс регрессионного тестирования может включать в себя исполнение достаточно большого количества тестов на скорректированной версии программы. И несмотря на то, что усилия, требуемые для внесения небольших изменений, как правило, минимальны, они могут требовать достаточно больших усилий для проверки качества измененной программы [42, 43]. Тем не менее, надежная и эффективная разработка и сопровождение программного обеспечения невозможны без регрессионного тестирования [55]. Одним из очевидных решений здесь является автоматизация процесса тестирования, помогающая ускорить создание продукта и улучшить его качество.

Степень разработанности проблемы. На сегодняшний день существуют два общеизвестных способа автоматизации подобного тестирования. Одним из них является использование ипк-тестов, начиная с начальных этапов разработки продукта. Вторым — использование на более зрелых этапах разработки различных программных инструментов автоматизации тестирования, так называемых, инструментов записи и воспроизведения тестов.

Использование программных инструментов автоматизации тестирования на сегодняшний день является довольно распространенным способом автоматизации тестирования приложений с графическим интерфейсом. На рынке компьютерных технологий предлагается довольно большое количество подобного рода инструментов. Неотъемлемой и, пожалуй, одной из основных частей функциональности таких продуктов является функциональность, позволяющая производить «запись» и «воспроизведение» автоматизированных тестов в различных средах. При «записи» тестов фиксируются нажатия клавиш и манипуляции мышью, совершаемые тестировщиком, в результате в фоновом режиме автоматически создается скрипт на языке высокого уровня. Полученная запись и является той компьютерной программой, которую принято называть тестовым скриптом. Однако скрипт, полученный путем записи действий тестировщика, в большинстве случаев невозможно применить для использования в автоматизации регрессионного тестирования, он требует дальнейшей доработки. Для этого данные инструменты обладают достаточно гибким языком описания тестов и возможностью внесения изменений в «записанные» тесты или же написания таких тестов без помощи механизма «записи» .

В то же время, практическое применение описанных инструментов автоматизации в условиях крупных промышленных проектов показывает, что они далеко не всегда обеспечивают нормальное тестирование и даже далеко не всегда применимы при тестировании подобных проектов. Дело в том, что как при «записи», так и при «воспроизведении» автоматизированных тестов инструмент автоматизации в состоянии работать только с фиксированным набором стандартных типов элементов графического интерфейса приложения. И в случае, когда тестируемая система содержит нестандартные элементы графического интерфейса, инструменты автоматизации подобного рода дают сбои не только при «записи», но и при «воспроизведении» тестов, иначе говоря, являются несовместимыми с тестируемой системой.

Целью исследования работы является создание методики разработки автоматизированных тестов, лишенной недостатков существующих методов и средств автоматизации тестирования и удовлетворяющей следующим требованиям: универсальность в плане применения при автоматизации любого программного продуктавысокая эффективность разрабатываемых автоматизированных тестовотносительно низкая трудоемкость.

Цель диссертационной работы — разработка нового метода автоматизации тестирования программных приложений, лишенного недостатков существующих методов. Метода, который бы являлся высокоэффективным, универсальным, в плане возможности применения при автоматизации тестирования любого программного продукта, а также не требовал бы значительных трудозатрат для своего применения.

Объектом исследования выступают различные группы современных инструментов автоматизации тестирования приложений с графическим интерфейсом.

Предметом исследования являются реляционные отношения, возникающие в процессе формирования и дифференциации состояний тестируемых систем.

Методологической и теоретической основой диссертации послужили фундаментальные труды отечественных и зарубежных программистов, изучающих проблемы безошибочного программирования основывающегося на реализации процессов автоматизации всех этапов жизненного цикла программных продуктов от проектирования и кодирования программ до документирования и их сопровождения. К таким средствам относятся: САБЕ-средства, объектно-ориентированное программирование, методы логического программирования. Особое место занимают методы визуального программирования, поскольку приближение формы представления программы и способов ее кодирования к образному способу мышления человека в значительной степени сокращает число ошибок, допускаемых человеком при разработке программ, и повышает надежность программирования [27].

Кроме того, основой диссертации послужили публикации научной и периодической печати.

Исследование строилось на принципах системного подхода, логического моделирования процессов дифференциации. Эмпирическую базу диссертационной работы составили материалы обследования существующих методов тестирования, а также имеющиеся в периодической печати фактические данные по теме научного поиска.

Научная новизна диссертационного исследования состоит в:

• разработке нового подхода к вопросам организации тестирования приложений с графическим интерфейсом, позволяющего автоматизировать процесс тестирования, задав информационную потребность иерархическим множеством категорий и обучив соответствующую модель на имеющихся состояниях. При этом распределенная архитектура разрабатываемой системы является масштабируемой и позволяет обеспечить высокую скорость обработки;

• распознавании ключевых состояний тестируемых систем, в связи с чем решена задача системной классификации множества произвольных состояний;

• разработке нового подхода к классификации кластеров выделенного множества состояний, построение на основе этого динамической библиотеки состояний;

• разработке универсального метода автоматизации регрессионного тестирования, обеспечивающего высокую эффективность автоматизированного тестирования, и требующего относительно малых трудовых затрат на реализацию;

• разработке языка описания тестов;

• создании инструментария, поддерживающего процесс автоматизации регрессионного тестирования на основе разработанного метода.

Практическая значимость полученных результатов заключается в том, что:

• разработан метод, являющийся универсальным методом автоматизации регрессионного тестирования больших промышленных программных продуктов, и обеспечивающего высокую безопасность и эффективность;

• разработан язык описания тестов;

• создан инструментарий, позволяющий применение нового метода;

• практическое подтверждение постулированных в работе положений в ходе автоматизации регрессионного тестирования реальных промышленных программных продуктов.

Применение разработанного метода на практике позволило существенно снизить трудоемкость процесса регрессионного тестирования и улучшить качество выпускаемых продуктов.

Стоит отметить, что описанный метод можно использовать не только при автоматизации регрессионного тестирования, но и при автоматизации функционального и системного тестирования [11].

Разработанный метод, язык описания тестов и инструментарий поддержки данного метода были внедрены в производственный процесс Филиала Корпорации «Борланд Лабе., Инк.» .

Результаты работы.

• проведен анализ существующих методов и средств регрессионного тестирования программного обеспечения и выбор требований к системеразработан новый метод автоматизации регрессионного тестированияразработан язык описания тестов, работающих по новому методусоздан инструментарий, поддерживающий процесс автоматизации регрессионного тестирования на основе разработанного методапоказана перспективность нового метода путем разработки расширения нового метода, ориентированного на применение при автоматизации не только регрессионного, но и системного тестированияпроанализированы результаты применения предложенных методик и инструментального пакета при регрессионном тестировании программных продуктов.

Основные результаты работы докладывались и обсуждались на следующих конференциях:

— XXXI неделя науки СПбГПУ;

— XXXIII неделя науки СПбГПУ;

— Технологии Microsoft в теории и практике программирования 2005.

По материалам диссертационной работы опубликовано 7 печатных работ.

Практические результаты, полученные в ходе работы, позволяют сделать вывод, что поставленные задачи решены, и констатировать достижение цели всей работы. По своей значимости работа относиться к новым технологическим средствам поддержки регрессионного тестирования программных продуктов, выполняемым на основе исследований современного инструментария и процесса производства программного продукта. Приложения работы важны для практики и инвестируются конкретным заказчиком.

На защиту выносятся:

1. Метод ключевых состояний автоматизации тестирования программных приложений.

2. Язык описания тестов.

3. Инструментарий, поддерживающего процесс автоматизации регрессионного тестирования на основе разработанного метода.

ЗАКЛЮЧЕНИЕ

.

В работе была поставлена цель: разработать универсальный метод автоматизации тестирования, позволяющий применение его в крупных коммерческих проектах.

В ходе выполнения работы было сделано следующее: проведен анализ существующих методов и средств автоматизации регрессионного тестирования программных продуктовразработан универсальный метод автоматизации регрессионного тестированияразработана математическая модель распознавания классов состояний динамической коллекции состояний разработан язык описания тестовсоздан инструментарий, поддерживающий процесс автоматизации регрессионного тестирования на основе разработанного методапредложено расширение разработанного метода, ориентированное на применение при автоматизации не только регрессионного, но и функционального тестированияразработанный метод, язык описания тестов и инструментарий были применены при регрессионном тестировании программных продуктов в промышленном масштабе.

Научная новизна диссертационного исследования состоит в:

• разработке нового подхода к вопросам организации тестирования приложений с графическим интерфейсом, позволяющего автоматизировать процесс тестирования, задав информационную потребность иерархическим множеством категорий и обучив соответствующую модель на имеющихся состояниях. При этом распределенная архитектура разрабатываемой системы является масштабируемой и позволяет обеспечить высокую скорость обработки.

• распознавании ключевых состояний тестируемых систем, в связи с чем решена задача системной классификации множества произвольных состояний.

• разработке нового подхода к классификации кластеров выделенного множества состояний, на основе чего строится динамическая библиотека состояний.

• разработке универсального метода автоматизации регрессионного тестирования, обеспечивающего высокую эффективность автоматизированного тестирования, и требующего относительно малых трудовых затрат на реализацию;

• разработке языка описания тестов;

• создании инструментария, поддерживающего процесс автоматизации регрессионного тестирования на основе разработанного метода.

Практическая ценность проведенной работы заключается в: разработке метода, являющегося универсальным методом автоматизации регрессионного тестирования больших промышленных программных продуктов и обеспечивающего высокую безопасность и эффективностьразработке языка описания тестовсоздании инструментария, позволяющего применение нового методапрактическом подтверждении постулированных в работе положений в ходе автоматизации регрессионного тестирования реальных промышленных программных продуктов.

Применение разработанного метода на практике позволило существенно снизить трудоемкость процесса регрессионного тестирования и улучшить качество выпускаемых продуктов.

Разработанный метод, язык описания тестов, и инструментарий поддержки данного метода были внедрены в производственный процесс Филиала Корпорации «Борланд Лабе., Инк.» .