Управление дефектами. 
Тестирование программного обеспечения

После завершения процесса тестирования необходимо составить отчет, в котором описывают результаты тестирования, найденные дефекты.

Виды тестирования по степени знания кода

В Процессе тестирования можно выделить 3 основные стратегии тестирования: тестирование черного ящика, серого ящика и белого ящика.

Под тестированием методом белого ящика традиционно понимают использование исходного когда приложения в качестве основы для его отладки. Обычно такой вид тестирования выполняется непосредственно программистом, так как он подразумевает хорошее знание исходного кода. Такой вид тестирования может включать в себя отслеживание путей выполнения программы путем заранее известных входных значений на этих путях.

Тестирование методом белого ящика не поможет определить несоответствие работы программы с заявленными требованиями, но оно может помочь выявить некоторые ошибки проектирования в исходном коде, такие как проблема управления потоком данных (бесконечные циклы) или в самих данных (использование неопределенной переменой). Статический анализ кода (с помощью инструментариев) так же поможет найти проблемы в программе, но не сможет помочь разработчику/тестеру код в той степени, в которой это делает тестирование белого ящика.

Как правило, тестирование белого ящика связано с тестированием компонентов системы на предмет полного покрытия всех требований кодом и что эти компоненты находятся в исправном состоянии. Но такие тесты не могу быть полными, так как тестовые примеры в таком виде тестирования являются искусственными и не могут выявить всех ошибок поведения программы в реальной среде.

Тестирование методом черного ящика применяется, когда тестер не имеет представления о внутреннем составе программы. Он может подавать какие-либо данные в качестве входных условий в тестируемое программное обеспечение и по полученным значениям определять, соответствует ли это обеспечение заявленным требованиям.

Основными стратегиями тестирования черного ящика являются:

• 1. Разбиение на классы эквивалентности (используются, когда необходимо проверить множество входных условий, которые можно разбить на некоторые группы по формальным признаками и затем протестировать эти группы, взяв из каждой из них по 1−2 значения)
• 2. Анализ граничных значений (проверка работоспособности программы при работе с данными, выходящими за пределы допустимых для ввода значений или находящихся близко к этому рубежу)
• 3. Проверка причинно-следственных связей (проверка корректной работы пользовательских сценариев)
• 4. Свободный поиск ошибок (прохождение нетипичных сценариев которые могут выявить ошибки в функционале работы программы, как правило, не очень высокого приоритета)

Тестирование методом серого ящика объединяет в себе методы тестирования методом «черного» и «белого» ящика. По методу черного ящика обычно осуществляется ввод данных, например — запуска программы внутри отладчика.

Нагрузочное тестирование

Вид тестирования, в котором измеряется в первую очередь производительность и время отклика разрабатываемой системы в различных режимах работы в соответствии с заявленными требованиями. Производится посредством приближение работы приложения к его максимально допустимому. Оно происходит в контролируемых лабораторных условиях, для более точного снятия показателей.

Обычно исследуют отклик системы и ее производительность падают на пиковых нагрузках, которая сильно превышает заявленную пропускную мощность системы. Такой вид тестирования называется стресс-тестированием.

Основная цель нагрузочного тестирования состоит в создании запланированной нагрузки на систему с помощью технических или аппаратных и средств и последующим наблюдении за состоянием системы в этот момент.

Основные принципы нагрузочного тестирования.

• 1. Уникальность запросовнужно стараться генерировать как можно более разные и уникальные запросы к системе, так как конечный пользователь всегда будет так или иначе использовать недокументированные или нелогичные формы запросов к системе
• 2. Время ответа системы — измерение того, как ведет себя система под воздействием повышенных нагрузок. Из этого можно сделать вывод, что если мы имеем достаточное количество испытаний, то по ним можно определить, будет ли снижаться время доступа к системе вместе с ростом запросов к ней.
• 3. Зависимость времени ответа системы от ее сложности — влияет ли количество узлов и общая сложность системы на увеличение время ответа системы вместе с повышением количества и интенсивности запросов к ней.
• 4. Разброс времени ответа системы на запрос — некоторые команды программы при увеличении времени ответа системы перестают удовлетворять требованиям к проектируемой системе.

Существуют различные инструменты для проведения нагрузочного и стресс тестирования. Но все эти инструменты работают с приложением как с совокупностью узлов, на которые следует оказывать давление. Всего выделяют следующие виды узлов, подверженные нагрузочному тестированию:

• — база данных
• — приложение
• — сеть
• — балансировка нагрузки
• — клиентская часть приложения.

Основные решения в области нагрузочного и стресс тестирования OpenSTA.

Рис 5. Пример интерфейса программы

Распространяется по свободной лицензии. Базируется на распределенной архитектуре приложений (CORBA). Основное предназначение — тестирование веб-серверов. В настоящее время работает только на Windows-операционных системах.

Тестирование осуществляется посредством скриптов, записанных на языке SCL, простом языке, который обеспечивает поддержку пользовательских функций, областей переменных и случайных, а так же последовательных списков команд.

Разработка и поддержка данного приложения прекращена.

IBM Rational Performance Tester.

Рис 6. Пример интерфейса программы

Данный пакет предназначен для нагрузочного и автоматизированного тестирования веб-приложений и серверов. Он позволяет пользователь писать тесты, которые могли бы имитировать обмен данными между пользователями и серверной частью тестируемого приложения. Во время тестирования эти операции многократно повторяются для создания дополнительной нагрузки на сервер. Программа собирает данные, которые позволяют понять, насколько изменилось время ответа приложения после получение дополнительной нагрузки.

Создание теста производится с помощью механизма записи, который фиксирует все операции, происходящие между клиентской и серверной частью разрабатываемой системы. Результат выводится в виде дерева, где каждая ветвь представляет с собой какой-либо клиентский запрос к серверной части.

Чтобы редактировать таким образом записанный скрипт, пользователь изменяет непосредственно эти ветви дерева, вставляю в них дополнительные операторы, триггеры и счетчики проверок ответов. Так же можно использовать модуль JAVA для более точной настройки. Программа поддерживает процесс корреляции данных, который обеспечивает непрерывность между тестовыми взаимодействиями с разрабатываемым приложением.

JMeter.

Рис 7. Пример интерфейса программы

Система нагрузочного тестирования, разработанная компанией Apache, приспособленная к анализу и измерению стабильности функционирования различных сервисов, в частности, веб-приложений. Jmeter может быть использован как часть тестового окружения для JDBC, FTP, LDAP и многих других стандартов. Он поддерживает широкие возможности для параметризации, валидации и составление отчетов, а его работа основана на поддержке плагинов, в том числе и неофициальных.

HP LoadRunner

Утилита для автоматизированного нагрузочного тестирования. Помимо приложений, может тестировать сайты различных уровней сложности. Работает за счет подключения виртуальных пользователей, которые руководствуются созданными скриптами.

Приложение состоит из следующих модулей:

• — Virtual user generation — разработка скриптов и управление виртуальными пользователям
• — Load Generator — генерация нагрузки
• — Controller — разработка скриптов
• — Analysis — анализ результатов тестирования

Рис 7. Пример интерфейса программы

Рис 8. Пример интерфейса программы

Продукт компании Borland для автоматизации выполнения нагрузочного тестирования для веб-систем различного уровня сложности. Сейчас выкуплен компанией Micro Focus. Отличается простотой и высокой мощностью, что позволяет использовать его для тестирований корпоративных приложений самого разного спектра и разного уровня массштабируемости.

Основными преимуществами считается сниженное потребление ресурсов на обнаружение дефектов путем начала тестирования еще до начала основного цикла разработки, до получения конечных версий клиентского приложения.

Стандартный цикл тестирования в SilkPerformer строится следующим образом:

• 1. Настраиваются новые параметры для тестируемого приложения
• 2. Создается тестовый сценарий (обычно за счет встроенной функции записи)
• 3. Созданный тестовый скрипт обрабатывается и для текущей сессии
• 4. Устанавливается модель рабочей нагрузки
• 5. Запуск теста
• 6. Анализ результатов теста на стороне клиента
• 7. Создание и анализ дальнейшей отчетности

Siege

Рис 9. Пример интерфейса программы

Утилита, специализирующаяся на тестировании веб-серверов. Siege имитирует подключение к серверу большого числа пользователей. Имеет три основных режима работы ;

• 1. Режим регрессионного тестирования — программа считывает ссылки из файла конфигурации и по очереди проходит по ним
• 2. Режим интернета — программа в случайном порядке проходит по ссылкам в конфигурационном файле.
• 3. Режим грубой силы — программа обращается на один адрес

Приложение является бесплатным и поддерживает почти все современные ОС.

Visual Studio Team System

Рис 10. Пример интерфейса программы

Visual Studio Team System — пакет инструментов, которые упрощают совместную работу над проектами, обеспечивают ее тестовым окружением и средствами для построения отчетов.

В состав этого пакета входит Team Test Load Agent, который отвечает за проведения нагрузочного тестирования в вебили windows приложениях. Продукт тесно интегрирован с Team Fundation Server, что позволяет проводит такого рода тестирование на всем жизненном пути программы, однако лицензируется отдельно от TFS.

QTest

Рис 11. Пример интерфейса программы

QTest поддерживает не только нагрузочные тесты, но и полный цикл ручного тестирования. Так же обладает простым и интуитивным интерфейсом, который позволяет гибко подготовить проект к тестированию. Так же, QTest располагает возможностью интеграции с большинством решений в области отслеживания дефектов, что позволяет легко синхронизировать свою деятельность между платформами.

Тестирование удобства пользования (usability testing)

Рис 12. Работа с фокус — группой

Данный вид тестирования относится к оценке качества разработанной системы с точки зрения поведения пользователя. Как правило, участники такого тестирования (как правило, это небольшая фокус — группа) выполняют типичные задачи, используя разработанное приложения, а наблюдатели собирают данные и на их основе делают выводы о удобстве использования приложения.

Собираемые данные:

• 1. Легкость обучения — как быстро человек сможет освоить новый для себя интерфейс
• 2. Эффективность обучения — какова продуктивность человека после обучения
• 3. Усвояемость обучения — легко ли пользователь запоминает то, чему он научился
• 4. Ошибки — как много пользователь допускает ошибок после прохождения обучения
• 5. Удовлетворенность — складывается ли у пользователя положительное впечатление о работе с системой

Задача данного вида тестирования — измерить все эти параметры Сам процесс тестирования может включать в себя следующие этапы:

• 1. Исследовательское — проведение тестирования интерфейса на предмет того, позволяет ли он с достаточной эффективностью использовать программу.
• 2. Оценочное тестирование — производится после большей детализации интерфейса. На данном этапе измеряемыми метриками уже являются такие показатели как количество обращений к помощи относительно количества совершенных операций, количество допущенных ошибок и т. д.
• 3. Валидационное тестирование — на этом этапе производится анализ соответствия полученного интерфейса с системными стандартами, регламентирующими вопросы удобства интерфейса.

Обычно оценка происходит с помощью эвристических критериев удобства. Примером таких критериев могут является критерии, выделенные Якобом Нильсеном:

• — Наблюдаемость состояния системы — пользователь всегда может получить информации о текущем состоянии системы
• — Соотнесение с реальными миром — терминология, использованная в интерфейсе должна быть понятна конечному пользователю
• — Пользовательское управление и свобода действий — пользователь должен иметь возможность в случае ошибки вернуть систему в исходное положение
• — Целостность — интерфейс должен использовать одинаковые обозначения и лексику для обозначения одних и тех же частей системы.
• — Помощь пользователям в распознавании и устранении ошибок — сообщения об ошибках должны быть понятные пользователю и передавать суть возникшей проблемы.
• — Предотвращение ошибок — дизайн интерфейса должен быть продуманным, чтобы у пользователя не возникала возможность допустить ошибку или совершить ложное нажатие
• — Гибкость использования — интерфейс должен иметь возможность кастомизации под нужды конкретного пользователя, а так же содержать горячие клавиши.
• — Эстетический и минимально необходимый дизайн — приложение не должно содержать лишних и отвлекающих пользователя от работы элементов, окна не должны быть назойливыми или рассеивать внимание.
• — Документация — интерфейс должен содержать файл помощи, который поможет разобраться и освоить весь функционал пользователю.

Тестирование безопасности (security testing)

Рис 13.Тестирование безопасности

Главная задача данного вида тестирования состоит в выявлении недостатков безопасности разрабатываемого приложения и поддержки должного уровня безопасности как предполагается в требованиях. Приложение считается безопасным, если удовлетворяет следующим принципам безопасности:

• 1. Конфиденциальность — сокрытие ресурсов и информации от некоторой категории пользователей, например, для не авторизированных пользователей.
• 2. Целостность — включает в себя доверие (данные могут быть изменены только доверенной группой пользователей) и повреждение и восстановление (данные могут быть восстановлены в случае их повреждения)
• 3. Доступность — каким группам пользователей какие виды ресурсов могут быть доступны

Существующие виды уязвимостей.

• — XSS (Cross-Site Scripting) — актуален для веб приложений. На тестируемом сайте выполняются вредоносные скрипты, которые атакуют клиента.
• — XSRF/CSRF — такой вид уязвимости использует брешь в HTTP протоколе, позволяющий установить на доверенном сайте ссылку на вредоносный сайт, при переходе на который активируется скрипт
• — Code injections — добавление вредоносного кода к исполняемому коду программы, в следвии чего становится возможным запуск кода с целью получение доступа к защищенным ресурсам
• — Server-Side Includes injection — использует вставку серверных команд в HTML код или запускает их напрямую с сервера
• — Authorization Bypass — получение доступа к учетной записи пользователя

Тестирование локализации

Это процесс тестирование локализованной версии разрабатываемого продукта. Проверяется корректность перевода пользовательского интерфейса и сопутствующей документации. Цель такого тестирования — убедиться в том, что данное приложение поддерживает мультиязычный интерфейс и может, по необходимости, легко переключатся между языками.

Тестирование совместимости

Проверка работоспособности системы в каком-либо окружении, таком как аппаратная платформа, сетевая конфигурация, операционная система, базы данных, переферия и т. п.

Тестирование стабильности

Данный вид тестирования проверят работу системы на длительном промежутке времени с средним уровнем нагрузки.

Основной задачей такого тестирования является поиск утечек памяти, следов увелечения потребления ресурсов.