Методы контроля качества

Как контролировать качество системы? Как точно узнать, что программа делает именно то, что нужно, и ничего другого? Как определить, что она достаточно надежна, переносима, удобна в использовании? Ответы на эти вопросы можно получить с помощью процессов верификации.

Верификация обозначает проверку того, что ПО разработано в соответствии со всеми требованиями к нему, или что результаты очередного этапа разработки соответствуют ограничениям, сформулированным на предшествующих этапах. Эффективность верификации, как и эффективность разработки ПО в целом, зависит от полноты и корректности формулировки требований к программному продукту.

Оценка качества информационных систем

Качество информационной системы связано с дефектами, заложенными на этапе проектирования и проявляющимися в процессе эксплуатации. Любые свойства информационной системы, в том числе и дефектологические, могут проявляться лишь во взаимодействии с внешней средой, включающей технические средства, персонал, информационное и программное окружение.

В зависимости от целей исследования и этапов жизненного цикла информационной системы дефектологические свойства разделяют на дефектогенность, дефектабельность и дефектоскопичность.

Дефектогенность определяется влиянием следующих факторов:

• — численностью разработчиков информационной системы, их профессиональными и психофизиологическими характеристиками;
• — условиями и организацией процесса разработки информационной системы;
• — характеристиками инструментальных средств и компонент информационной системы;
• — сложностью задач, решаемых информационной системы;
• — степенью агрессивности внешней среды (потенциальной возможностью внешней среды вносить преднамеренные дефекты, например, воздействие вирусов).

Дефектабельность характеризует наличие дефектов информационной системы и определяется их количеством и местонахождением. Другими факторами, влияющими на дефектабельность являются:

• — структурно-конструктивные особенности информационной системы;
• — интенсивность и характеристики ошибок, приводящих к дефектам.

Дефектоскопичность характеризует возможность проявления дефектов в виде отказов и сбоев в процессе отладки, испытаний или эксплуатации. На дефектоскопичность влияют:

• — количество, типы и характер распределения дефектов в информационной системе;
• — устойчивость информационной системы к проявлению дефектов;
• — характеристики средств контроля и диагностики дефектов;
• — квалификация обслуживающего персонала.

Оценка качества информационной системы является крайне сложной задачей ввиду многообразия интересов пользователей. Поэтому невозможно предложить одну универсальную меру качества и приходится использовать ряд характеристик, охватывающих весь спектр предъявляемых требований. Наиболее близки к задачам оценки качества информационной системы модели качества программного обеспечения, являющегося одной из важных составных частей информационной системы. В настоящее время используется несколько абстрактных моделей качества программного обеспечения, основанных на определениях характеристики качества, показателя качества, критерия и метрики.

Критерий может быть определен как независимый атрибут информационной системы или процесса ее создания. С помощью такого критерия может быть измерена характеристика качества информационной системы на основе той или иной метрики.

Совокупность нескольких критериев определяет показатель качества, формируемый исходя из требований, предъявляемых к информационной системе. В настоящее время наибольшее распространение получила иерархическая модель взаимосвязи компонент качества информационной системы. Вначале определяются характеристики качества, в числе которых могут быть, например, общая полезность, исходная полезность, удобство эксплуатации.

Далее формируются показатели, к числу которых могут быть отнесены: практичность, целостность, корректность, удобство обслуживания, оцениваемость, гибкость, адаптируемость, мобильность, возможность взаимодействия. С помощью метрик можно дать количественную или качественную оценку качества информационной системы. Различают следующие виды метрик и шкал для измерения критериев:

• — Первый тип — метрики, которые используют интервальную шкалу, характеризуемую относительными величинами или реально измеряемыми физическими показателями, например временем наработки на отказ, вероятностью ошибки, объемом информации и др.;
• — Второй тип — метрики, которым соответствует порядковая шкала, позволяющая ранжировать характеристики путем сравнения с опорными значениями;
• — Третий тип — метрики, которым соответствуют номинальная или категорированная шкала, определяющая наличие рассматриваемого свойства или признака у рассматриваемого объекта без учета градаций по этому признаку. Так, например, интерфейс может быть «простым для понимания», «умеренно простым», «сложным для понимания».

Рис. 7. — Классификация критериев качества информационных систем:

Развитием иерархического подхода является представленная на рис. 7 модель классификации критериев качества информационных систем. С помощью функциональных критериев оценивается степень выполнения информационной системой основных целей или задач. Конструктивные критерии предназначены для оценки компонент информационной системы, не зависящих от целевого назначения.

Одним из путей обеспечения качества информационной системы является сертификация. Сертификация — процесс официального утверждения государственным полномочным органом, выполняемой функции системы, путем удостоверения, что функция удовлетворяет всем требованиям заказчика, а также государственным нормативным документам. К сожалению, в настоящее время не существует стандартов, полностью удовлетворяющих оценке качества информационной системы.

В западноевропейских странах имеется ряд стандартов, определяющих основы сертификации программных систем. Стандарт Великобритании (BS750) описывает структурные построения программных систем, при соблюдении которых может быть получен документ, гарантирующий качество на государственном уровне.

Имеется международный аналог указанного стандарта (ISO9000) и аналог для стран членов НАТО (AQAP1). Существующая в нашей стране система нормативно-технических документов относит программное обеспечение к «продукции производственно-технического назначения», которая рассматривается как материальный объект. Однако программное обеспечение является скорее абстрактной нематериальной сферой. Существующие ГОСТы (например, ГОСТ 28 195–89. «Оценка качества программных средств. Общие положения») являются неполными.