Б. З. Оценка качества информационных систем

Понятие качества ИС соответствует понятию о том, что система успешно справляется со всеми возлагаемыми на нее задачами, имеет хорошие показатели надежности, имеет приемлемую стоимость, удобна в эксплуатации и обслуживании, легко сопрягается с другими системами и, в случае необходимости, может быть модифицирована.

Разные группы пользователей имеют различные точки зрения на характеристики качества ИС. Например, если задать вопрос о том, какой должна быть хорошая ИС, то от пользователя можно, скорее всего, получить следующие варианты ответов:

• • должна иметь хорошую производительность;
• • должна иметь широкие функциональные возможности;
• • должна быть удобна в эксплуатации;
• • должна быть надежна.

Менеджер даст, скорее всего, другие варианты ответов:

• • не должна быть очень дорогой;
• • не должна быть очень дорогой в эксплуатации;
• • не должна морально устаревать в течение возможно более длительного промежутка времени, а, в случае необходимости, может быть легко модифицирована.

Для системного администратора наиболее важными могут оказаться такие характеристики системы, как:

• • должна быть надежна и стабильна в работе;
• • должна быть проста в администрировании;
• • должна иметь хорошую эксплуатационную документацию;
• • должна иметь хорошую поддержку изготовителем.

Другие заинтересованные лица могут иметь свои точки зрения на то, какой должна быть качественная система.

Качество ИС связано с дефектами, заложенными на этапе проектирования и проявляющиеся в процессе эксплуатации. Любые свойства ИС, в том числе и дефектологические, могут проявляться лишь во взаимодействии с внешней средой, включающей технические средства, персонал, информационное и программное окружение.

В зависимости от целей исследования и этапов жизненного цикла ИС дефектологические свойства разделяют на дефектогенность, дефектабельность и дефектоскопичность.

Дефектогенность определяется влиянием следующих факторов:

• • количество разработчиков ИС, их профессиональные и психофизиологические характеристики;
• • условия и организация процесса разработки ИС;
• • характеристики инструментальных средств и компонент ИС;
• • сложность задач, решаемых ИС;
• • степень агрессивности внешней среды (потенциальная возможность внешней среды вносить преднамеренные дефекты, например, воздействие вирусов).

Дефектабелъность характеризует наличие дефектов ИС и определяется их количеством, местонахождением и др. факторами, влияющими на дефектабельность, являются:

• • структурно-конструктивные особенности ИС;
• • интенсивность и характеристики ошибок, приводящих к дефектам.

Дефектоскопичностъ характеризует возможность проявления дефектов в виде отказов и сбоев в процессе отладки, испытаний или эксплуатации. На дефектоскопичность влияют:

• • количество, типы и характер распределения дефектов в ИС;
• • устойчивость ИС к проявлению дефектов;
• • характеристики средств контроля и диагностики дефектов;
• • квалификация обслуживающего персонала.

Оценка качества ИС является крайне сложной задачей ввиду многообразия интересов пользователей. Поэтому невозможно предложить одну универсальную меру качества и приходится использовать ряд характеристик, охватывающих весь спектр предъявляемых требований. Наиболее близки к задачам оценки качества ИС модели качества программного обеспечения, являющегося одной из важных составных частей ИС. В настоящее время используется несколько абстрактных моделей качества программного обеспечения, основанных на определениях характеристики качества, показателя качества, критерия и метрики.

Критерий может быть определен как независимый атрибут ИС или процесса ее создания. С помощью такого критерия может быть измерена характеристика качества ИС на основе той или иной метрики. Совокупность нескольких критериев определяет показатель качества, формируемый исходя из требований, предъявляемых к ИС. В настоящее время наибольшее распространение получила иерархическая модель взаимосвязи компонент качества ИС. Вначале определяется характеристика качества, в числе которых могут быть, например, общая полезность, исходная полезность, удобство эксплуатации. Далее формируются показатели, к числу которых могут быть отнесены: практичность, целостность, корректность, удобство обслуживания, оцениваемость, гибкость, адаптируемость, мобильность, возможность взаимодействия. Каждому показателю качества ставится в соотвествие группа критериев. Для указанных выше показателей ниже приведены возможные критерии. Надо отметить, что один и тот же критерий может характеризовать несколько показателей.

С помощью метрик можно дать количественную или качественную оценку качества ИС. Различают следующие виды метрик и шкал для измерения критериев.

Первый тип — метрики, которые используют интервальную шкалу, характеризуемую относительными величинами или реально измеряемыми физическими показателями, например, временем наработки на отказ, вероятностью ошибки, объемом информации и др.

Второй тип — метрики, которым соответствует порядковая шкала, позволяющая ранжировать характеристики путем сравнения с опорными значениями.

Третий тип — метрики, которым соответствуют номинальная или категорированная шкала, определяющая наличие рассматриваемого свойства или признака у рассматриваемого объекта без учета градаций по этому признаку. Так, например, интерфейс может быть «простым для понимания», «умеренно простым», «сложным для понимания».

Развитием иерархического подхода является представленная на рис. 6.11 модель классификации критериев качества информационных систем. С помощью функциональных критериев оценивается степень выполнения ИС основных целей или задач. Конструктивные критерии предназначены для оценки компонент ИС, не зависящих от целевого назначения.

Рис. 6.11. Модель классификации критериев качества информационных систем.

Поскольку в современных ИС ключевой компонентой является программная компонента, а пользователи, работающие с системой, в подавляющем большинстве случаев взаимодействуют непосредственно с программной компонентой, поэтому показатели качества информационных и программных систем в значительной степени совпадают.

Качество программного обеспечения определяется в стандарте ISO 9126 как вся совокупность его характеристик, относящихся к возможности удовлетворять высказанные или подразумеваемые потребности всех заинтересованных лиц.

Различаются понятия внутреннего качества, связанного с характеристиками ПО самого по себе, без учета его поведения; внешнего качества, характеризующего ПО с точки зрения его поведения; и качества ПО при использовании в различных контекстах — того качества, которое ощущается пользователями при конкретных сценариях работы ПО. Для всех этих аспектов качества введены метрики, позволяющие оценить их. Кроме того, для создания добротного ПО существенно качество технологических процессов его разработки.

ISO 9126 — это международный стандарт, определяющий оценочные характеристики качества программного обеспечения. Российский аналог стандарта ГОСТ 28 195. Стандарт разделяется на четыре части, описывающие следующие вопросы: модель качества; внешние метрики качества; внутренние метрики качества; метрики качества в использовании.

Вторая и третья части стандарта ISO 9126−2,3 посвящены формализации соответственно внешних и внутренних метрик характеристик качества сложных программных систем. В ней изложены содержание и общие рекомендации по использованию соответствующих метрик и взаимосвязей между типами метрик.

Четвертая часть стандарта ISO 9126−4 предназначена для покупателей, поставщиков, разработчиков, сопровождающих, пользователей и менеджеров качества программные системы (ПС). В ней повторена концепция трех типов метрик, а также аннотированы рекомендуемые виды измерений характеристик. Модель качества, установленная в первой части стандарта ISO 9126−1, классифицирует качество ПО в шести структурных наборах характеристик:

• • функциональность;
• • надежность;
• • эффективность (производительность);
• • удобство использования;
• • удобство сопровождения;
• • переносимость.

Перечисленные характеристики, в свою очередь, детализированы подхарактеристиками (субхарактеристиками) (рис. 6.12). Ниже приведены определения этих характеристик и атрибутов по стандарту ISO 9126:2001.

Функциональность (functionality) определяется как способность ПО в определенных условиях решать задачи, нужные пользователям.

Для данной характеристики выделяются следующие субхарактеристики:

• • функциональная пригодность;
• • точность;
• • способность к взаимодействию;
• • защищенность;
• • соответствие стандартам и правилам.

Рис. 6.12. Характеристики качества ИС

Функциональная пригодность (suitability) — способность решать нужный набор задач.

Точность (accuracy) — способность выдавать нужные результаты.

Способность к взаимодействию (interoperability) — это способность взаимодействовать с нужным набором других систем.

Соответствие стандартам и правилам (compliance) — соответствие ПО имеющимся индустриальным стандартам, нормативным и законодательным актам, другим регулирующим нормам.

Защищенность (security) — способность предотвращать неавторизированный, т. е. без указания лица, пытающегося его осуществить, и неразрешенный доступ к данным и программам.

Надежность (reliability) — это способность ПО поддерживать определенную работоспособность в заданных условиях.

Для данной характеристики выделяются следующие субхарактеристики:

• • зрелость;
• • устойчивость к отказам;
• • способность к восстановлению;
• • соответствие стандартам.

Зрелость, завершенность (maturity) — величина, обратная частоте отказов ПО. Обычно измеряется средним временем работы без сбоев и величиной, обратной вероятности возникновения отказа за данный период времени.

Устойчивость к отказам (fault tolerance) — способность поддерживать заданный уровень работоспособности при отказах и нарушениях правил взаимодействия с окружением.

Способность к восстановлению (recoverability) — способность восстанавливать определенный уровень работоспособности и целостность данных после отказа, необходимые для этого время и ресурсы.

Соответствие стандартам надежности (reliability compliance).

Удобство использования (usability), или практичность, определяется как способность ПО быть удобным в обучении и использовании, а также привлекательным для пользователей.

Для данной характеристики выделяются следующие субхарактеристики:

• • понятность;
• • удобство обучения;
• • удобство работы;
• • привлекательность;
• • соответствие стандартам.

Понятность (understandability) — это показатель, обратный к усилиям, которые затрачиваются пользователями на восприятие основных понятий ПО и осознание их применимости для решения своих задач.

Удобство обучения (learnability) — показатель, обратный усилиям, затрачиваемым пользователями на обучение работе с ПО.

Удобство работы (operability) — это показатель, обратный усилиям, предпринимаемым пользователями для решения своих задач с помощью ПО.

Привлекательность (attractiveness) — это способность ПО быть привлекательным для пользователей. Этот атрибут добавлен в 2001 г.

Соответствие стандартам определяется как удобства использования (usability compliance).

Производительность (efficiency), или эффективность, — это способность ПО при заданных условиях обеспечивать необходимую работоспособность по отношению к выделяемым для этого ресурсам. Можно определить ее и как отношение получаемых с помощью ПО результатов к затрачиваемым на это ресурсам всех типов.

Для данной характеристики выделяются следующие субхарактеристики:

• • временная эффективность;
• • эффективность использования ресурсов;
• • соответствие стандартам.

Временная эффективность (time behaviour) — способность ПО выдавать ожидаемые результаты, а также обеспечивать передачу необходимого объема данных за отведенное время.

Эффективность использования ресурсов (resource utilisation) — способность решать нужные задачи с использованием определенных объемов ресурсов определенных видов. Имеются в виду такие ресурсы, как оперативная и долговременная память, сетевые соединения, устройства ввода и вывода и пр.

Соответствие стандартам производительности (efficiency compliance).

Удобство сопровождения (maintainability) определяется как удобство проведения всех видов деятельности, связанных с сопровождение программ.

Для данной характеристики выделяются следующие субхарактеристики:

• • анализируемость;
• • удобство внесения изменений;
• • стабильность;
• • удобство проверки;
• • соответствие стандартам.

Анализируемость (analyzability), или удобство проведения анализа, определяется как удобство проведения анализа ошибок, дефектов и недостатков, а также удобство анализа необходимости изменений и их возможных последствий.

Удобство внесения изменений (changeability) — показатель, обратный трудозатратам на выполнение необходимых изменений.

Стабильность (stability) — это показатель, обратный риску возникновения неожиданных эффектов при внесении необходимых изменений.

Удобство проверки (testability) — это показатель, обратный трудозатратам на проведение тестирования и других видов проверки того, что внесенные изменения привели к нужным результатам.

Соответствие стандартам удобства сопровождения (maintainability compliance').

Переносимость (portability) определяется как способность ПО сохранять работоспособность при переносе из одного окружения в другое, включая организационные, аппаратные и программные аспекты окружения.

Иногда эта характеристика называется в русскоязычной литературе мобильностью. Однако термин «мобильность» стоит зарезервировать для перевода «mobility» — способности ПО и компьютерной системы в целом сохранять работоспособность при ее физическом перемещении в пространстве.

Для данной характеристики выделяются следующие субхарактеристики:

• • адаптируемость;
• • удобство установки;
• • способность к сосуществованию;
• • удобство замены;
• • соответствие стандартам;

Адаптируемость (adaptability) — способность ПО приспосабливаться различным окружениям без проведения для этого действий, помимо заранее предусмотренных.

Удобство установки (installability) — это способность ПО быть установленным или развернутым в определенном окружении.

Способность к сосуществованию (coexistence) — это способность ПО сосуществовать с другими программами в общем окружении, деля с ними ресурсы.

Удобство замены (replaceability) другого ПО данным определяется как возможность применения данного ПО вместо других программных систем для решения тех же задач в определенном окружении.

Соответствие стандартам переносимости (portability compliance).

Перечисленные атрибуты относятся к внутреннему и внешнему качеству ПО согласно ISO 9126. Для описания качества ПО при использовании стандарт ISO 9126−4 предлагает другой, более узкий набор характеристик:

• • эффективность;
• • продуктивность;
• • безопасность;
• • удовлетворение пользователей;
• • эффективность (effectiveness).

Способность ПО предоставлять пользователям возможность решать их задачи с необходимой точностью при использовании в заданном контексте.

Продуктивность (productivity) — это способность ПО предоставлять пользователям определенные результаты в рамках ожидаемых затрат ресурсов.

Безопасность (safety) — это способность ПО обеспечивать необходимо низкий уровень риска нанесения ущерба жизни и здоровью людей, бизнесу, собственности или окружающей среде.

Удовлетворение пользователей (satisfaction) — это способность ПО приносить удовлетворение пользователям при использовании в заданном контексте.

Одним из путей обеспечения качества ИС является сертификация. В США Радиотехническая комиссия по аэронавтике в своем руководящем документе определяет процесс сертификации следующим образом: «Сертификация — процесс официального утверждения государственным полномочным органом выполняемой функции системы путем удостоверения, что функция удовлетворяет всем требованиям заказчика, а также государственным нормативным документам». К сожалению, в настоящее время не существует стандартов, полностью удовлетворяющим оценке качества ИС. В западно-европейских странах имеется ряд стандартов, определяющих основы сертификации программных систем. Стандарт Великобритании (BS750) описывает структурные построения программных систем, при соблюдении которых может быть документ — гарантия качества на государственном уровне. Имеется международный аналог указанного стандарта (7S09000) и аналог для стран членов НАТО (AQAP1). Существующая в нашей стране система нормативно-технических документов относит программное обеспечение к «продукции производственно-технического назначения», которая рассматривается как материальный объект. Однако программное обеспечение является, скорее, абстрактной нематериальной сферой. Существующие ГОСТы, например ГОСТ 28 195–89. «Оценка качества программных средств. Общие положения», явно устарели и являются неполными.