Эталонная модель качества оценки показателей ПС

Для оценки показателей качества сложных систем используется стандартная модель качества, которая для всех видов и типов ПС имеет вид [14, 15, 39].

где Q = {q_h q₂ … q_{ } / = 6, — множество характеристик качества (Quality —

0; А = {ci, я₂,…" dj}j = 1…J, — множество атрибутов (Attributes — А), каждый из которых фиксирует отдельное свойство q,? — характеристики качества; М =

{т, т_ъ… т_к) к =1…К, — множество метрик {Metrics — М) каждого элемента я, атрибута для проведения измерения этого атрибута; W- {и>_ь w₂,…, vv"}, п = У,…, N, — множество весовых коэффициентов {Weights - W) для метрик множества М.

В стандартах качества и в ядре знаний SWEBOK (www.swcbok.com) определено шесть базовых характеристик качества ПО: q. функциональность (functionality), q₂ надежность (realibility), qy. удобство применения (usability), q₄: эффективность (efficiency), q_s: сопровождаемость (maitainnability), q₆: переносимость (portability).

Далее описаны характеристики качества q _ q₆ и формулы их оценки общего вида

Функциональность - совокупность свойств, определяющих способность системы предоставлять требуемое множество функций для решения задач в соответствии с требованиями. В модели качества эта характеристика задается набором агрибутов q = {яц, Я|₂, Я|з, Я|₄, Я15, я^}, семантика и оценка которых приведены ниже.

Яц: функциональная полнота — свойство компонента, которое показывает степень достаточности реализованных в нем функций для решения задач в соответствии с его назначением. Данный атрибут можно представить в виде отношения всех реализованных функций F ‘ в компонентной системе ©, к функциям F ^т, заданным в требованиях (т):

ai₂: корректность — атрибут, который указывает на степень соответствия каждой функции F заданной в требовании, и каждой функции F, реализованной в ПС. При этом система обладает свойством полной корректности, если F^m = F и частичной корректности, если F’cz F ^с. Для большинства систем достаточно частичной корректности. Степень корректности компонента определяется, как степень функциональной корректности: V= 1- (card (F^m/F^c) /cardF^m

я и: точность — свойство, определяющее получение системой правильных результатов. Она может оцениваться отношением V разности значения функции F) (Д) компонента и значения функции F^m_i (Д), заданной требованиями на Д входного набора к значению функции:

а и: интероперабельность — свойство компонента взаимодействовать с другими компонентами и операционной средой;

«15: защищенность — атрибут, который показывает возможность компонента (системы) фиксировать дефекты, как следствие субъективных ошибок, или вызванные программными или аппаратными средствами, а также ошибок, связанных с данными. Оценку степени защищенности можно представить с помощью выражения «|5 =/аГ / fal, где J’af — количество дефектов, от которых компонент защищен; /"/ - общее количество дефектов в компонентах или ПС;

«i₆: согласованность — атрибут, который показывает степень соблюдения стандартов, правил и других соглашений процесса разработки, и оценивается экспертно.

Таким образом, характеристика функциональности q вычисляется суммированием сс атрибутов с учетом метрик и их весовых коэффициентов:

Надежность ПС будем определять как вероятность того, что компоненты системы или сама система функционируют безотказно в течение фиксированного периода времени в заданных условиях операционной среды. В модели качества надежность задается на множестве атрибутов q₂ = {а₂, а₂₂, а₂₂, а₂₄}, которые определяют способность системы преобразовывать исходные данные в результаты при условиях, зависящих от периода времени жизни системы (износ и старение не учитываются). Снижение надежности компонентов происходит изза ошибок в требованиях, проектировании и выполнении. Отказы и ошибки в программных компонентах могут появляться на заданном промежутке времени функционирования компонента/системы [26−30].

Свойства каждого атрибута надежности:

«21: безотказность определяет функционирование системы без отказов профаммных компонентов или оборудования. Если компонент содержит дефект, вызванный субъекгивными ошибками при разработке, то во множестве D={Deje€L} всех дефектов, можно выделить подмножество EdD, для которого результаты не соответствуют функции F» заданной в требованиях на разработку. Вероятность р безотказного выполнения компонента на De, случайно выбранном из D среди равновероятных, имеет вид р = 1- (card (Е)/ card (D)).

Отказ (failure) показывает отклонение поведения системы от предписанного и система перестает выполнять заданные ей функции. Кроме того, появление отказа может быть причиной ошибки (fault/ error), вызывающей его.

Если ошибка сделана человеком, то используется термин mistake. Когда различие между fault и failure не является критическим, и используется термин defect, который означает либо fault (причина), либо failure (действие). Связь между ними такая: fault —> error -> failure. Отказы в ПС являются типичными: внезапные, постепенные, перемещающиеся (сбои). Они могут возникать естественным путём, вноситься человеком или внешней операционной средой в период создания или эксплуатации системы, быть постоянными или носить временный характер.

Наработка на отказ как атрибут надежности определяется как среднее время между появлением угроз, нарушающих безопасность, и обеспечивающих трудно измеряемую оценку ущерба от соответствующей угрозы.

Для вычисления среднего времени Т наработки на отказ применяется формула.

где V/,^f— интервал времени безотказной работы компонента /-го отказа; N - количество отказов в системе.

а?2 • устойчивость к ошибкам — свойство компонентов системы, которое указывает на способность ПС выполнять функции при аномальных условиях (сбоях аппаратуры, ошибках в данных и интерфейсах, нарушениях в действиях оператора и др.). Оценку устойчивости можно получить по формуле У = /V77V, где ЛЛ — количество разных типов отказов, для которых предусмотрены средства восстановления; N - общее количество всех отказов в системе.

а_1Ъ: восстанавливаемость — свойство, указывающее на способность возобновлять функционирование системы после отказов и восстанавливать в ней поврежденные компоненты и/или данные для повторного исполнения.

Среднее время восстановления компонента можно определить по формуле.

где Vtf — время восстановления работоспособности компонента после /-го отказа; De — количество дефектов и отказов в системе.

агл- согласованность — атрибут, который отражает степень соблюдения стандартов, технологии, правил и других соглашений на стадиях разработки и тестирования системы для поиска разного рода ошибок разработки.

Некоторые типы систем реального времени, безопасности и другие требуют высокой надежности (недопустимость ошибок, точность, достоверность и др.), которая в значительной степени зависит от количества оставшихся и не устраненных ошибок в процессе ее разработки на этапах ЖЦ. В ходе эксплуатации ошибки также могут обнаруживаться и устраняться. Если при их исправлении не вносятся новые либо вноситься их меньше, чем устраняется, то в ходе эксплуатации надежность системы непрерывно возрастает. Чем интенсивнее проводится эксплуатация, тем интенсивнее выявляются ошибки и быстрее растет надежность. К факторам, влияющим на надежность ПО, относятся:

• 1) угроза нарушения безопасности системы;
• 2) совокупность угроз, приводящих к нарушению системы или среды и др.

Надежность постоянно изучается и развивается. Новое ее направление — инженерия надежности ПО (Software reliability engineering — SRE), которая ориентирована на решение следующих задач [20, 28]:

• 1) измерение надежности, т. е. проведение ее количественной оценки с помощью предсказаний, сбора данных о поведении системы в процессе эксплуатации и современных моделей надежности;
• 2) разработка стратегии, метрик конструирования КГ1И и ПС в целом и среды функционирования, обеспечивающей надежность работы системы;
• 3) применение современных методов инспектирования, верификации, валидации и тестировании ПС в процессе разработки и эксплуатации.

Количественная оценка характеристики надежности системы по всем се атрибутам и метрикам имеет вид:

Удобство применения — это множество свойств ПС, которые показывают на необходимые и пригодные условия ее использования. Эта характеристика определяется на множестве эргономичных атрибутов и включают:

«3i: понимаемость означает усилие, затрачиваемое на распознавание логических концепций и условий применения ПС;

«32: изучаемость означает усилия пользователей при определении возможности применения ПС посредством анализа документации;

«зз: оперативность — реакция системы при выполнении операторов и операционного контроля;

«зд: согласованность — соответствие ПС требованиям стандартов, соглашений, правил, законов и предписаний.

Все атрибуты оцениваются экспертами, которые в зависимости от их уровня знаний, дают соответствующие качественные значения. Формула оценки данной характеристики имеет вид:

Эффективность — множество атрибутов, которые показывают взаимосвязь между уровнем се выполнения, количеством используемых ресурсов (аппаратуры, расходных материалов и др.), услуг штатного обслуживающего персонала и др.

К ним относятся:

«41: реактивность — время отклика, обработки и выполнения функций компонента/системы;

«42: эффективность — количество используемых ресурсов при выполнении функций ПС и продолжительность их вычислений;

«43: согласованность — соответствие данного атрибута заданным стандартам, правилам и предписаниям.

Количественная оценка данной характеристики имеет вид.

Сопровождаемость — множество свойств, которые отражают усилия, затрачиваемые на проведение модификаций (корректировка, усовершенствование и адаптация) при изменении среды выполнения, требований или спецификаций. Данная характеристика в модели качества состоит из следующих атрибутов:

<*52: анализируемость — необходимые усилия для диагностики отказов в ПС или идентификации частей, которые будут модифицироваться;

<*₅з: изменяемость — усилия, которые затрачиваются на модификацию компонента, удаление ошибок или внесение изменений, дополнение новых возможностей в систему или среду функционирования;

<*54: стабильность — риск проведения модификации компонента /системы;

<*5з: тестируемость — усилия при проведении верификации в целях обнаружения ошибок и несоответствий требованиям (валидация), а также на необходимость исправления обнаруженных ошибок и проведения сертификации системы;

<*54: согласованность — соответствие данного атрибута определенным стандартам, соглашениям, правилам и предписаниям.

Количественная оценка данной характеристики имеет вид.

Переносность — множество атрибутов, указывающих на возможность компонентов системы приспосабливаться к работе в новых условиях среды выполнения. Перенос компонентов или ПС на другую платформу или среду связан с совокупностью действий, направленных на обеспечение возможности функционирования в новой среде, отличной от той, в которой система создавалось. К атрибутам данной характеристики относятся:

<*₆1: адаптивность — усилия, затрачиваемые на адаптацию системы к различным операционным средам. Этот атрибут можно представить в виде а_Ь — Za / Zd, где Za — затраты на адаптацию к новой операционной среде; Zd — затраты на разработку новой системы для новой операционной среды;

<*62: настраиваемость для запуска или инсталляции Г1Г1 в другой среде;

<*бз: сосуществование специального ПО в среде действующей системы;

<*64: заменяемость — возможность взаимодействия с другими программами при совместной их работе, инсталляции или адаптации системы;

<*65: согласованность со стандартами или соглашениям по правилам переноса программной системы в другую среду.

Количественная оценка данной характеристики имеет вид.

Комплексная оценка. На основе полученных количественных характеристик вычисляется итоговая оценка путем суммирования значений отдельных показателей и сравнения их с эталонными показателями ПС. Если в требованиях к ПС установлено несколько показателей, то просчитанный показатель умножается на соответствующий весовой коэффициент, а затем суммируются все показатели.

Если ПС содержит N-сом, то комплексная оценка качества системы (sys):

Таким образом, данный подход к аналитической оценке атрибутов показателей качества ПС позволяет получить количественную оценку качества.