Показатели надежности. 
Надежность программного обеспечения компьютера

Под показателем надежности принято понимать величину или совокупность величин, характеризующих качественно или количественно степень приспособленности систем к выполнению поставленной задачи при применении по назначению. В практике проведения исследований вводятся в рассмотрение три вида показателей надежности сложных систем: качественные, порядковые и количественные.

Качественные показатели надежности — это такие показатели, которые не могут быть выражены в виде числа и не содержат информации, позволяющей обосновать предпочтение одного из нескольких конкурирующих вариантов системы при их сравнении. Качественные показатели надежности указывают на то, что рассматриваемая система обладает каким-либо свойством для выполнения поставленной задачи. Качественные показатели дают возможность отличать системы друг от друга, но не позволяют сравнивать их по степени выполнения поставленной задачи, т. е. по надежности. Качественные аспекты и характеристики неизбежны при анализе любых систем, и их всегда необходимо учитывать. Однако часто при проведении исследований надежности анализ ограничивается исключительно качественными показателями. Такой подход сужает сферу применения методов исследования надежности систем и ограничивает значимость полученных результатов с помощью этой теории.

Порядковые показатели надежности — это такие показатели, которые содержат информацию, позволяющую обосновывать предпочтение одного из вариантов системы при их сравнении без количественной оценки степени предпочтения. Порядковые показатели дают возможность расположить в ряд по степени возрастания надежности исследуемые варианты системы, но не позволяют оценить, на какую величину отличается достигнутый уровень надежности рассматриваемых вариантов. В результате исследования можно построить доминирующую последовательность вариантов системы путем их ранжирования, т. е. установления порядкового номера или ранга применительно к каждому варианту системы, указывающего его место среди других вариантов.

Количественные показатели надежности — это такие показатели, которые содержат информацию, обеспечивающую оценку степени предпочтения одного варианта системы по отношению к другому при применении по назначению. Количественные показатели выражают надежность в виде числа: при помощи количественных показателей надежность измеряется или оценивается в принятой шкале оценок в абсолютных или относительных единицах. Количественные показатели определяются путем непосредственных статистических наблюдений на основе обработки результатов применения или испытания систем, а также путем аналитических расчетов или моделирования процесса функционирования систем. Они являются основными показателями надежности, обобщающими наиболее ценную информацию о степени приспособленности систем к применению по назначению.

В первых работах по теории надежности программного обеспечения заимствованы основные положения теории аппаратурной надежности и применена известная экспоненциальная формула функции надежности, выражающая вероятность безотказной работы за некоторый промежуток времени t. В ряде исследований вопроса надежности ПО показатель надежности рассматривался как функция времени наработки. Характерно, что ПО не изменяется существенно по мере наработки, а изменяется в результате устранения ошибок. Кроме того, вероятность отказа в работе не имеет прямого отношения к времени наработки. Зависимости для оценки надежности ПО могут быть непосредственно получены на основе свойств программы и элементарных понятий статистики.

В качестве исходных предпосылок используются следующие утверждения:

• 1) в результате выполнения программы для каждого множества входных данных получаем однозначный выходной результат;
• 2) множество входных данных определяет все вычисления, выполняемые программой;
• 3) каждая ошибка в программе вызывает сбои для некоторой части входных данных;
• 4) пропуск программы с некоторым подмножеством входных данных представляет собой единичное наблюдение ее действия.

Тогда вероятность Р появления сбоя есть вероятность того, что множество входных данных, выработанное для пропуска программы, таково, что порождает сбои. Р может быть выражено через вероятность выбора для работы множеств и переменную.

=0, если выходной результат верен для ;

=1, в противном случае.

Вероятность безотказной работы ПО будет представлена как.

(2.1).

где п — число всевозможных входов ПО.

Надежность R для некоторого рабочего участка может быть определена как.

(2.2).

Для получения вероятности отказа ПО экспериментальным путем можно применить следующий подход. Если испытывается определенное ПО относительно п различных входов и относительно l из них имеют место отказы, то вероятность отказа ПО оценивается как.

(2.3).

При равномерном распределении испытуемых входов во входном множестве и при достаточно большом п

(2.4).

В обычном ПО входы во входном множестве вряд ли распределяются однородно, можно говорить только о некотором используемом множестве входов. В связи с этим устранение ошибок будет производиться именно в используемом множестве и таким образом вероятность отказа в этом множестве ниже, чем в полном множестве входов.

Далее рассмотрим входное множество и используемое множество. Вероятность отказа в определяется во время программирования, а вероятность отказа в определяется в соответствии с устранением ошибок. Предположим, что и как вероятности отказа в и соответственно постоянны. Тогда можно записать на основе эксперимента:

(2.5).

Предполагая, что т причин отказа устранено, можно записать значение вероятности отказа после устранения ошибок для некоторой промежуточной точки:

(2.6).

Здесь может быть получено на основании зависимости (2.5).

Зависимость (2.6) представлена графиком на рис. 2.1, на котором по вертикальной оси представлена вероятность отказа ПО во множестве, а по горизонтальной оси — количество устраненных ошибок. На рисунке показано, что оценивается углом наклона прямой линии. Чем круче наклон прямой линии, тем меньше и, следовательно, выше интенсивность устранения ошибок.

При полном устранении всех ошибок ПО становится надежным, т. е.

и (2.7).

Однако в процессе устранения ошибок могут быть внесены новые ошибки. Допускается, что если новые ошибки могут возникать с одинаковой вероятностью во входном множестве, то вероятность ошибок, возникающих в используемом множестве, может быть представлена в виде отношения .

Если предположить, что устранение одной ошибки вызывает К новых ошибок, то вероятность отказа после устранения m ошибок может быть представлена так.

(2.8).

Точка пересечения двух линий отражает состояние, когда за счет внесения дополнительных ошибок надежные характеристики программы не улучшаются, несмотря на то, что имеет место обнаружение и устранение ошибок. Однако в фактически отлаживаемой программе значение К. изменяется в окрестности точки пересечения и, следовательно, предполагается, что линии становятся кривыми (пунктир на рисунке).

Программное обеспечение становится совершенным тогда, когда.

(2.9).

т.е. в точке, где прямая линия b пересекает горизонтальную ось.

Наличие представленного выше механизма обеспечивает возможность предсказания развития процесса устранения ошибок. С точки зрения надежности ПО, чем меньше значение, тем быстрее можно провести устранение ошибок и тем выше будет надежность. Из уравнения (2.9) следует, что.

(2.10).

Эту величину можно назвать «индексом оставшихся ошибок». Если степень устранения ошибок находится в диапазоне, обозначенном прямой линией Ь, то можно вычислить ряд количественных параметров надежности ПО и дать гарантию возможности его использования по назначению.

В качестве технических требований на разработку надежного ПО рекомендуются следующие критерии:

корректность программного обеспечения — число серьезных ошибок в программе и время, необходимое для их устранения;

обслуживаемость системы — степень влияния ошибок программного обеспечения на обслуживаемость системы;

безотказность системы — частота системных отказов, вызываемых ошибками программного обеспечения.

С учетом сложившейся практики выбора критериев оценки надежности необходимо принимать во внимание следующее:

• 1) разработанное программное обеспечение в начальной стадии эксплуатации может потребовать менее жестких критериев и большего времени для его совершенствования;
• 2) после выпуска новой версии некоторое время потребуются также менее строгие критерии качества ПО;
• 3) имеют место разбросы, вызываемые различием в условиях применения и использования ПО;
• 4) эффективность работ по исправлению ошибок, проводимых разработчиками ПО, зависит от частоты проявления ошибок, что в свою очередь зависит от информации, поступающей от пользователя;
• 5) необходимость соблюдения ограничений по быстродействию и производительности, если таковые диктуются пользователем.

Таким образом, надежность ПО представляется через определение вероятности отказа в отношении входного множества данных и через наблюдение интенсивности изменения вероятности отказа по мере устранения ошибок. Приведенные показатели в силу их количественной интерпретации могут быть использованы в качестве стандартных оценок программного обеспечения.