Методологические основы проведения испытаний, оценки качества и сертификации программных средств

Оценка качества ПО.

Проведение (организация) тестирования ПО при его проверке на выполнение требований технологической безопасности предполагает определение номенклатуры показателей технологической безопасности ПО, общих методов измерения, испытаний ПО и оценки его качества. При этом устанавливаются общие правила оценки качества ПО на основе базовых и частных методик его оценки, как в целом, так и по отдельным показателям. При этом частные методики могут разрабатываться как для различных видов (классов) ПО, так и для отдельных программ (комплексов).

При оценке качества ПО каждое его свойство характеризуется показателем в численном выражении. Поскольку в настоящее время показатели технологической безопасности программ только разрабатываются, при оценке данного свойства используются известные показатели качества ПО. Технологическая безопасность определяется по отклонениям значений известных показателей от прогнозируемых для каждого типа программ.

Оценка качества ПО представляет собой совокупность следующих операций:

• • выбор номенклатуры показателей качества оцениваемого ПО;
• • измерение характеристик, сбор и обработку данных по результатам экспериментов (проведения испытаний, тестирования и т. д.);
• • выбор метода (методов) оценивания;
• • расчет оценок значений показателей качества;
• • принятие решения о качестве ПО.

Оценка качества ПО может осуществляться при проведении следующих видов работ:

• • определение технических требований к разрабатываемому ПО;
• • контроль качества на отдельных этапах разработки ПО;
• • испытания и демонстрация работы ПО;
• • контроль качества в процессе производства ПО;
• • контроль качества при приеме-сдаче и купле-продаже ПО;
• • контроль качества и планирование работ при сопровождении ПО;
• • принятие решения о снятии ПО с эксплуатации, прекращении производства, разработки.

Методическое обеспечение проведения испытаний программных средств включает базовые и частные методики.

А. Базовые методики

А1. Методики испытаний:

• • методика моделирования программ;
• • методика модельных испытаний;
• • методика испытаний по требованиям качества;
• • методика испытаний по требованиям безопасности.

А2. Методики оценки показателей качества:

• • методика выбора номенклатуры показателей качества;
• • методика автоматизированной оценки показателей качества;
• • методика экспертной оценки показателей качества.

АЗ. Методики экспертизы ПО:

• • методика экспертизы качества ПО;
• • методика экспертизы безопасности ПО.

А4. Методика оценки требований к ПО — методика экспертизы требований.

А5. Методики принятия решений:

• • методика расчета относительных оценок показателей качества;
• • методика принятия решения о качестве ПО;
• • методика принятия решения о безопасности ПО;
• • методика принятия решения о выдаче сертификата качества;
• • методика расчета страховых рисков.

Б. Частные методики

Б.1. Методики оценки по показателям качества, к которым относятся: методики испытаний, оценки требований и принятия решения о надежности ПО, сопровождаемости, удобстве применения, эффективности, универсальности, корректности и защищенности ПО.

Б.2. Методики оценки по видам ПО, к которым относятся: методики испытаний, оценки показателей, экспертизы, оценки выполнения требований к отечественным и импортным программным средствам, общесистемное программное обеспечение (ОПО), пакетам прикладных программ, системам реального времени, специальному ПО, универсальному ПО, программным средствам защиты информации.

Инструментальные средства проведения испытания программ.

В состав инструментальных средств проведения испытания программного обеспечения могут входить:

• • анализаторы исходных текстов программ;
• • анализатор объектных кодов программ;
• • программы модельных испытаний;
• • программы оценки показателей качества ПО;
• • программы оценки показателей безопасности ПО;
• • программы экспертизы выполнения требований к ПО;
• • программы интерфейса эксперта;
• • программы принятия решений;
• • программы расчета рисков.