Оценка значений показателей качества ПО

Методы оценки качества ПО можно подразделить на следующие шесть групп:

• 1) общий метод оценки качества ПО ИС определяет форму, единую методологию и общие принципы разработки и применения известных методов оценки качества ПО;
• 2) измерительные методы предназначены для измерения, регистрации, учета, контроля и обработки исходных данных для получения оценок качества ПО;
• 3) экспертные методы предназначены для получения оценок показателей качества в условиях отсутствия исходных данных и (или) высокой трудоемкости их получения и (или) недостоверности их и (или) сложности расчета оценок другими методами;
• 4) расчетные методы представляют собой операции по обработке исходных данных и (или) мнений экспертов в соответствии с заданным алгоритмом с целью получения оценок значений показателей качества ПО ИС;
• 5) методы принятия решений о качестве ПО служат для выработки заключения о качестве исследуемого ПО на основе полученных оценок в соответствии с целями и задачами оценки его качества;
• 6) прочие методы.

Как правило, при оценке качества ПО используется комбинация нескольких методов.

Общий метод оценки заданного показателя качества ПО устанавливает общую форму правила получения оценки соответствия элементов множества Qj показателя элементам множества Q₂ этого показателя. Если задано конечное множество критериев показателей качества ПО Q₄ в виде числовых характеристик элементов этого множества и заданы весовые значения каждого элемента множества критериев показателя качества на множестве Q_x, то оценка К значения показателя качества ПО по всему множеству Q_: определяется в виде свертки показателей. Для этого могут использоваться любые известные методы математической статистики.

Измерительные методы оценки показателей качества ПО представляют собой совокупность операций по измерению, регистрации, учету, контролю и расчету характеристик и элементов множеств Q_a, Q₃ и Q₄. Эти методы должны быть ориентированы на получение оценок таких характеристик ПО и результатов его работы, как:

• • состав и количество операторов исходного текста;
• • время работы ПО;
• • число строк комментариев;
• • число операторов и операндов;
• • число исполненных операторов;
• • количество ветвей и маршрутов в программе;
• • число точек входа/выхода;
• • время реакции;
• • объем ввода/вывода;
• • количество модулей;
• • количество переходов по условию;
• • количество циклов;
• • количество инструкций эксплуатационной документации;
• • количество специфицированных функций;
• • количество внутренних/внешних переменных;
• • время рестарта;
• • объем внутренней/внешней памяти;
• • число сбоев, отказов при работе ПО и др.

Этот перечень специфичен для конкретных видов ПО. Измерительные методы основаны, как правило, на применении инструментальных средств для получения элементарных характеристик ПО и результатов его работы. Таким инструментальным средством может быть средство вычислительной техники, на котором разрабатывается (испытывается, используется) оцениваемое ПО. Для получения отдельных характеристик может потребоваться создание специальных инструментальных средств. В методиках (методических материалах) по оценке качества ПО должно содержаться описание способов получения исходных данных для расчета оценок показателей качества, их полный перечень и описание методов измерения со ссылкой на необходимые инструментальные средства.

Экспертные методы. С помощью экспертных методов могут быть получены как исходные данные для расчета оценок значений показателей качества, так и сами оценки.

Определение характеристик показателей качества экспертным методом осуществляется группой экспертов-специалистов, компетентных в решении данной задачи. При этом решение базируется на опыте и интуиции экспертов. При использовании экспертных методов необходимо оценивать компетентность и добросовестность группы экспертов.

Определение характеристик показателей качества экспертным методом предполагает следующий порядок действий:

• 1) подбор и подготовка группы экспертов;
• 2) постановка задачи эксперту (экспертам);
• 3) контроль работы экспертов;
• 4) сбор мнений (оценок) экспертов;
• 5) оценка компетентности и добросовестности группы экспертов;
• 6) расчет экспертной оценки.

Методики получения экспертных оценок значений показателей качества в целях методологического единства должны основываться на общем методе оценки качества, правилах выбора номенклатуры показателей качества и действующих методических материалах по оценке заданного показателя качества оцениваемого ПО.

Расчетные методы основаны на использовании теоретических и эмпирических зависимостей (на ранних этапах разработки ПО), статистических данных, накапливаемых при испытаниях, эксплуатации и сопровождении ПО. При помощи расчетных методов определяются длительность и точность вычислений, время реакции, необходимые ресурсы и т. п.

Методы принятия решений о качестве ПО. Данными методами могут быть получены обобщенные оценки по группе показателей качества, логически связанных и/или не связанных в номенклатуре показателей качества, а также оценки отдельных показателей качества и оценка качества ПО в целом.

Принятие решений о качестве ПО осуществляется после того, как получены необходимые оценки показателей качества. Как правило, этих оценок бывает недостаточно для получения обобщенной оценки качества ПО в целом, поэтому принятие решений о качестве ПО осуществляется в условиях неопределенности и риска. В зависимости от особенностей исследуемого ПО, характера полученных оценок, задач и целей исследования качества ПО степень неопределенности и риска принятия решений о качестве значительно колеблется. Основной причиной применения методов принятия решений о качестве ПО является отсутствие информации для задания меры качества ПО на соответствующем множестве Qj. Таким образом, задача принятия решений сводится к задаче определения значимости полученных оценок показателей качества.

Процесс принятия решений включает четыре этапа;

• 1. Определение альтернативных способов принятия решений.
• 2. Определение степени неопределенности и риска возможных исходов.
• 3. Ранжирование предпочтений возможных исходов.
• 4. Рациональный синтез информации, полученной на первых трех этапах, и выработка решения.

После проведения всех испытаний и расчетов, необходимых при принятии решений, полученные в числовом выражении значимости оценок показателей качества ПО должны быть представлены в виде интегрального выражения.

Прочие методы. Среди прочих методов выделяется органолептический метод, который основан на использовании информации о качестве ПО, получаемой в результате восприятия органов чувств человека: зрения, слуха, осязания и т. д. С помощью этого метода может оцениваться качество оформления и упаковки ПО, качество визуализации и звукового оформления функционирования ПО, качество печати документации и т. д.

К прочим методам относится комплексный метод оценки качества, основанный на логике умозаключений, определяющих качество ПО путем логических операций (аналогия, следствие, отрицание и т. д.) над характеристиками ПО и результатами его разработки и использования.

Наиболее распространенным среди прочих методов оценки качества ПО является метод сравнения оцениваемого ПО с базовым образцом (эталоном). Этот метод предусматривает:

• • выбор базового образца ПО;
• • сравнение характеристик оцениваемого ПО с соответствующими характеристиками базового образца ПО;
• • пересчет оценок показателей качества базового образца с целью сравнения с таковыми для оцениваемого ПО.

Развитие ПО и расширение области применения ПО обуславливают возможность появления других методов оценки качества ПО. Состав методов оценки качества ПО и их классификация являются открытыми и допускают расширение.