ГОСТ Р ИСО/МЭК 25023-2021 Системная и программная инженерия. Требования и оценка качества систем и программной продукции (SQuaRE). Измерения качества системы и программной продукции

    ГОСТ Р ИСО/МЭК 25023-2021

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Системная и программная инженерия

ТРЕБОВАНИЯ И ОЦЕНКА КАЧЕСТВА СИСТЕМ И ПРОГРАММНОЙ ПРОДУКЦИИ (SQuaRE)

Измерения качества системы и программной продукции

Systems and software engineering. Systems and software Quality Requirements and Evaluation (SQuaRE). Measurement of system and software product quality

ОКС 35.080

Дата введения 2022-01-01

Предисловие

1 ПОДГОТОВЛЕН Акционерным обществом "Всероссийский научно-исследовательский институт сертификации" (АО "ВНИИС") и Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 022 "Информационные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 19 ноября 2021 г. N 1524-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 25023:2016* "Системная и программная инженерия. Требования и оценка качества систем и программной продукции (SQuaRE). Измерения качества системы и программной продукции" (ISO/IEC 25023:2016 "Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Measurement of system and software product quality", IDT).

ИСО/МЭК 25023 разработан подкомитетом ПК 7 "Системная и программная инженерия" Совместного технического комитета СТК 1 "Информационные технологии" Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) не несут ответственности за идентификацию подобных патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Настоящий стандарт является частью серии стандартов SQuaRE, он отменяет и заменяет ISO/IEC TR 9126-2 и ISO/IEC TR 9126-3 со следующими изменениями:

- показатели качества, содержавшиеся в ISO/IEC TR 9126-2 и ISO/IEC TR 9126-3, рассмотрены, приняты или отклонены согласно практической полезности;

- другие показатели качества представлены для пересмотренной модели качества программного продукта в ИСО/МЭК 25010;

- внутренние и внешние показатели соединены и представлены в упрощенном формате в одной таблице.

Серия стандартов SQuaRE состоит из следующих разделов под общим названием "Требования и оценка качества систем и программной продукции" (SQuaRE):

- ИСО/МЭК 2500n - раздел "Управление качеством";

- ИСО/МЭК 2501n - раздел "Модель качества";

- ИСО/МЭК 2502n - раздел "Измерения качества";

- ИСО/МЭК 2503n - раздел "Требования к качеству";

- ИСО/МЭК 2504n - раздел "Оценка качества";

- ИСО/МЭК 25050-ИСО/МЭК 25099 - раздел "Расширения".

Приложения A, B и C приведены только для информации.

Настоящий стандарт является частью серии стандартов SQuaRE. Он предоставляет набор показателей качества для характеристик систем/программных продуктов, которые можно использовать для определения требований, измерения и оценки качества программных продуктов в сочетании с другими сериями стандартов SQuaRE, таких как ИСО/МЭК 25010, ИСО/МЭК 25030, ИСО/МЭК 25040 и ИСО/МЭК 25041.

Набор показателей качества в настоящем стандарте был выбран исходя из их практической ценности и подразделен на два уровня надежности. Они не должны быть исчерпывающими, и пользователям настоящего стандарта рекомендуется при необходимости уточнять их.

Раздел измерения качества

Настоящий стандарт является частью серии ИСО/МЭК 2502n, которая в настоящее время состоит из следующих стандартов:

- ИСО/МЭК 25020 - Эталонная модель и руководство по измерениям: обеспечивает эталонную модель и руководство по измерению характеристик качества, определенных в ИСО/МЭК 2501n;

- ИСО/МЭК 25021 - Элементы измерения качества: обеспечивает формат для определения элементов измерения качества и некоторые примеры элементов измерения качества (QMEs), которые могут быть использованы для построения показателей качества программного обеспечения;

- ИСО/МЭК 25022 - Измерение качества в процессе использования: обеспечивает измерения, включая связанные функции измерения показателей качества в модели качества при использовании;

- ИСО/МЭК 25023 - Измерение качества систем и программного обеспечения: обеспечивает измерения, включая соответствующие функции измерения показателей качества в модели качества продукции;

- ИСО/МЭК 25024 - Измерение качества данных: обеспечивает измерения, включая соответствующие функции измерения показателей качества в модели качества данных.

На рисунке 1 показана взаимосвязь между настоящим стандартом и другими стандартами из раздела ИСО/МЭК 2502n. Разработчики, средства анализа, менеджеры по качеству, заказчики, поставщики, специалисты по обслуживанию и пользователи системного/программного продукта могут выбрать показатели из этих международных стандартов для измерения показателей качества, представляющих интерес. Это может использоваться для определения требований, оценки системных/программных продуктов, выполнения действий по управлению качеством или других целей.

Рисунок 1 - Структура раздела "Измерение качества"

Структура и организация серии SQuaRE

Серия SQuaRE состоит из пяти главных разделов и раздела расширения. Структура каждого раздела в пределах серии SQuaRE следующая:

- ИСО/МЭК 2500n - Раздел "Управление качеством". Стандарты, формирующие этот раздел, определяют общие модели, термины и определения, на которые ссылаются далее все другие стандарты серии SQuaRE. Раздел также обеспечивает требования и руководство для планирования и менеджмента проекта;

- ИСО/МЭК 2501n - Раздел "Модель качества". Стандарты, формирующие этот раздел, предоставляют модели качества для системных/программных продуктов, качества при использовании и данных. Модель качества обслуживания находится в стадии разработки. Практическое руководство на использовании модели качества также предоставляется;

- ИСО/МЭК 2502n - Раздел "Измерение качества". Стандарты, формирующие этот раздел, включают эталонную модель измерения качества системного/программного продукта, определения показателей качества и практическое руководство по их приложению. В данном разделе представлены внутренние показатели качества программного обеспечения, внешние показатели качества программного обеспечения, показатели качества при использовании и показатели качества данных. Элементы измерения качества, формирующие основы для измерения показателей качества, определены и представлены;

- ИСО/МЭК 2503n - Раздел "Требования к качеству". Стандарты, формирующие этот раздел, определяют требования к качеству. Эти требования к качеству могут использоваться в процессе сбора информации требований к качеству для системного/программного продукта, который будет разработан, в процессе разработки для достижения необходимого качества или как исходные данные для процесса оценки;

- ИСО/МЭК 2504n - Раздел "Оценка качества". Стандарты, входящие в этот раздел, обеспечивают требования, рекомендации и руководящие принципы для оценки системного/программного продукта, независимо от того, выполняются ли они независимыми оценщиками, приобретателями или разработчиками. Также представлена поддержка документирования меры в качестве модуля оценки.

Стандарты ИСО/МЭК 25050-ИСО/МЭК 25099 зарезервированы для стандартов расширения SQuaRE, которые в настоящее время включают в себя ИСО/МЭК 25051 и стандарты ИСО/МЭК 25060-ИСО/МЭК 25069.

1 Область применения

Настоящий стандарт определяет показатели для количественной оценки качества программных продуктов и систем с точки зрения характеристик и субхарактеристик, определенных в ИСО/МЭК 25010, и предназначен для использования совместно с ИСО/МЭК 25010. Его можно использовать совместно со стандартами серии ИСО/МЭК 2503n и ИСО/МЭК 2504n для более широкого удовлетворения потребностей пользователей относительно качества программных продуктов или систем.

Настоящий стандарт содержит следующие положения:

- базовый набор показателей качества для каждой характеристики и подхарактеристики;

- объяснение того, как применять показатели качества программного продукта или системы.

Настоящий стандарт включает в качестве справочных приложений предложения, касающиеся использования показателей качества (приложение A), элементы измерения качества (QME), используемые для определения показателей качества продукции или системы (приложение B), и подробное объяснение типов измерений (приложение C).

Настоящий стандарт не присваивает диапазоны значений показателей к расчетным уровням или к уровням соответствия, поскольку эти значения определяются на основе характера системы, продукта или части продукта, и зависят от таких факторов, как категория программного обеспечения, уровень целостности и потребности пользователей. Некоторые атрибуты могут иметь желаемый диапазон значений, не зависящий от конкретных потребностей пользователя, но зависящий от общих факторов, например когнитивных факторов человека.

Предложенные показатели качества прежде всего предназначены для обеспечения качества и совершенствования систем и программных продуктов во время или после завершения этапа разработки жизненного цикла.

Основными пользователями настоящего стандарта являются люди, осуществляющие спецификацию требований и оценку качества в рамках следующих мероприятий:

- разработка: включая анализ требований, проектную спецификацию, кодирование и приемочное тестирование на протяжении жизненного цикла продукта;

- управление качеством: систематическое исследование программного продукта или компьютерной системы, например, при оценке качества системы или программного продукта в рамках обеспечения качества, контроля качества и сертификации качества;

- сдача продукта: соглашение с заказчиком на поставку системы, программного продукта или услуги на договорных условиях, например при прохождении тестов на качество;

- приобретение, включая выбор продукта и тестирование при приобретении или закупке системы, программного продукта или услуги программного обеспечения от поставщика;

- техническое обслуживание: совершенствование программного продукта или системы на основе измерения качества.

2 Соответствие требованиям

Спецификация требований к качеству или оценке качества, соответствующих настоящему стандарту, должна отвечать следующим требованиям:

- выбранные характеристики и/или подхарактеристики качества должны быть определены или оценены в соответствии с ИСО/МЭК 25010;

- для каждой выбранной характеристики или подхарактеристики должны использоваться общие (G) показатели качества, определенные в разделе 8. Исключение характеристик или подхарактеристик необходимо обосновывать;

- допускается выбор дополнительных, определенных (S) в разделе 8, релевантных показателей качества;

- изменение какого-либо показателя качества должно сопровождаться обоснованием;

- допускается определение любых дополнительных показателей качества и элементов измерения качества QMEs в соответствии с ИСО/МЭК 25021, не включенных в настоящий стандарт.

3 Нормативные ссылки

В настоящем стандарте использованы следующие нормативные ссылки. Для датированных ссылок применяют только указанное издание, для недатированных - последнее издание (включая все изменения).

ISO/IEC 25000, Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Guide to SQuaRE [Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по SQuaRE]

ISO/IEC 25010:2011, Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models [Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Система и модели качества программного обеспечения]

ISO/IEC 25021:2012, Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality measure elements [Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Элементы измерения качества]

4 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями, заданные в ИСО/МЭК 25000 и ИСО/МЭК 25010.

Примечание - В настоящем стандарте приведены ключевые определения серии ИСО/МЭК 25000 SQuaRE.

4.1 внешний показатель (качества системы или программного продукта) (external measure (of system ot software quality)): Показатель степени, в которой система или программный продукт удовлетворяют утвержденным и выявленным требованиям к системе, включая программное обеспечение, подлежащее использованию в определенных условиях.

Примечание - Атрибуты поведения могут быть проверены и/или подтверждены в процессе тестирования и/или функционирования системы.

Пример - Интенсивность отказов в тестовых случаях, выявленных в ходе тестирования, является внешним показателем качества программного обеспечения, связанным с надежностью компьютерной системы. Два показателя не обязательно идентичны, так как тестирование может не выявить все дефекты и дефект может дать начало различным сбоям в различных обстоятельствах.

[ИСО/МЭК 25000:2014, 4.11, измененный]

4.2 внутренний показатель (качества программного обеспечения) (internal measure (of software quality)): Показатель степени, в которой набор статических атрибутов программного продукта удовлетворяет заявленным и подразумеваемым потребностям в программном продукте, используемом при определенных условиях.

Примечания

1 Статические атрибуты включают атрибуты, относящиеся к архитектуре программного обеспечения, структуре и ее компонентам.

2 Статические атрибуты могут быть проверены с помощью анализа, инспекции, моделирования и/или автоматизированных элементов.

Пример - Количество строк кода, показателей по сложности и количество ошибок, обнаруженных при тестировании, являются внутренними показателями качества программного обеспечения, выполненного на самом продукте.

[ИСО/МЭК 25000:2014, 4.16, измененный]

4.3 задание (job): Определяемая пользователем единица работы, подлежащая выполнению компьютером.

[ISO/IEC/IEEE 24765:2010, 3.1542, измененный]

4.4 показатель (measure): Переменная, которой в результате измерения присваивается значение.

Примечания

1 Термин "показатель" используется для коллективного обозначения базовых мер, производных мер и показателей.

2 В настоящем стандарте при использовании термина "показатель" с оговоркой в отношении характеристики качества или субхарактеристики он означает показатель качества, определенный в 4.8.

[ИСО/МЭК 15939:2007, статья 2.15, измененный]

4.5 измерение (measurement): Совокупность операций, определяющих значение показателя.

Примечание - Измерение может включать присвоение качественной категории, такой как язык исходной программы (ADA, C, COBOL и т.д.).

[ИСО/МЭК 15939:2007, 2.17, измененный]

4.6 функция измерения (measurement function): Алгоритм или расчет, выполняемый для объединения двух или более элементов измерения качества.

[ИСО/МЭК 25021:2012, 4.7, измененный]

4.7 свойство для измерения (property to quantify): Свойство целевого объекта, связанное с элементом измерения качества и поддающееся количественной оценке методом измерения.

Примечание - Элемент программного обеспечения является примером целевого объекта.

[ИСО/МЭК 25021:2012, 4.11, измененный]

4.8 показатель качества (quality measure): Производный показатель, определяемый как функция измерения двух или более значений элементов измерения качества.

[ИСО/МЭК 25021:2012, 4.13]

4.9 элемент измерения качества, QME (quality measure element, QME): Показатель, определенный с учетом свойства и метода измерения для его количественного определения, дополнительно включая преобразование математической функцией.

[ИСО/МЭК 25021:2012, 4.14, измененный]

4.10 модель качества (quality model): Определенный набор характеристик и отношений между ними, служащий основой для определения требований к качеству и его оценке.

[ИСО/МЭК 25000:2014, 4.27]

4.11 показатель качества (программного продукта или системы) (quality characteristic (of software product or system)): Категория атрибутов качества, влияющих на качество программного продукта или системы.

[ИСО/МЭК 25000:2014, 4.34, измененный]

4.12 задача (task): Набор или последовательность действий, необходимых для достижения заданной цели.

Примечания

1 Эти действия могут быть физическими или когнитивными.

2 Роль и обязанности могут определить цели и задачи.

[ИСО/МЭК 9241-11:1998, 3.9, измененный]

5 Сокращения

В настоящем стандарте используется следующее сокращение:

QME - элемент измерения качества.

6 Использование показателей по качеству систем и программного обеспечения

6.1 Понятия измерения качества системы/программного продукта

Качеством системы/программного продукта является степень, в которой продукт удовлетворяет заявленным и подразумеваемым потребностям различных заинтересованных сторон и таким образом обеспечивает ценность. Данные заявленные и подразумеваемые потребности представлены в серии стандартов SQuaRE моделями качества, классифицирующими качество системы/программного продукта в соответствии с характеристиками, которые в некоторых случаях далее подразделены на подхарактеристики. Измеримые свойства системы/программного продукта, относящиеся к качеству, называются свойствами для измерения и могут быть связаны с показателями качества. Эти свойства измеряются с помощью метода измерения. Метод измерения - это логическая последовательность операций, используемых для количественной оценки свойств по заданной области. Результат применения метода измерения вызывают элементом измерения качества.

Характеристики и подхарактеристики качества могут быть определены количественно путем применения функции измерения. Функция измерения - это алгоритм, используемый для объединения элементов измерения качества. Результат применения функции измерения называется показателем качества. Таким образом, показатели качества становятся количественными показателями характеристик и подхарактеристик качества. Для измерения характеристики или подхарактеристики показателя качества может использоваться более одного показателя качества (см. рисунок 2).

Примечание - Целевой объект может быть системой, программным продуктом, данными или пользователем (см. ИСО/МЭК 25010, рисунок 5).

Рисунок 2 - Взаимосвязь между моделью качества, QM, QME, свойством для измерения, целевым объектом

6.2 Подход к измерению качества

Потребности пользователей в качестве включают требования к качеству системы, используемой в определенных контекстах использования. Эти выявленные потребности могут быть учтены при определении внешних и внутренних показателей качества с использованием характеристик и подхарактеристик качества программных продуктов.

Качество программного продукта может быть оценено путем измерения внутренних свойств (обычно статических показателей промежуточных продуктов), или путем измерения внешних свойств (как правило, путем отслеживания состояния программного кода во время выполнения), или путем измерения свойств качества при использовании (когда продукт в реальном или моделируемом использовании). Соответствие внутренних свойств программного продукта является необходимым условием для достижения требуемого внешнего поведения, что в свою очередь влияет на уровень качества при использовании. Взаимосвязь между типами показателей качества показана на рисунке 3.

Рисунок 3 - Взаимосвязь между типами показателей качества

Внутренние показатели могут быть применены к неисполняемой системе/программному продукту на этапах его разработки (например, запрос предложений, определение требований, спецификация проекта или исходный код) и могут быть проверены путем анализа, с помощью контроля, моделирования и/или с применением автоматизированных инструментов. Внутренние показатели позволяют пользователям измерять качество промежуточных практических результатов и таким образом прогнозировать качество конечного продукта. Это позволяет пользователю определять факторы, негативно влияющие на уровень качества, и инициировать корректирующие действия как можно раньше в жизненном цикле разработки. Например, уровень непрозрачности продукта, а также количество, серьезность и частота сбоев, обнаруженных при анализе кода, являются внутренними показателями качества программного продукта, полученными из анализа самого продукта.

Внешние показатели могут использоваться для измерения качества системы/программного продукта путем измерения поведения системы, частью которой он является. Внешние показатели могут быть использованы только на этапах тестирования процесса жизненного цикла и на любых этапах эксплуатации. Измерение производится при функционировании системы/программного продукта в системной среде, в которой он тестируется или предназначен для работы. Например, количество сбоев, выявленных в ходе тестирования, является внешним показателем качества программного продукта, связанным с количеством сбоев, существующих в компьютерной системе.

Рекомендуется, где возможно, использовать внутренние показатели, имеющие тесную связь с целевыми внешними показателями, для того чтобы их можно было использовать для прогнозирования внешних показателей.

Настоящий стандарт содержит предлагаемый набор показателей качества системы и программного продукта (внешние и внутренние показатели), которые будут использоваться с моделью качества ИСО/МЭК 25010. Пользователь настоящего стандарта может изменять определенные показатели качества, а также определять и использовать показатели качества, не определенные или определенные в настоящем стандарте.

Примечание - Например, конкретное измерение показателей качества, таких как безопасность или защищенность, может быть найдено в МЭК 65 и ИСО/МЭК СТК 1/ПК27.

При использовании модифицированного или нового показателя качества, не определенного в настоящем стандарте, пользователю необходимо определить, каким образом этот показатель соотносится с моделью качества ИСО/МЭК 25010 или с любой другой используемой заменяющей моделью качества.

Большинство показателей качества используют функцию измерения, которая нормализует значение результата в диапазоне 0,0 к 1,0. Чем ближе результат измерения к 1,0, тем выше выполняется измеряемый показатель качества. В примечании описаны случаи, когда значение показателя качества не соответствует указанному диапазону.

Некоторые измерения дают результат, специфичный для объекта измерения, и их значения необходимо установить при составлении требований.

Примечания

1 Некоторые измерения нормализованы в соответствии с целевым значением, определенным в спецификации требований, спецификации к проекту или документации пользователя. Такое целевое значение может быть определено и требуется в качестве порога разработчикам или специалистам по обслуживанию для улучшения архитектуры, проекта, реализации, сборки, операционных процедур, пользовательского интерфейса или производительности программного продукта или системы. Целевое значение также может быть определено в качестве одного из согласованных требований заказчиками и поставщиками, для уточнения требований к качеству или проверки соответствия для приобретения. Спецификация требований обычно изменяется и пересматривается в ходе разработки и влияет на основанные на ней показатели качества. Некоторые требования, которые должны быть указаны, могут отсутствовать или быть непоследовательными, или некоторые целевые значения могут быть недостаточными и должны быть изменены, поскольку очень трудно полностью указать как заявленные, так и подразумеваемые потребности, вытекающие из требований заинтересованных сторон или системных требований в начале разработки. Соответственно, ожидается, что пользователи показателей качества будут учитывать эволюцию и пересмотр спецификации требований и применять показатели качества не сразу, а последовательно в ходе разработки и/или оценки.

2 Некоторые показатели качества (такие, как среднее время реакции) трудно интерпретировать изолированно. Ниже перечислены способы применения мер качества, с тем чтобы их было легче понять и интерпретировать:

- соответствие: сравнение измерений с определенными требованиями в бизнесе или требованиями использования (например, максимальное приемлемое время реакции составляет 0,5 секунды);

- сравнительные тесты: сравнение показателей со сравнительным тестом для подобного или аналогичного продукта или системы, используемой для той же самой цели (например, среднее время реакции новой системы не больше, чем среднее время реакции старой системы);

- временной ряд: сравнение тенденций во времени (например, как изменяется среднее время реакции в течение дня).

7 Формат, используемый для документирования показателей качества

В разделе 8 в таблицах для каждого показателя качества приведена следующая информация:

a) ID: идентификационный код показателя качества; каждый ID состоит из следующих частей:

- сокращенный алфавитный код, представляющий характеристики качества одной заглавной буквой, а подхарактеристики - сочетанием заглавной буквы и строчной (например, "PTb" обозначает показатели "по временным характеристикам" для "Уровня производительности");

- порядковый номер соответствующей подхарактеристики;

- G (общий) или S (специализированный), выражающие потенциальные категории показателей качества, где общие показатели могут применяться в любых случаях и специализированные показатели могут применяться в соответствующих предметных областях;

b) Имя: имя показателя качества;

c) Описание: информация, предоставляемая показателем качества;

d) Функция измерения: математическая формула, показывающая, как элементы измерения качества влияют на значение показателя качества.

Примечание - Полезные элементы измерения качества, которые могут часто применяться для вычисления значения показателей качества, кратко приведены в приложении B для понимания и применения функции измерения для показателей качества.

8 Показатели качества систем и программного обеспечения

8.1 Общие положения

В разделе 8 показатели качества перечислены в виде характеристик и подхарактеристик качества в порядке, используемом в ИСО/МЭК 25010.

Показатели качества могут использоваться с различными методами оценки, выбираемыми в зависимости от характеристик качества и уровней оценки, с учетом их использования в качестве внутренних или внешних показателей. Соответственно, некоторые показатели качества, приведенные в разделе 8, могут использоваться на различных этапах оценки, таких как статический анализ спецификации проекта или динамический анализ исполняемых продуктов.

Применяемые при оценке качества показатели не ограничиваются перечисленными в настоящем списке. Рекомендуется ссылаться на конкретный показатель или измерение от определенных стандартов или руководств. Например, функциональное измерение размера определено в ИСО/МЭК 14143, а пример точного измерения эффективности времени приведен в ИСО/МЭК 14756.

Примечания

1 Данный список показателей качества не завершен и мог бы быть пересмотрен в будущих версиях настоящего стандарта.

2 В данном пункте слово "показатель" означает показатель качества, если не указано иное. Например, "Функциональные показатели по пригодности" означают "Функциональные показатели качества пригодности".

8.2 Показатели функциональной пригодности

Показатели функциональной пригодности используются для оценки степени, в которой продукт или система обеспечивают функции, удовлетворяющие заявленным и подразумеваемым потребностям при использовании в определенных условиях.

Примечания

1 Функциональная пригодность связана с тем, удовлетворяют ли функции заявленным и подразумеваемым потребностям.

2 Функция, упомянутая в данном подразделе, может представлять собой элементарный процесс, как он определен в функциональных требованиях пользователя в ИСО/МЭК 14143.

3 Аналогичные показатели, вычисляемые с использованием иных элементов измерения качества, таких, как функциональный размер, могут быть определены как способ соответствия результата с лучшей точностью, поскольку отношения единицы не указывают на квант функциональности, который отсутствует.

8.2.1 Показатели функциональной полноты

Показатели функциональной полноты, приведенные в таблице 1, используются для оценки степени, в которой набор функций охватывает все указанные задачи и цели пользователя.

Таблица 1 - Показатели функциональной полноты

8.2.2 Показатели функциональной корректности

Показатели функциональной корректности, приведенные в таблице 2, используются для оценки степени, в которой продукт или система обеспечивает правильные результаты с необходимой степенью точности.

Таблица 2 - Показатели функциональной корректности

8.2.3 Показатели функциональной пригодности

Показатели функциональной пригодности, приведенные в таблице 3, используются для оценки степени, в которой функции способствуют выполнению определенных задач и целей.

Таблица 3 - Показатели функциональной пригодности

ID	Имя	Описание	Функция измерения
FAp-1-G	Функциональная пригодность по цели применения	Какая часть функций, требуемых пользователю, возвращает корректный результат в контексте определенной цели применения?	X=1-A/B, где А - число нереализованных или некорректных функций; В - число функций, необходимых для достижения цели применения
Примечания 1 Эту функцию, как правило, будут рассматривать для самых важных или наиболее часто определяемых целей использования. Таким образом, этот показатель качества сначала вычислен для каждой из определенных целей использования, которые могут преследоваться в системе, а затем следующий показатель качества, т.е. FAp-2-G "Функциональная целесообразность системы", может быть вычислен коллективно, через все цели использования, чтобы обеспечить системный показатель. 2 Пользователи настоящего стандарта могли также рассмотреть измерение пропорции пользовательских целей, которые достижимы, чтобы получить лучшее понимание фактического воздействия на намеченное использование пользователя.
FAp-2-G	Функциональная пригодность системы	Какая часть функций, требуемых пользователю для достижения конечной цели, возвращает корректный результат?	, где - значение показателя FAp-1-G для данной конечной цели использования; n - число конечных целей использования продукта или системы

8.3 Показатели эффективности работы

Показатели эффективности работы используются для оценки эффективности работы относительно объема ресурсов, используемых в указанных условиях. Ресурсы могут включать другие программные продукты, программную и аппаратную конфигурацию системы, а также материалы (например, печатную бумагу, носители данных).

Примечания

1 Значение показателя эффективности работы зависит от условий использования, таких как нагрузка во время обработки данных, частота использования, количество соединительных узлов и так далее. Поэтому показатели эффективности работы могут включать отношение расчетного или измеренного значения с колебаниями погрешности к расчетному значению с допустимым диапазоном колебаний погрешности, требуемым спецификацией. Рекомендуется перечислить и исследовать роль, которую играют факторы, такие как мощности центрального процессора и объем памяти, используемые другим программным продуктом, сетевым трафиком и запланированными фоновыми процессами. Для сравнения со спецификацией требований могут быть определены возможные колебания и действительные диапазоны для оцененных или измеренных значений.

2 Также рекомендуется определить задачу, подходящую для измерения потенциальных возможностей или уровня производительности; например, транзакция как задача для бизнес-приложения, коммутация или пакет данных, отправленные в качестве задач для коммуникационных приложений, управление событием как задача для приложения управления и вывода данных, функция вызова как задача для приложения обычного пользователя.

8.3.1 Показатели временных характеристик

Показатели временных характеристик, приведенные в таблице 4, используются для оценки того, в какой степени время реакции и время обработки, а также уровни пропускной способности продукта или системы при выполнении ее функций отвечают требованиям.

Таблица 4 - Показатели временных характеристик

ID	Имя	Описание	Функция измерения
PTb-1-G	Среднее время отклика	Каково среднее время отклика системы на задание пользователя или системы?	, где - время, затраченное системой на решение определенного задания пользователя или системы; n - число ответов в измерении
PTb-2-G	Корректность времени отклика	Соответствует ли время отклика системы определенной цели?	X=A/B, где А - среднее время отклика, соответствующее PTb-1-G; В - эталонное время отклика
Примечания 1 Приемлемыми считаются наименьшие значения, меньшие или равные 1. 2 Временем отклика является время, прошедшее с момента отправки запроса до получения ответа, а именно до начала отправки ответа системой. 3 Альтернативой этому показателю является N-й процент времени отклика при ожидаемых условиях нагрузки. Его также полезно применять к отдельным функциям или классам функций.
PTb-3-G	Среднее время обработки	Каково среднее время завершения системой задачи или асинхронной задачи?	, где - время запуска задачи; - время завершения задачи
PTb-4-G	Корректность времени обработки	Соответствует ли время обработки определенной цели?	X=A/B, где А - среднее время обработки, соответствующее PTb-3-G; В - эталонное время обработки
Примечания 1 Приемлемыми считаются наименьшие значения, меньшие или равные 1. 2 В случае цепочки систем необходимо оценивать затраченное время в каждом элементе цепочки. Критические участки могут негативно влиять на время обработки всей цепочки в целом. 3 Рекомендуется производить измерения данного показателя с использованием эталонных наборов данных.
PTb-5-G	Средняя пропускная способность	Каково среднее количество задач, решенных системой за единицу времени?	, где - число задач, решенных за i-й промежуток времени; - промежуток времени; n - число наблюдений
Примечания 1 Под задачами могут пониматься микропроцессорные операции транзакции, или абстракции более высокого уровня, такие как функции. Результаты измерения данного показателя могут использоваться в различных контекстах и трактоваться соответствующе. 2 Средняя пропускная способность может сравниваться с установленным значением для подсчета достаточности пропускной способности. В таком случае значение показателя должно превышать 1.

8.3.2 Показатели использования ресурсов

Показатели использования ресурсов, приведенные в таблице 5, используются для оценки того, в какой степени объемы и типы ресурсов, используемых продуктом или системой при выполнении своих функций, соответствуют требованиям.

Таблица 5 - Показатели использования ресурсов

ID	Имя	Описание	Функция измерения
PRu-1-G	Среднее использование ресурса процессора	Сколько процессорного времени затрачивается на решение набора задач в сравнении с суммарным временем выполнения?	, где - процессорное время, затраченное на решение набора задач в промежуток I; - время выполнения задач в промежуток I; n - число наблюдений
Примечание - Значение показателя варьируется от 0 до 1. По умолчанию меньшее значение считается наилучшим.
PRu-2-G	Среднее использование ресурса памяти	Какой объем памяти используется при решении набора задач в сравнении с суммарным доступным объемом памяти?	, где - объем памяти, затраченный на решение набора задач для обработки i-го образца; - объем памяти, доступной для выполнения задач во время обработки i-го образца; n - число обработанных выборок
Примечание - Значение показателя варьируется от 0 до 1. По умолчанию меньшее значение считается наилучшим.
PRu-3-G	Среднее использование ресурса устройств ввода-вывода	Сколько времени занимают операции ввода-вывода для решения набора задач в сравнении с суммарным временем работы устройств ввода-вывода?	, где - время, затраченное на операции ввода-вывода, необходимые для решения набора задач для i-го наблюдения; - суммарное время работы устройств ввода-вывода i-го наблюдения; n - число наблюдений
Примечания 1 Значение показателя варьируется от 0 до 1. По умолчанию меньшее значение считается наилучшим. 2 Время занятости означает период времени, в течение которого система или устройство фактически работают.
PRu-4-S	Использование пропускной способности сети	Какая часть доступной пропускной способности сети передачи данных используется для решения набора задач?	X=A/B, где А - скорость передачи данных по сети при решении набора задач; В - максимальная скорость передачи данных по сети
Примечания 1 В условленных случаях, когда наилучшим считается использование определенного типа ресурса на определенном уровне, предпочтительным будет значение показателя, близкое к оптимальному уровню. 2 Специалист по оценке качества должен принимать во внимание возможные ограничения при передаче данных по выбранному каналу, которые могут влиять на результаты измерений.

8.3.3 Показатели пропускной способности

Показатели пропускной способности, приведенные в таблице 6, используются для оценки степени соответствия максимальных значений характеристик продукта или системы требованиям.

Примечания

1 Предполагается, что показатели пропускной способности будут измеряться с помощью динамического анализа, например объемных испытаний системы, или могут измеряться с помощью испытаний или моделирования системной интеграции. Максимальное значение и продолжительность могут быть исследованы для многих случаев статического анализа, динамического тестирования или операций.

2 Ожидается, что максимальный предел будет указан в качестве целевого значения, которое теоретически может превышать реально возможное значение.

Таблица 6 - Показатели пропускной способности

ID	Имя	Описание	Функция измерения
PCa-1-G	Пропускная способность по транзакциям	Как много транзакций может быть выполнено за единицу времени?	X=A/B, где А - число транзакций, обработанных за время наблюдения; В - продолжительность наблюдения
Примечания 1 Значение показателя варьируется от 0 до максимального предельного значения. Обычно большее значение считается наилучшим. 2 Данный показатель может быть полезным при использовании достаточной нагрузки.
PCa-2-G	Пропускная способность по доступу	Как много пользователей могут получить доступ к системе одновременно за единицу времени?	, где - максимальное число пользователей, которые могут одновременно получить доступ к системе за время i-го наблюдения; n - число наблюдений
Примечание - Значение показателя варьируется от 0 до максимального предельного значения. Обычно большее значение считается наилучшим.
PCa-3-S	Пропускная способность по увеличению числа пользователей	Как много пользователей может быть добавлено за единицу времени?	X=A/B, где А - число пользователей, добавленных за время наблюдения; В - продолжительность наблюдения
Примечания 1 Значение показателя варьируется от 0 до максимального предельного значения. Обычно большее значение считается наилучшим. 2 Данный показатель определяет степень, в которой программный продукт или система могут справиться с резко возросшим за короткий промежуток времени количеством пользователей, обращающихся к продукту или системе.

8.4 Показатели совместимости

Показатели совместимости используются для оценки степени, в которой продукт, система или компонент могут обмениваться информацией с другими продуктами, системами или компонентами и/или выполнять требуемые функции при той же аппаратной или программной среде.

8.4.1 Показатели совмещения

Показатели совмещения, приведенные в таблице 7, используются для оценки степени, в которой продукт может эффективно выполнять свои заявленные функции при совместном использовании общей среды и ресурсов с другими продуктами без негативного воздействия на любой другой продукт.

Таблица 7 - Показатели совмещения

8.4.2 Показатели функциональной совместимости

Показатели функциональной совместимости, приведенные в таблице 8, для оценки степени, в которой две или более системы, продукта или компонента могут обмениваться информацией и успешно использовать эту информацию.

Таблица 8 - Показатели функциональной совместимости

8.5 Показатели удобства использования

Показатели удобства использования применяются для оценки степени, в которой продукт или система могут результативно и эффективно использоваться указанным кругом пользователей для удовлетворения и достижения конкретных целей в определенном контексте использования.

Примечания

1 Внутренние показатели удобства использования применяются для прогнозирования степени, в которой рассматриваемый программный продукт может быть изучен, воспринят и использоваться по назначению, а также позволит обеспечить положительное и удовлетворительное взаимодействие для пользователя.

2 Многие внешние показатели удобства использования тестируются пользователями, пытающимися использовать функцию. На результаты будут влиять возможности пользователей и характеристики хост-системы. Данное условие не делает измерения недействительными, поскольку оценку программных продуктов следует выполнять определенной группе пользователей в определенных условиях. (Для продуктов общего назначения могут использоваться представители ряда групп пользователей.) Для получения достоверных результатов необходима выборка многочисленной группы зафиксированных пользователей, хотя полезную информацию можно получить и от небольших групп. Пользователи выполняют тест без каких-либо подсказок или внешней помощи.

3 Внутренние и внешние показатели удобства использования позволяют проводить сопоставления между указанными соглашениями по проектированию, конкретными руководящими принципами или спецификациями в отношении удобства использования и фактически разработанными документированными проектами, прототипами или исполняемыми системами/программами. Поэтому очень важно выявить требования конечного пользователя и создать хорошо определенную спецификацию для удобства использования, принимая во внимание особенности и показатели качества при использовании, а также учитывая позицию пользователя по концепции дизайна проекта. Например, для определения, какие типы сообщений просты для понимания обычных пользователей, необходимы конкретные рекомендации по использованию, шаблоны или контрольный список.

4 В настоящем стандарте целевые объекты показателей удобства использования ограничены исключительно любой системой или программным продуктом. Показатели по удобству использования, касающиеся результативности, эффективности и удовлетворенности, в конкретном контексте содержатся в ИСО/МЭК 25022.

5 Показатели удобства использования неизбежно приведут к некоторым субъективным результатам. В случае трудностей в измерении со шкалой отношений порядковая шкала может использоваться в качестве альтернативы в зависимости от ситуации, например 1.0 для отличного результата, 0.8 для хорошего, 0.6 для удовлетворительного, 0.4 для неудовлетворительного, 0.2 для плохого.

8.5.1 Показатели полноты описания

Пользователи полноты описания, приведенные в таблице 9, должны иметь возможность выбрать систему/программный продукт, подходящие для их целевого использования. Для оценки степени, в которой пользователи могут распознать, соответствует ли продукт или система их потребностям, используются показатели качества для определения приемлемости.

Примечание - Показатели полноты описания могут использоваться для оценки того, могут ли новые пользователи понимать:

- подходит ли программный продукт или система для их целей или нет;

- как его можно использовать для конкретных задач.

Таблица 9 - Показатели полноты описания

8.5.2 Показатели обучаемости

Показатели обучаемости, приведенные в таблице 10, используются для оценки степени, в которой конкретный круг пользователей может обучиться эффективному, результативному и безопасному использованию продукта или системы для удовлетворения собственных нужд и достижения целей в определенном контексте использования.

Таблица 10 - Показатели обучаемости

8.5.3 Показатели эксплуатационной пригодности

Показатели эксплуатационной пригодности, приведенные в таблице 11, используют для оценки степени, в которой у продукта или системы определяют атрибуты, облегчающие их эксплуатацию и контроль.

Примечания

1 Показатели эксплуатационной пригодности, как ожидается, будут измеряться путем проведения эксплуатационных испытаний в реальных условиях представителями операторов или конечных пользователей или могут быть измерены посредством статического анализа, такого как анализ требований, спецификации проекта или руководств пользователя.

2 Внутренний или внешний показатель качества эксплуатационной пригодности используют для оценки того, могут ли пользователи управлять программным продуктом. Показатели эксплуатационной пригодности могут быть классифицированы следующими принципами в ИСО 9241-110:

- пригодность программного продукта для выполнения задачи;

- информативность программных продуктов;

- управляемость программных продуктов;

- соответствие программных продуктов пользовательским ожиданиям;

- устойчивость программных продуктов к ошибкам;

- соответствие программных продуктов для индивидуализации.

Таблица 11 - Показатели эксплуатационной пригодности

8.5.4 Показатели защиты от пользовательских ошибок

Показатели защиты от пользовательских ошибок, приведенные в таблице 12, используются для оценки степени защиты системы от ошибок.

Примечание - Показатели защиты от пользовательских ошибок должны быть измерены представителями оператора или конечными пользователями с помощью эксплуатационных испытаний или могут быть измерены с помощью статического анализа, таких как анализ требований, разработка технического задания и руководства пользователя.

Таблица 12 - Показатели защиты от пользовательских ошибок

8.5.5 Показатели эстетичности пользовательского интерфейса

Показатели эстетичности пользовательского интерфейса, приведенные в таблице 13, используются для того, чтобы оценить степень, в которой пользовательский интерфейс обеспечивает приятное и удобное взаимодействие пользователя с продуктом или системой.

Таблица 13 - Показатели эстетичности пользовательского интерфейса

8.5.6 Показатели доступности

Показатели доступности, приведенные в таблице 14, используются для оценки степени, в которой продукт или система могут использоваться людьми с самым широким диапазоном особенностей и возможностей достигнуть указанной цели в указанном контексте использования.

Примечание - Дополнительные критерии доступности приведены в ИСО 9241-171.

Таблица 14 - Показатели доступности

8.6 Показатели надежности

Показатели надежности используются для оценки степени, в которой система, продукт или компонент выполняют определенные функции при заданных условиях в течение заданного периода времени. Внутренние показатели надежности используются для прогнозирования того, удовлетворит ли данная система/программный продукт определенным потребностям в надежности при разработке системы/ программного продукта.

Внешние показатели качества надежности используются для оценки атрибутов, связанных с поведением системы, частью которой является программный продукт во время выполнения тестирования, для указания степени надежности программного продукта в той системе во время функционирования. Программный продукт или систему не отличают друг от друга в большинстве случаев.

8.6.1 Показатели стабильности

Показатели стабильности, приведенные в таблице 15, используют для оценки степени, в которой система, продукт или компонент удовлетворяют потребностям по надежности при нормальном функционировании.

Примечание - Понятие стабильности может также быть применено к другим показателям качества для указания степени, в которой при нормальном функционировании они удовлетворяют необходимые потребности (см. ИСО/МЭК 25010).

Таблица 15 - Показатели стабильности

8.6.2 Показатели готовности к работе

Показатели готовности к работе, приведенные в таблице 16, используются для оценки степени готовности системы к эксплуатации.

Таблица 16 - Показатели готовности к работе

8.6.3 Показатели отказоустойчивости

Показатели отказоустойчивости, приведенные в таблице 17, используются для оценки того, в какой степени система, продукт или компонент работают по назначению, несмотря на наличие аппаратных или программных неисправностей.

Примечание - Внутренняя или внешняя мера отказоустойчивости может быть связана с возможностями системы/программных продуктов поддерживать заявленный уровень функционирования в случаях дефектов функционирования или нарушения определенного интерфейса.

Таблица 17 - Показатели отказоустойчивости

ID	Имя	Описание	Функция измерения
RFt-1-G	Предотвращение сбоев	Какая часть сценариев, потенциально приводящих к отказам, обрабатывается с целью не допустить серьезных или критических отказов?	X=A/B, где А - число предотвращаемых отказов; В - число тестовых случаев, приводящих к отказу
RFt-2-S	Избыточность компонентов	Какая часть системных компонентов имеет избыточность во избежание отказа системы?	X=A/B, где А - число избыточных компонентов; В - общее число компонентов системы
Примечание - Например, в некоторых системах часть компонентов может быть продублирована для повышения надежности системы.
RFt-3-S	Среднее время уведомления об отказе	Как быстро система сообщает о возникновении отказа?	где - момент времени, в который система оповестила о возникновении отказа; - момент обнаружения отказа; n - число обнаруженных отказов
Примечание - Значение показателя может варьироваться от 0 до бесконечности. Обычно значения, наиболее близкие к 0, считаются наилучшими.

8.6.4 Показатели восстанавливаемости

Показатели восстанавливаемости, приведенные в таблице 18, используются для оценки степени, в которой в случае прерывания или сбоя продукт или система могут восстановить непосредственно затронутые данные и достигнуть требуемого состояния системы.

Таблица 18 - Показатели восстанавливаемости

ID	Имя	Описание	Функция измерения
RRe-1-G	Среднее время восстановления	Какое время требуется программному продукту или системе для восстановления после отказа?	, где - суммарное время на восстановление продукта или системы; n - число отказов
Примечания 1 Значение показателя варьируется от 0 до бесконечности. Обычно наименьшее значение считается наилучшим. 2 Когда этот показатель качества сравнивается с целевым порогом среднего времени восстановления, определенным в согласованных требованиях заказчиком и поставщиком, этот показатель может быть использован для проверки соответствия.
RRe-2-S	Полнота резервной копии данных	Для какой части данных регулярно создаются резервные копии?	X=A/B, где А - число структур данных, резервные копии которых создаются регулярно; В - число структур данных, резервное копирование которых необходимо

8.7 Показатели безопасности

Показатели безопасности используются для оценки степени защиты информации и данных продуктом или системой, с тем чтобы лица или другие продукты или системы имели степень доступа к данным, соответствующую их типам и уровням авторизации.

Примечания

1 Тесты на проникновение могут быть выполнены для имитации атаки, поскольку атаки такого рода обычно не происходят при тестировании.

2 Требования к обеспечению безопасности значительно различаются в зависимости от подключения системы к интернету или автономной работы системы. Определение требуемых функций обеспечения безопасности и обеспечение их эффективности подробно рассматриваются в соответствующих международных стандартах. Пользователь настоящего стандарта должен определить, какие функции безопасности необходимо использовать в каждом конкретном случае в зависимости от уровня риска.

8.7.1 Показатели конфиденциальности

Показатели конфиденциальности, приведенные в таблице 19, используют для оценки степени, в которой продукт или система гарантируют доступность данных только для зарегистрированных пользователей.

Таблица 19 - Показатели конфиденциальности

8.7.2 Показатели целостности

Показатели целостности, приведенные в таблице 20, используются для оценки степени, в которой система, продукт или компонент предотвращают несанкционированный доступ к компьютерным программам, данным или к их модификации.

Таблица 20 - Показатели целостности

8.7.3 Показатели неопровержимости

Показатели неопровержимости, приведенные в таблице 21, используются для оценки степени, в которой возможно установить и подтвердить факт совершения определенного действия в продукте или системе.

Таблица 21 - Показатели неопровержимости

8.7.4 Показатели отчетности

Показатели отчетности, приведенные в таблице 22, используются для оценки той степени, в какой действия субъекта могут быть прослежены.

Таблица 22 - Показатели отчетности

8.7.5 Показатели аутентификации

Показатели аутентификации, приведенные в таблице 23, используются для оценки степени, в которой заявленные данные о предмете или ресурсе достоверны.

Таблица 23 - Показатели аутентификации

8.8 Показатели пригодности для обслуживания

Показатели пригодности для обслуживания используются для оценки степени результативности и эффективности, с которой продукт или система могут быть изменены специалистами по обслуживанию.

8.8.1 Показатели модульности

Показатели модульности, приведенные в таблице 24, используются для оценки степени, в которой система или компьютерная программа разделены на дискретные компоненты таким образом, что изменение в одном компоненте оказывает минимальное влияние на другие компоненты.

Таблица 24 - Показатели модульности

8.8.2 Показатели повторного использования.

Показатели повторного использования, приведенные в таблице 25, применяются для оценки степени, в которой программный ресурс может использоваться больше, чем в одной системе, или при создании других программных ресурсов.

Таблица 25 - Показатели повторного использования

8.8.3 Показатели подверженности анализу

Показатели подверженности анализу, приведенные в таблице 26, используются для оценки степени эффективности и точности, с которой можно оценить воздействие на продукт (или систему) предполагаемого изменения одной или нескольких его частей, или диагностировать продукт на наличие недостатков или причин отказа, или определить части, подлежащие изменению.

Таблица 26 - Показатели подверженности анализу

8.8.4 Показатели модифицируемости

Показатели модифицируемости, приведенные в таблице 27, используются для оценки степени, в которой продукт или система могут быть эффективно и действенно модифицированы без внесения дефектов или ухудшения существующего качества продукта.

Примечание - Показатели модифицируемости используются для оценки таких атрибутов, как усилие специалиста по обслуживанию или пользователя, путем измерения взаимодействия специалиста по обслуживанию, пользователя или системы, включая программные продукты, при выполнении определенного изменения.

Таблица 27 - Показатели модифицируемости

ID	Имя	Описание	Функция измерения
MMd-1-G	Эффективность модификаций	Насколько эффективно выполняются модификации в сравнении с ожидаемым временем?	, где - суммарно затраченное время на выполнение определенного вида модификации; - ожидаемое время на выполнение определенного вида модификации; n - число модификаций, выполненных в ходе измерения
Примечания 1 Значение показателя, большее 1, означает неэффективность модификации программного продукта или системы. 2 Ожидаемое время для внесения определенного типа изменений может быть основано на исторических данных или средних показателях отрасли.
MMd-2-G	Корректность модификаций	Какая часть модификаций была реализована корректно?	X=1-(A/B), где А - число модификаций, вызвавших сбой или отказ за определенное время после внедрения; В - число реализованных модификаций
MMd-2-S	Модифицируе- мость	В какой степени требуемые модификации реализуются за определенное время?	X=A/B, где А - число модификаций, вызвавших сбой или отказ за определенное время после внедрения; В - число реализованных модификаций

8.8.5 Показатели тестируемости

Показатели тестируемости, приведенные в таблице 28, используются для оценки степени результативности и эффективности, с которой тестовые критерии могут быть установлены для системы, продукта или компонента, и могут быть проведены тесты для определения того, были ли эти критерии выполнены.

Примечания

1 Внутренние показатели тестируемости указывают на набор атрибутов для прогнозирования количества разработанных и реализованных автономных функций тестового пособия, присутствующих в системе/программном продукте.

2 Внешние показатели тестируемости используются для оценки таких характеристик, как усилие специалиста по обслуживанию или пользователя, путем измерения поведения специалиста по обслуживанию, пользователя или системы, включая программные продукты, при попытке протестировать измененные или неизмененные программные продукты.

Таблица 28 - Показатели тестируемости

8.9 Показатели переносимости

Показатели переносимости используются для оценки степени результативности и эффективности, с которой система, продукт или компонент могут быть перенесены из одной аппаратной, программной или операционной среды или среды использования в другую.

8.9.1 Показатели адаптивности

Показатели адаптивности, приведенные в таблице 29, используются для оценки степени, в которой продукт или система могут результативно и эффективно быть адаптированы к различным или развивающимся аппаратным средствам, программным продуктам или другим операционным средам или средам использования.

Таблица 29 - Показатели адаптивности

8.9.2 Показатели установки

Показатели установки, приведенные в таблице 30, используются для оценки степени эффективности и результативности успешной установки и/или удаления продукта или системы в указанной среде.

Таблица 30 - Показатели установки

ID	Имя	Описание	Функция измерения
PIn-1-G	Время установки	Насколько отличается реальное время установки программного продукта или системы от расчетного?	, где - суммарное затраченное время на установку продукта или системы; - ожидаемое время на установку; n - число установок, проведенных в ходе измерения
Примечания 1 Значение показателя, большее 1, означает эффективное время установки программного продукта или системы. 2 Ожидаемое время для установки может быть основано на исторических данных или средних показателях по отрасли.
PIn-2-G	Простота установки	Могут ли пользователи управлять процессом установки ради собственных нужд?	X=A/B, где А - число случаев, в которых пользователь смог настроить процесс установки; В - число случаев, в которых пользователь предпринимал попытки настроить процесс установки
Примечание - Такие изменения процедуры установки могут быть распознаны как настройка установки пользователем.

8.9.3 Показатели заменяемости

Показатели заменяемости, приведенные в таблице 31, используются для оценки степени, в которой продукт может заменить другой указанный программный продукт в той же самой цели в той же самой окружающей среде.

Таблица 31 - Показатели заменяемости

Приложение А

(справочное)

Соображения для использования показателей качества

В данном приложении рассматривается ряд соображений, касающихся выбора и применения показателей качества. Каждый показатель качества, определенный в разделе 8, может использоваться при измерении внутренних свойств (обычно статические показатели промежуточных продуктов), внешних свойств (как правило, путем оценки поведения кода при выполнении) или обоих.

Примечания

1 При применении итеративной или инкрементной модели для разработки или обслуживания для каждого цикла итерации или инкремента могут использоваться как внутренние, так и внешние показатели. Итеративно изменяемые спецификации системы или программного продукта, архитектурный проект, детальное проектирование, программный компонент или блок кода могут быть оценены путем анализа с учетом внутренних показателей, в то время как итеративно внедряемая система или программный продукт могут быть оценены путем выполнения задач тестирования сборки с внешними показателями во время каждой итерации или изменения. В процессе проведения тестирования во время этапа итеративной или инкрементальной разработки внешние показатели (или мера качества использования), возможно, используются больше, чем внутренние показатели. Затем эти показатели качества можно неоднократно использовать для мониторинга развития тенденций качества посредством многократных повторений или приращений. Например, измеренное значение функционального покрытия, которое является одним из показателей качества для функциональной пригодности, возможно, ниже в ранних итерациях и, как ожидается, возрастет до более высокого в дальнейших итерациях.

2 Внутренние показатели по повышению эффективности работы применимы к статической проектной документации или исходному коду. Данные измеренные значения можно получить путем оценки теоретического количества вычисления разработанных алгоритмов, числа вызовов функции или шагов исполняемого кода. Однако приложения внешних показателей для уровня производительности на промежуточном прототипе при выполнении во время проекта полезны для понимания фактических промежутков между внутренними и внешними показателями и калибровки оценки для внутренних показателей.

3 Внутренние показатели для удобства использования применимы к статическому макету отображения на экране, спецификации сценариев использования графического интерфейса, набору текстовых файлов сообщений, руководствам пользователя, исходному коду пользовательских интерфейсов и так далее. Однако применение внешних мер для удобства использования на промежуточном исполняемом прототипе во время разработки полезно для понимания фактических разрывов между внутренними и внешними показателями. При наличии применение мер качества в использовании исполняемого прототипа во время разработки также очень полезно.

Кроме того, показатели качества могут быть классифицированы в соответствии с уровнем рекомендации, например:

- HR: наиболее рекомендуемый, что означает "всегда используют этот показатель качества",

- R: рекомендуемый, что означает "использовать данный показатель качества при соответствии", и

- UD: используемый по усмотрению пользователя, что означает, "использовать данный показатель качества в качестве эталона при разработке нового показателя качества", потому что у показателя есть неизвестная надежность.

В таблице А.1 приведен данный вид соображений, связанных с использованием каждого показателя качества.

Таблица А.1 - Сводная таблица для использования показателей качества

Приложение B

(справочное)

Элементы измерения качества, используемые для определения показателей качества программного продукта или системы

Большинство QMEs, используемые для функции измерения различных показателей качества, уже описаны в приложении А ИСО/МЭК 25021. В случае необходимости определения и разработки новых QMEs необходимо использовать определение, процедуру и формат таблицы, приведенные в ИСО/МЭК 25021.

Ниже приведена сводка общих QMEs, часто используемых в функциях измерения различных показателей качества.

Примечание - Для получения дополнительной информации о QMEs см. определения QME в ИСО/МЭК 25021.

B.1 Количество функций

Количество всех функций, удовлетворяющих условию, заданному в конкретных определениях QME.

Примечание - Функции могут, например, требоваться, реализовываться, тестироваться, быть важными, дополнительными или обладать любыми комбинациями из перечисленных свойств.

B.2 Количество сбоев

Количество всех сбоев, которые происходят в данный промежуток времени и которые также удовлетворяют условию, данному в конкретных определениях QME.

Примеры QMEs: количество ожидаемых отказов, количество обнаруженных отказов, количество разрешенных отказов, количество отказов заданного уровня серьезности.

B.3 Количество ошибок

Количество обнаруженных ошибок программного продукта (или оцененных) в данном компоненте программного продукта и удовлетворяющих условию, указанному в конкретных определениях QME, например количество ошибок данной категории, количество ошибок заданной степени тяжести, количество успешно исправленных ошибок и т.д.

B.4 Размер продукта

Количество компонентов программного продукта в соответствии с требуемым критерием. Это могут быть строки кода (LOC), функциональные точки, модули, классы или визуальные структуры, такие как диаграммы или их части.

Примечание - Компоненты программного продукта могут учитываться только в том случае, если удовлетворены некоторые дополнительные условия, например только исполняемые строки кода, которые также содержат комментарии, объявления, приведения типов, скобки и т.д.

B.5 Продолжительность

Относится к интервалу между временем начала и временем окончания любого процесса, описанного в установленных определениях QME (Продолжительность=время окончания-время начала). Например, следующие:

- время выполнения: относится ко времени, измеренному внутри компьютера, например процессорное время, время ввода-вывода и т.д. или время, измеренное с помощью введенного кода или программных средств (например, наборы тестов);

- время наблюдения: относится ко времени, измеренному внешне наблюдателем, использующим внешний таймер, например время для завершения транзакции или пользовательской задачи;

- время установки: фиксированный процесс времени или наблюдений, но значимый для показателя, который независим от действия, например требуемое время реакции.

B.6 Количество тестовых сценариев

Относится к количеству различных тестовых входных данных и сценариев, удовлетворяющих условию, приведенному в конкретных определениях QME, например тестовых сценариях, разработанных, требуемых, выполняемых (успешно или неудачно) и т.д.

B.7 Количество перезапусков

Подсчитывается количество попыток системы возобновить вычисления после критического сбоя, удовлетворяющих условию, заданному в конкретных определениях QME. Его можно различить между перезапуском системы и восстановлением.

B.8 Количество операций ввода-вывода

Количество операций ввода-вывода, удовлетворяющих условию, заданному в конкретных определениях QME. Операции ввода-вывода отличаются от системных сообщений наблюдателю.

- взаимодействие между наблюдателем и системой, например диалог;

- транзакция: последовательность взаимодействий между наблюдателем и системой, которая должна выполняться атомарно для выполнения операции, например мастера (с опциями).

B.9 Количество задач

Задача - набор или последовательность действий, требуемых для достижения данной цели. Число задач - количество задач, которые удовлетворяют условию, данному в конкретных определениях QME. Между этим можно отличить:

- пользовательские задачи: действия, выполненные пользователем (использующим программный продукт) к указанной цели;

- системные задачи: действия, выполненные системой, чтобы поддержать пользователя.

B.10 Количество пользовательских попыток (испытаний)

Количество попыток выполнить операцию для удовлетворения условия, приведенного в конкретных определениях QME. Эти попытки могут быть следующие:

- оценка: повторения с тем же самым входом и тем же самым сценарием (например, стресс-тестирование);

- случаи: повторения с различным входом и/или различными сценариями.

B.11 Количество элементов данных

Количество различных структур, классов или форматов данных, которые удовлетворяют условию, данному в конкретных определениях QME.

B.12 Количество отчетов

Количество отчетов той же самой структуры, класса или формата, которые удовлетворяют условию, данному в конкретных определениях QME.

B.13 Количество требований

Количество пунктов требования, которые удовлетворяют условию, данному в конкретных определениях QME.

Примечание - Требования могут быть важные, дополнительные, проверенные или любой комбинацией этих и других требований.

B.14 Количество пользовательских операций

Количество числа функционирований, выполненных пользователем, при соблюдении условий, приведенных в конкретном определении QME, где операция - последовательность шагов, требуемых для выполнения задачи.

B.15 Количество системных операций

Количество полных функционирований, выполненных системой, удовлетворяющих условию, приведенному в конкретных определениях QME.

Примечание - Этот QME считает число полных функционирований, не отдельные шаги, требуемые в каждом функционировании.

B.16 Количество языков

Количество различных языков, поддержанных системой или программным продуктом, используемых с целью выполнения функции предполагаемого пользователя.

B.17 Количество программных модулей

Количество компонентов программного продукта, работающего независимо от другого. Концептуально модули представляют разделение проблем и улучшают пригодность для обслуживания, осуществляя логические границы между компонентами.

B.18 Количество интерфейсов

Количество совместно используемых совмещений, через которые два отдельных компонента программной системы обмениваются информацией. Обмен может быть между программным продуктом, аппаратными средствами, периферийными устройствами, человеком и их комбинациями.

Приложение С

(справочное)

Подробное объяснение типов измерения

С.1 Общие положения

Для разработки процедуры сбора данных, интерпретации справедливых значений и нормализации показателей для сравнения пользователь показателей должен определить и принять во внимание тип показателя измерения, используемого показателем качества.

Примечание - Для большинства внешних показателей тестирование может быть выполнено для сбора входных данных для функции измерения. Типы измерений, описанные в настоящем приложении, тесно связаны с методикой проектирования тестирования и типами тестирования, определенного в ISO/IEC/IEEE 29119-4. Относящиеся к качеству типы тестирования и сопоставление характеристик/подхарактеристик качества с типами тестирования подробно описаны в приложении A ISO/IEC/IEEE 29119-4.

C.2 Типы измерений размеров

C.2.1 Общие положения

Показатель этого типа представляет собой определенный размер программного продукта в соответствии с заявленным в определении.

Примечание - У программного продукта может быть много представлений размера (как любой объект, может быть измерен больше, чем в одной размерности - масса, объем, площадь поверхности, и т.д.).

Нормализация других показателей с показателем по размеру может дать сопоставимые значения с точки зрения единиц размера. Показатели по размеру, описанные ниже, могут использоваться для измерения качества программного продукта.

C.2.2 Тип функционального размера

Функциональным размером является пример одного типа размера (одна размерность), который может иметь программный продукт. У любого экземпляра программного продукта может быть больше чем один функциональный размер в зависимости например от:

- цели для измерения размера программного продукта (это влияет на область применения программного продукта, включенного в измерение);

- использования определенного функционального метода калибровки (он изменит единицы и масштаб).

Определение понятий и процесса применения методики определения функциональных размеров (метод FSM) предоставлено в ИСО/МЭК 14143-1.

Для использования функционального размера в целях нормализации необходимо гарантировать, чтобы использовался один и тот же функциональный метод калибровки и чтобы различные сравниваемые программные продукты были измерены с одной и той же целью и, следовательно, имели сопоставимую область применения.

Несмотря на часто встречающееся утверждение, что представлены функциональные размеры, не гарантируется, что они эквивалентны функциональному размеру, полученному из применения Метода FSM, совместимого с ИСО/МЭК 14143-1. Однако они широко используются в разработке программных продуктов:

- число электронных таблиц;

- число экранов;

- число файлов или наборов данных, которые обработаны;

- количество детализированных функциональных требований, описанных в спецификациях требований пользователя.

C.2.3 Тип размера программы

В этом пункте термин "программирование" представляет выражения, которые при выполнении приводят к действиям, а термин "язык" представляет тип используемого выражения.

C.2.3.1 Размер исходного кода программы

Необходимо объяснить язык программирования и указать, как обрабатываются неисполняемые операторы, такие как строки комментариев. Обычно используется следующая мера.

Операторы исходного кода, не относящиеся к комментариям (NCSS), включают исполняемые операторы и операторы объявления данных с логическими исходными операторами.

Примечания

1 Новый размер программы: разработчик может использовать недавно разработанный размер программы, чтобы представлять размер продукта разработки и работ по техническому обслуживанию.

2 Измененный размер программы: разработчик может использовать измененный размер программы, чтобы представлять размер программного продукта, содержащего измененные компоненты.

Возможно, потребуется различать тип операторов исходного кода более подробно следующим образом:

- тип оператора;

- логические операторы (Logical Source Statement (LSS). LSS измеряет число инструкций программного продукта. Операторы не зависят от их отношений к строкам и не зависит от физического формата, в котором они появляются;

- физические операторы (Physical Source Statement (PSS). PSS измеряет число исходных строк программного обеспечения кода;

- атрибут оператора;

- исполняемый оператор;

- операторы объявления данных;

- операторы директивы компилятора;

- исходные операторы замечания;

- источник;

- измененные исходные операторы;

- добавленные исходные операторы;

- удаленные исходные операторы;

- недавно разработанные исходные операторы: (=добавленные исходные операторы+изменили исходные операторы);

- повторно используемые исходные операторы: (=исходный-измененный-удаленные исходные операторы).

C.2.3.2 Размер программы по количеству слов

Измерение может быть выполнено следующим образом с использованием показателя Холстеда: словарь Программы=n1+n2; Наблюдаемая длина программы=N1+N2, где

n1 - число отличных операторов (т.е. число отличных слов оператора, которые подготовлены и зарезервированы языком программы в исходном коде программы);

n2 - число отличных операндов (т.е. число отличных слов операнда, которые определены программистом в исходном коде программы);

N1 - общее количество операторов (т.е. число случаев отличных операторов в исходном коде программы);

N2 - общее количество операндов (т.е. число случаев отличных операндов в исходном коде программы).

С.2.3.3 Количество модулей

Измерение считает число независимо исполняемых объектов, таких как модули программы.

C.2.4 Тип измерения использованных ресурсов

Данный тип определяет ресурсы, используемые для работы оцениваемого программного продукта. Существуют следующие примеры:

a) объем памяти, например количество диска, или памяти, занятой временно или постоянно во время выполнения программного обеспечения;

b) загрузка ввода-вывода, например количество трафика коммуникационных данных (значащий для резервных инструментов в сети);

c) загрузка ЦП, например процент занятых систем команд ЦП в секунду (этот тип показателя, значащий для измерения загрузки ЦП и эффективности распространения процесса в программном продукте мультипотока, выполняющемся в параллельных/параллельных системах);

d) файлы и записи данных, например длина в байтах файлов или отчетов;

e) документы, например число страниц документа.

Рекомендуется принимать во внимание пиковые (максимальные), минимальные и средние значения, а также промежутки времени и число результатов сделанных измерений.

C.2.5 Определенный тип шага рабочей процедуры

Данный тип определяет статические шаги процедур, которые определены в спецификации проекта интерфейса пользователя или руководстве пользователя.

Измеренное значение может отличаться в зависимости от того, какие виды описания используются для измерения, такого как диаграмма или текст, представляющий пользовательские рабочие процессы.

C.3 Тип измерения времени

C.3.1 Общие положения

Пользователь показателей типа показателя времени должен фиксировать периоды времени, сколько сайтов во время которых было исследовано и сколько пользователей приняли участие в измерениях.

Существует много способов измерения единицы времени, как приведенные ниже примеры:

a) Блок реального времени:

Это физическое время, т.е. секунда, минута или час. Эта единица обычно используется для описания времени обработки задачи программного обеспечения реального времени;

b) Компьютерная единица измерения времени оборудования:

Это время часов процессора компьютера, т.е. секунда, минута или час процессорного времени;

c) Официальная цифра запланированного времени:

Включает рабочее время, календарные дни, месяцы или годы;

d) Единица измерения времени компонента:

Когда есть многократные сайты, время компонента определяет отдельный сайт, и это - накопление отдельного времени каждого сайта. Эта единица обычно используется для описания надежности компонента, например уровня отказа компонента;

e) Единица системного времени:

Когда есть многократные сайты, системное время не определяет отдельные сайты, но определяет все выполнение сайтов, в целом в одной системе. Эта единица обычно используется для описания системной надежности, например уровня системного отказа.

C.3.2 Тип времени работы системы

Тип времени работы системы обеспечивает основание для измерения доступности программного продукта. Это в основном используется для оценки надежности. Следует определить, является ли программный продукт объектом периодической работы или непрерывного функционирования. Если программный продукт работает с перерывами, следует гарантировать проведение измерения времени исключительно в периоды активности (данное условие, очевидно, распространяется на непрерывную работу).

- Прошедшее время:

При постоянном использовании программного продукта, например, в системах, работающих в течение того же самого отрезка времени каждую неделю.

- Вовремя приведенная в действие машина:

Для реального времени встроенного или программного продукта операционной системы, которое полностью используется во время работы системы.

- Нормированное машинное время:

Как в "machine powered-on time", но данные объединения от нескольких машин различных "powered-on- time" и применение поправочного коэффициента.

C.3.3 Тип времени выполнения

Типом времени выполнения является время, необходимое для выполнения программным продуктом указанной задачи. Следует проанализировать распределение нескольких попыток и вычислить среднее, отклонение или максимальные значения. Выполнение при особых условиях, особенно в перегруженном состоянии, должно быть исследовано. Тип времени выполнения главным образом используется для оценки эффективности.

C.3.4 Тип времени пользователя

Тип времени пользователя измеряется по периодам времени, затраченным отдельными пользователями на выполнение задач с помощью операций программного продукта, по таким, как в следующих примерах:

- Время сеанса:

Измеряется между запуском и концом сеанса. Полезно, например, для рисования поведения пользователей домашней банковской системы. Для интерактивной программы, где время простоя не представляет интереса или где интерактивные проблемы удобства использования должны быть изучены.

- Время выполнения задачи:

Время, затрачиваемое отдельным пользователем на выполнение задачи с использованием операций программного обеспечения при каждой попытке. Начальная и конечная точки измерения должны быть четко определены.

- Время пользователя:

Время, проведенное отдельным пользователем с помощью программного обеспечения с момента запуска в определенный момент времени. (Приблизительно это сколько часов или дней пользователь использует программное обеспечение с самого начала.)

C.3.5 Тип трудозатрат

Тип усилия - это производительное время, связанное с конкретной задачей проекта.

a) Индивидуальное усилие:

Это продуктивное время, необходимое для выполнения конкретной задачи отдельным разработчиком, сопровождающим или оператором. Индивидуальные усилия предполагают лишь определенное количество продуктивных часов в день.

b) Целевая работа:

Усилия по выполнению задачи - это совокупная стоимость всего персонала проекта: разработчика, сопровождающего, оператора, пользователя или других, кто работал над выполнением указанной задачи.

C.3.6 Временной интервал типа событий

Этот тип показателя представляет собой временной интервал между одним событием и следующим за ним в течение периода наблюдения. Вместо этого показателя может использоваться частота периода времени наблюдения. Обычно это используется для описания времени между последовательно возникающими сбоями.

C.4 Тип измерения отсчета

Если атрибуты документов программного продукта считаются, то они являются статическими типами подсчета. Если подсчитываются события или действия человека, они являются кинетическими типами подсчета.

C.4.1 Число обнаруженного типа неисправности

Измерение считает обнаруженные дефекты во время рассмотрения, тестирования, исправления, работы или поддержания. Уровни серьезности можно использовать для их классификации с учетом влияния неисправности.

C.4.2 Тип уровня структурной сложности программы

Измерение подсчитывает структурную сложность программы. Примерами являются количество различных путей или цикломатическое число Маккейба.

C.4.3 Количество обнаруженных несоответствий

Этот показатель учитывает обнаруженные непоследовательные параграфы, которые подготовлены к исследованию.

a) Количество несоответствий

Пример:

- соответствие к указанным параграфам спецификаций требований;

- соответствие, чтобы управлять, регулирование или стандарт;

- соответствие к протоколам, форматам данных, форматам данных, кодам символов.

b) Количество неудачных экземпляров ожидания пользователя

Измерение состоит в подсчете удовлетворенных/неудовлетворенных элементов списка, которые описывают разрывы между разумными ожиданиями пользователя и производительностью программного продукта.

Измерение использует вопросники, на которые отвечают тестировщики, клиенты, операторы или конечные пользователи, о том, какие недостатки были обнаружены.

Примерами вопросников являются следующие:

- Функция доступна или нет;

- Функция эффективно работает или нет;

- Функция полезна пользователю или нет;

- Функция ожидается, необходима или нет.

C.4.4 Тип количества изменений

Этот тип определяет элементы конфигурации программного продукта, обнаруженные как измененные. Примером может служить количество измененных строк исходного кода.

C.4.5 Тип количества обнаруженных сбоев

Измерение подсчитывает обнаруженное количество отказов во время совершенствования продукции, испытания, работы или обслуживания. Уровни серьезности можно использовать для их классификации с учетом влияния сбоя.

C.4.6 Тип количества испытаний

Этот показатель подсчитывает количество попыток исправления дефекта или неисправности, например, во время проверок, тестирования и технического обслуживания.

C.4.7 Тип рабочего процесса пользователя

Этот показатель подсчитывает количество действий пользователя как кинетические шаги процедуры, когда пользователь интерактивно работает с программным продуктом. Это измерение квантифицирует эргономическую практичность так же, как усилие использовать. Таким образом, это используется для измерения удобства использования. Примерами являются количество ударов для выполнения задачи, количество движений глаз и т.д.

C.4.8 Тип результата вычисления

Этот тип определяет счет или результат арифметического вычисления. Счет может включать подсчет или вычисление весов, проверенных вкл/выкл на контрольных списках. Примерами являются оценка контрольного списка, оценка анкетного опроса, Метод Дельфи и т.д.

Приложение ДА

(справочное)

Сведения о соответствии ссылочных международных стандартов национальным стандартам

Таблица ДА.1

Библиография