ГОСТ Р ИСО/МЭК 25020-2023 Системная и программная инженерия. Требования и оценка качества систем и программной продукции (SQuaRE). Основные принципы измерения качества

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ГОСТР ИСО/МЭК 25020— 2023

СИСТЕМНАЯ И ПРОГРАММНАЯ ИНЖЕНЕРИЯ

Требования и оценка качества систем и программной продукции (SQuaRE). Основные принципы измерения качества

(ISO/IEC 25020:2019, IDT)

Издание официальное

Москва Российский институт стандартизации 2023

Предисловие

• 1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью «Информационно-аналитический вычислительный центр» (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

• 2 ВНЕСЕН Техническим комитетом по стандартизации ТК 22 «Информационные технологии»

• 3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 14 сентября 2023 г. № 844-ст

• 4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 25020:2019 «Системная и программная инженерия. Требования и оценка качества систем и программной продукции (SQuaRE). Основные принципы измерения качества» [ISO/IEC 25020:2019 «Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Quality measurement framework», IDT],

ИСО/МЭК 25020 разработан подкомитетом ПК 7 «Системная и программная инженерия» Совместного технического комитета СТК 1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

• 5 ВВЕДЕН ВПЕРВЫЕ

• 6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию подобных патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

© ISO, 2019

© IEC,2019

© Оформление. ФГБУ «Институт стандартизации», 2023

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

Содержание

• 1 Область применения

• 2 Нормативные ссылки

• 3 Термины и определения

• 4 Сокращения

• 5 Соответствие требованиям

• 6 Измерение качества

• 6.1 Эталонная модель измерения качества

• 6.2 Различные модели качества и их взаимосвязи

• 6.3 Выбор ПК

• 6.4 Построение ПК

• 6.5 Планирование и проведение измерений

• 6.6 Применение результатов измерений

Приложение А (справочное) Соображения по выбору ПК и ЭПК

Приложение В (справочное) Оценка надежности измерений и обоснованности ЭПК

Приложение С (справочное) Элементы для документирования ПК

Приложение D (справочное) Нормализованная функция измерения для показателей качества

Приложение Е (справочное) Информационная модель измерений в ISO/IEC/IEEE 15939

Приложение ДА (справочное) Сведения о соответствии ссылочных международных стандартов национальным стандартам

Библиография

Введение

0.1 Общие положения

Настоящий стандарт является частью стандартов серии SQuaRE. Он обеспечивает основу для измерения характеристик и подхарактеристик качества (определенных в стандартах серии ИСО/МЭК 2501 п). Настоящий стандарт служит руководством для разработки и выбора показателей качества при использовании (в сочетании с ИСО/МЭК 25022), качества систем и программной продукции (в сочетании с ИСО/МЭК 25023), качество данных (в сочетании с ИСО/МЭК 25024) и качество ИТ-услуг (в сочетании с ISO/IEC TS 25025).

0.2 Раздел по измерению качества

Настоящий стандарт является частью стандартов раздела измерений качества ИСО/МЭК 2502п серии SQuaRE, который состоит из следующих стандартов:

• - ИСО/МЭК 25020 — система измерения качества: обеспечивает основу для разработки системы измерения качества;

• - ИСО/МЭК 25021 — элементы показателя качества: предоставляет формат для определения ЭПК (элемент показателя качества) и несколько примеров ЭПК, которые могут быть использованы для построения показателей качества программного обеспечения;

• - ИСО/МЭК 25022 — измерение качества при использовании: содержит меры, включая связанные функции измерения характеристик качества в используемой модели качества;

• - ИСО/МЭК 25023 — измерение качества систем и программной продукции: предоставляет измерения, включая связанные функции измерения и ЭПК для характеристик качества в модели качества продукции;

• - ИСО/МЭК 25024 — измерение качества данных: предоставляет меры, включая связанные функции измерения и ЭПК для характеристик качества в модели качества данных;

• - ISO/IEC TS 25025 — измерение качества ИТ-услуг: содержит показатели для ИТ-услуг качественная модель.

На рисунке 1 показана взаимосвязь между настоящим стандартом и другими стандартами серии ИСО/МЭК 2502п.

0.3 Схема и организация стандартов серии SQuaRE

Серия SQuaRE состоит из пяти основных разделов и одного дополнительного. Назначения разделов в серии SQuaRE следующие:

• - ИСО/МЭК 2500п — раздел управления качеством. Стандарты, составляющие этот раздел, определяют все общие модели, термины и определения, на которые далее ссылаются все другие стандарты серии SQuaRE. Раздел также предоставляет требования и рекомендации по планированию и управлению проектом;

• - ИСО/МЭК 2501 п — раздел моделей качества. Стандарты, составляющие этот раздел, представляют модели качества для системы/программной продукции, качества при использовании и качества данных. Модель качества ИТ-услуг публикуется в качестве технической спецификации;

• - ИСО/МЭК 2502п — раздел измерения качества. Стандарты, составляющие этот раздел, включают эталонную модель измерения качества системы/программной продукции, определения показателей качества и практические рекомендации по их применению. В этом разделе представлены ЭПК по внутренним и внешним свойствам системы и программной продукции, ЭПК по качеству при использовании, ЭПК по качеству данных и ЭПК для ИТ-услуг. Определены и представлены элементы показателей качества, составляющие основу показателей качества;

• - ИСО/МЭК 2503п — раздел требований к качеству. Стандарты, составляющие этот раздел, помогают определить требования к качеству. Эти требования к качеству могут быть использованы в процессе определения требований к качеству для разрабатываемой системы/программной продукции, достижения необходимого качества в процессе проектирования или в качестве исходных данных для процесса оценки;

• - ИСО/МЭК 2504п — раздел оценки качества. Стандарты, составляющие этот раздел, предусматривают требования, рекомендации и руководящие принципы для оценки системы/программной продукции, независимо от того, выполняются ли они независимыми оценщиками, покупателями или разработчиками. Также представлена поддержка документирования показателя качества в ходе оценки;

• - ИСО/МЭК 25050—25099 — зарезервированы для международных стандартов серии SQuaRE, которые в настоящее время включают ИСО/МЭК 25051 и ISO/IEC TR 25060 — ИСО/МЭК 25069.

Рисунок 1 — Структура раздела измерения качества

ГОСТ Р ИСО/МЭК 25020—2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМНАЯ И ПРОГРАММНАЯ ИНЖЕНЕРИЯ

Требования и оценка качества систем и программной продукции (SQuaRE). Основные принципы измерения качества

Systems and software engineering. Systems and software Quality Requirements and Evaluation (SQuaRE). Quality measurement framework

Дата введения — 2024—01—30

• 1 Область применения

Настоящий стандарт обеспечивает основу для измерения качества.

Содержание настоящего стандарта заключается в следующем:

• - эталонная модель измерения качества;

• - взаимосвязь между различными типами показателей качества;

• - руководство по выбору показателей качества;

• - руководство по построению показателей качества;

• - руководство по планированию и проведению измерений;

• - руководство по применению результатов измерений.

Настоящий стандарт включает в себя соображения по выбору показателей качества и элементов показателей качества (см. приложение А), оценку надежности измерений и обоснованности показателей качества (см. приложение В), элементы для документирования показателей качества (см. приложение С), нормализованную функцию измерения для показателей качества (см. приложение D) и модель информации об измерениях в ISO/IEC/IEEE 15939 (см. приложение Е).

Настоящий стандарт может быть применен для разработки, идентификации, оценки и выполнения измерения качества систем и программной продукции, качества в использовании, качества данных и качества ИТ-услуг. Эталонная модель может использоваться разработчиками, покупателями, персоналом по обеспечению качества и независимыми оценщиками — людьми, ответственными за определение и оценку качества систем и услуг в области информационно-коммуникационных технологий (ИКТ).

• 2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты [для датированных ссылок применяют только указанное издание, для недатированных — последнее издание (включая все изменения)]:

ISO/IEC/IEEE 15939, Systems and software engineering — Measurement process (Системная и программная инженерия. Процесс измерения)

ISO/IEC 25000, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Guide to SQuaRE [Системная и программная инженерия. Требования к качеству систем и программного обеспечения и Оценка (SQuaRE). Руководство по SQuaRE]

• 3 Термины и определения

В настоящем стандарте применены термины по ИСО/МЭК 25010, ИСО/МЭК 25012, а также следующие термины с соответствующими определениями:

Издание официальное

ИСО и МЭК ведут терминологические базы данных для использования в области стандартизации по следующим адресам:

• - платформа онлайн-просмотра ИСО: доступна по адресу https://www.iso.org/obp;

• - Электропедия МЭК: доступна по адресу http://www.electropedia.org/.

• 3.1 атрибут (attribute): Неотъемлемое свойство или характеристика объекта, которая может быть количественно или качественно различима человеком или автоматизированными средствами.

Примечание 1 — ИСО 9000 различает два типа атрибутов: постоянная характеристика, присущая чему-либо по своей сути; и присвоенная характеристика продукции, процесса или системы (например, цена продукции, владелец продукции). Присвоенная характеристика не является неотъемлемой характеристикой качества данной продукции, процесса или системы.

[ИСО/МЭК 25000:2014, 4.1, изменено — примечание 1 было удалено; примечание 2 стало примечанием 1]

• 3.2 базовый показатель (base measure): Переменная (3.6), определенная в терминах атрибута (3.1), и метода ее количественной оценки.

Примечание 1 — Базовый показатель функционально независим от других показателей.

Примечание 2 — Основано на определении «базовой величины» в Международном словаре метрологии «Основные и общие понятия и связанные с ними термины», 2012 год.

[ISO/IEC/IEEE 15939:2017, 3.3]

• 3.3 производный показатель (derived measure): Переменная (3.6), определяемая как функция значений двух или более базовых показателей (3.2).

Примечание — Адаптировано из определения «производной величин» в Международном словаре метрологии «Основные и общие понятия и связанные с ними термины», 2012 год.

[ISO/IEC/IEEE 15939:2017, 3.8]

• 3.4 параметр (indicator): Показатель, который обеспечивает прогнозирование или оценку определенных атрибутов функционирования системы и программного обеспечения, полученных из модели, в отношении определенных информационных потребностей.

[ISO/IEC/IEEE 15939:2017, 3.10]

• 3.5 информационная потребность (information need): Понимание, необходимое для управления целями, задачами, рисками и проблемами.

[ISO/IEC/IEEE 15939:2017, 3.12]

• 3.6 показатель (measure): Переменная, значение которой присвоено в результате измерения.

Примечание — Форма множественного числа «показатели» используется для коллективного обозначения базовых показателей (3.2), производных показателей (3.3) и параметров (3.4).

[ISO/IEC/IEEE 15939:2017, 3.15]

• 3.7 измерять (measure): Производить измерение.

[ИСО/МЭК 25000:2014, 4.19]

• 3.8 измерение (measurement): Набор операций, имеющих целью определение значения показателя (3.6).

Примечание — Измерение может включать присвоение качественной категории, такой как язык исходной программы (ADA, С, JAVA и т. д.).

[ИСО/МЭК 25000:2014, 4.20]

• 3.9 функция измерения (measurement function): Алгоритм измерения или вычисления, выполняемого для объединения двух или более базовых показателей (3.2).

[ISO/IEC/IEEE 15939:2017, 3.20]

• 3.10 метод измерения (measurement method): Логическая последовательность операций, описанная в общем виде, используемая для количественной оценки атрибута (3.1) по отношению к заданной шкале.

Примечание 1 — Тип метода измерения зависит от характера операций, используемых для количественной оценки атрибута. Можно выделить два типа:

• - субъективный: количественная оценка, включающая человеческое суждение;

• - объективный: количественная оценка на основе числовых правил.

Примечание 2 — Основано на определении «метода измерения» в Международном словаре метрологии «Основные и общие понятия и связанные с ними термины», 2012.

[ISO/IEC/IEEE 15939:2017, 3.21]

• 3.11 свойство количественной оценки (property to quantify): Свойство целевого объекта, которое связано с элементом показателя качества (3.14) и которое может быть определено количественно с помощью метода измерения (3.10).

Примечание — Программный артефакт является примером целевого объекта.

[ИСО/МЭК 25023:2016, 4.7]

• 3.12 качество при использовании (quality in use): Степень, с которой система или программная продукция, используемые конкретными пользователями, удовлетворяет их потребности в достижении конкретных целей с заданной эффективностью, производительностью, безопасностью и удовлетворенностью в конкретных условиях использования.

Примечание — Прежде, чем продукция будет реализована, качество при использовании может быть задано и измерено в тестовой среде с учетом потребностей предполагаемых пользователей, целей и условий использования. Фактические потребности пользователей могут отличаться от предполагаемых, поэтому фактическое качество при использовании может отличаться от качества, измеренного ранее в тестовой среде.

[ИСО/МЭК 25000:2014, 4.24]

• 3.13 показатель качества; ПК (quality measure, QM): Производный показатель (3.3), который определяется как функция измерения (3.9) двух или более значений элементов измерения качества (3.14).

[ИСО/МЭК 25021:2012, 4.13, изменено — добавлено сокращение ПК]

• 3.14 элемент показателя качества; ЭПК (quality measure element, QME): Показатель (3.6), определенный в терминах свойства и метода измерения (3.10) для количественного определения этого свойства, включая выборочное преобразование с помощью математической функции.

Примечание — Значение характеристики или подхарактеристики качества системы или программного обеспечения может определяться, в том числе путем математических вычислений показателя качества (3.13).

[ИСО/МЭК 25000:2014, 4.26, изменено — добавлено сокращение ЭПК]

• 3.15 показатель качества по внешнему свойству; ПК по внешнему свойству (quality measure on external property, QM on external property): Показатель (3.6) степени, в которой параметры функционирования системы или программного обеспечения удовлетворяют потребности заявленные и подразумеваемые в надсистеме, с учетом условий функционирования.

Примечание — Атрибуты (3.1) поведения могут быть измерены (3.7), проверены и/или подтверждены путем функционирования системы или программного продукции во время тестирования и эксплуатации.

Пример — Плотность отказов по сравнению с тестовыми примерами, обнаруженными во время тестирования, является показателем качества внешнего свойства, связанного с количеством сбоев, присутствующих в компьютерной системе. Эти два показателя не обязательно идентичны, поскольку при тестировании могут быть обнаружены не все неисправности, а неисправность может привести к явно различным сбоям в разных обстоятельствах.

[ИСО/МЭК 25000:2014, 4.11, изменено — термин «внешний показатель качества системы или программного обеспечения» был изменен на «показатель качества по внешнему свойству»; в качестве альтернативы добавлено «ПК по внешнему свойству»; в примечании 1 слово «измерено» было добавлено; в примере «количество отказов» было изменено на «плотность отказов по тестовым примерам»]

• 3.16 показатель качества по внутреннему свойству; ПК по внутреннему свойству (quality measure on internal property, QM on internal property): Показатель (3.6) степени, в которой набор статических атрибутов (3.1) программной продукции удовлетворяет заявленным и подразумеваемым потребностям для использования программной продукции в определенных условиях.

Примечание 1 — Статические атрибуты включают те, которые относятся к архитектуре программного обеспечения, структуре и ее компонентам, структуре данных и их форматам, структуре и внешнему виду графического отображения на экране и меню для пользователей или потребителей услуг.

Примечание 2 — Статические атрибуты могут быть проверены с помощью анализа, проверки, моделирования и/или автоматизированных инструментов.

Примечание 3 — Показатели качества для внутренних свойств обычно связаны с требованиями к качеству для статических свойств и атрибутов, которые могут быть указаны в требованиях или получены из них.

Пример — Показатели сложности, а также количество, серьезность и частота отказов неисправностей, обнаруженных при обходе, являются типичными показателями качества внутренних свойств самой продукции.

[ИСО/МЭК 25000:2014, 4.16, изменено — термин «внутренний показатель качества программного обеспечения» был изменен на «показатель качества по внутреннему свойству»; добавлено «ПК по внутреннему свойству», в качестве альтернативы; в примечании 1 была добавлена дополнительная информация о статических атрибутах; добавлено примечание 3]

• 3.17 качество системы и программного обеспечения; качество продукции (system and software product quality, product quality): Способность системы и/или программного обеспечения удовлетворять заявленные и подразумеваемые потребности при использовании в определенных условиях.

Примечание — Модель качества продукции относится к модели качества системы и программной продукции, определенной в ИСО/МЭК 25010.

• 4 Сокращения

• ИКТ — информационно-коммуникационные технологии;

• ЭМ-ИК — эталонная модель измерения качества;

• ПК— показатель качества;

ЭПК — элемент показателя качества.

• 5 Соответствие требованиям

Любой процесс измерения качества систем и программной продукции, качества при использовании, качества данных и качества ИТ-услуг для соответствия настоящему стандарту должен соответствовать требованиям раздела 6.

• 6 Измерение качества

• 6.1 Эталонная модель измерения качества

Эталонная модель измерения качества (ЭМ-ИК) описывает взаимосвязь между моделью качества и построением ПК на основе ЭПК, как показано на рисунке 2. Взаимосвязь представляет собой эталонную модель для измерения качества систем и программной продукции, качества при использовании, качества данных и качества ИТ-услуг. Информационная модель измерения, представленная в приложении Е, описывает взаимосвязь между атрибутами и измерением.

Качество системы, программной продукции, данных или ИТ-услуг — это степень, в которой они удовлетворяют заявленным и подразумеваемым потребностям различных заинтересованных сторон и, таким образом, обеспечивают ценность. Потребности пользователей в качестве включают требования к качеству системы в конкретных условиях использования. Эти заявленные и подразумеваемые потребности представлены в стандартах серии SQuaRE моделями качества, которые классифицируют качество по характеристикам, которые далее подразделяются на подхарактеристики. Качественные свойства измеряются с помощью метода измерения. Метод измерения — это логическая последовательность операций, используемых для количественной оценки свойства по заданной шкале. Результат применения метода измерения называется ЭПК.

ПК создаются путем применения функции измерения к набору ЭПК. Функция измерения — это алгоритм, используемый для объединения ЭПК. Результат применения измерительной функции называется ПК. Таким образом, ПК служат количественной оценкой характеристик (и подхарактеристик) качества. Для измерения характеристики (и подхарактеристик) качества может использоваться более одного ПК.

В особом случае, когда ЭПК также служит в качестве ПК, применяемой функцией измерения будет функция идентификации. ЭПК могут быть либо базовыми, либо производными показателями. В приложении В содержится оценочная информация для подтверждения и проверки показателя. ЭПК построены на основе рекомендаций, приведенных в стандарте ISO/IEC/IEEE 15939. ИСО/МЭК 25030 содержит рекомендации по выбору характеристик и подхарактеристик качества, представляющих интерес, в сочетании со спецификацией требований к качеству и ИСО/МЭК 25040 для получения рекомендаций по использованию ЭПК программного обеспечения для оценки программной продукции.

Рисунок 2 — Эталонная модель измерения качества (ЭМ-ИК)

• 6.2 Различные модели качества и их взаимосвязи

В серии SQuaRE представлены четыре модели качества:

• а) модель качества в использовании в ИСО/МЭК 25010, которая может быть применена к продукции, системам и услугам;

• Ь) модель качества продукции в ИСО/МЭК 25010;

• с) модель качества ИТ-услуг, определенная в настоящем стандарте;

• d) модель качества данных в ИСО/МЭК 25012.

Эти модели предоставляют набор качественных характеристик и подхарактеристик, а также их определения.

Взаимосвязь между различными моделями качества из серии SQuaRE показана на рисунке 3.

Используемые модели качества определяются или выбираются для определения требований заинтересованных сторон в конкретных условиях использования, когда требования к качеству выводятся из потребностей пользователей путем анализа концепции функционирования. Используемые модели качества предназначены для измерения степени, в которой продукция удовлетворяет потребностям конкретных пользователей в отношении с их конкретными личными или деловыми целями, посредством количественной оценки результатов взаимодействия между пользователем и системой или воздействия на заинтересованные стороны, включая косвенных пользователей, а также непосредственных пользователей. Эти показатели могут быть подготовлены только в реалистичной оперативной системной среде.

Процесс разработки и обслуживания

Качество

системы

и программного

обеспечения

Зависит от’

Зависит от

Влияет

Зависит от

Показатели качества ИТ-услуг

Зависит от

Условия использования

Зависит от

Качество при

использовании

системы и ПО

Качество при

использовании

ИТ-услуг

Рисунок 3 — Взаимосвязи между различными системами менеджмента качества

ПК по внешним и внутренним свойствам продукции предназначены для пользователя (включая лицо, выполняющее тестирование, инженера) и разработчика соответственно. Между ними нет различия, даже на уровне характеристик и подхарактеристик. Однако, когда пользователи применяют ПК в зависимости от цели и стадии жизненного цикла программной продукции, выбранные ЭПК и ПК должны быть взаимосвязанными и подходящими либо пользователю, либо разработчику. ПК по внешним свойствам используются для измерения качества системы и программной продукции на основе поведения системы. ПК по внешним свойствам используются на этапах тестирования и эксплуатации жизненного цикла продукции.

ПК по внутренним свойствам позволяют пользователям измерять качество промежуточных результатов или рабочей продукции. Кроме того, эти показатели могут быть использованы с аналитической моделью для прогнозирования качества конечной системы и программной продукции. Это позволяет пользователям обнаруживать проблемы с качеством системы и программной продукции и принимать корректирующие и упреждающие действия на ранних стадиях жизненного цикла разработки.

Показатели качества данных могут быть преобразованы из требований и показателей к качеству используемых систем и программной продукции. Затем эти показатели, представляющие целевые требования к качеству данных, используются для оценки качества данных системы и программной продукции, для проверки, подтверждения и улучшения данных и продукции поэтапно во время проектирования, внедрения, тестирования или использования. ПК для обеспечения качества данных предназначены для измерения данных в системе и программной продукции с двух точек зрения, а именно «присущих» и «зависящих от системы», для выявления потенциальных проблем с качеством, связанных с данными и базой данных. Эти модели качества могут применяться на этапах разработки, тестирования и эксплуатации. Качество данных оказывает большое влияние на качество использования, в частности на эффективность, полезность и управление рисками.

ПК для обеспечения качества ИТ-услуг количественно определяют степень, в которой свойства ИТ-услуги могут удовлетворять заявленным и подразумеваемым требованиям к ИТ-услуге при использовании в определенных условиях. ИТ-услуга может иметь свою собственную систему предоставления услуг. ПК для обеспечения качества ИТ-услуг обычно измеряют взаимодействие между системой и получателями услуг.

Качество процесса (качество процесса жизненного цикла, определенного в стандарте ISO/IEC/ IEEE 12207) способствует улучшению качества систем и программной продукции, качества данных и качества ИТ-услуг. Оценка того, может ли программная продукция удовлетворять потребности пользователей в качестве, является одним из процессов в жизненном цикле разработки программного обеспечения. Программная продукция, ИТ-услуга и данные в различных контекстах влияют на качество при использовании. Следовательно, оценка и совершенствование процесса — это средство улучшения качества системы и программной продукции, а оценка и улучшение качества системы и программной продукции — это одно из средств улучшения качества при использовании. Аналогичным образом, оценка качества при использовании может обеспечить обратную связь для улучшения программной продукции, а оценка программной продукции может обеспечить обратную связь для улучшения процесса разработки. Качество системы и программной продукции может быть оценено с помощью ПК по внутренним и внешним свойствам. Качество систем и программной продукции влияет на качество ИТ-услуг и качество данных. Качество ИТ-услуг можно оценить с помощью показателей качества ИТ-услуг. Качество ИТ-услуг зависит от качества системы и программной продукции, а также от качества данных. В конкретных условиях использования (когда система, программная продукция и ИТ-услуга используются в реальном или моделируемом режиме) качество используемых ИТ-услуг зависит от качества при использовании системы и программной продукции.

Рисунок 4 иллюстрирует жизненный цикл качества, включающий набор согласованных ПК, которые используются для определения и детализации требований к качеству и оценке качества посредством измерения степени достижения требуемого качества на протяжении всего жизненного цикла, охватывающего разработку, эксплуатацию и техническое обслуживание системы и программной продукции, данных и ИТ-услуг. С точки зрения пользователя и/или иных заинтересованных сторон, жизненный цикл качества состоит из трех уровней: пользовательского уровня, уровня выполнения и уровня реализации. Требования к качеству и целевой объект валидируют и/или верифицируют друг друга на разных уровнях. Потребности пользователей и/или заинтересованных сторон в качестве для любого из целевых объектов, включая систему, программную продукцию, данные и ИТ-услуги, могут быть выявлены и преобразованы в требования к качеству при использовании, а затем в требования к качеству с использованием внешних свойств (т. е. поведения) и в требования к качеству с использованием внутренних свойств (т. е. статических атрибутов). Соответственно, целевой объект может быть реализован на основе требований. Итерационный подход к жизненному циклу качества приводит к развитию и улучшению качества.

ПК включает в себя ПК для обеспечения качества при использовании, ПК для внешних свойств и ПК для внутренних свойств. Воздействие и влияние заинтересованных сторон в контексте использования может быть измерено с помощью модели качества при использовании. ПК по внешним свойствам — это показатели поведенческих атрибутов. ПК по внутренним свойствам используются для измерения технических/структурных характеристик программного обеспечения и/или системы. Свойство качества целевого объекта включает в себя качество по внешним свойствам и качество по внутренним свойствам. Качество по внутренним свойствам влияет на качество по внешним свойствам, когда программное обеспечение и/или система находятся в состоянии функционирования, а результат или последствия использования программного обеспечения и/или системы в определенных условиях использования зависят от качества по внешним свойствам.

Пользователи/заинтересованные стороны

Потребности в качестве

Выявление

Получен из

Требования к качеству при использовании

Валидация

Влияние качества

Получен из

Выполнение

Влияет

Влияет

Требования к качеству по внутренним свойствам

Верификация

Качество по внутренним свойствам

Рисунок 4 — ПК в жизненном цикле качества

Требования к качеству при использовании основаны на ожидаемом результате/последствиях применения системы и/или программной продукции (например, время, затраченное пользователем на выполнение определенных намеченных задач), учитывая эффективность, результативность, удовлетворенность, отсутствие риска и охват контекста. Требования к качеству с использованием внешних свойств (например, пропускная способность, время отклика и т. д.) могут быть выведены из требований к качеству при использовании.

Требования к качеству по внешним свойствам должны быть указаны количественно в спецификации требований к качеству с помощью ПК для внешних свойств, которые используются при оценке целевого объекта.

Требования к качеству по внутренним свойствам (например, сложность структуры программы и т. д.) могут быть получены из требований к качеству по внешним свойствам. Требования к качеству по внутренним свойствам отражают техническое/структурные свойства. Они могут использоваться для указания свойств поставляемой, неисполняемой программной продукции, таких как документация и руководства. Они также могут быть использованы в качестве целевого объекта для верификации, а также для определения критериев верификации на различных этапах разработки.

На протяжении всего жизненного цикла качества измерение степени достижения требуемого качества для верификации и валидации может выполняться на разных уровнях. На уровне использования в проверке соответствия требованиям к качеству при использовании важную роль играют условия использования. На уровне среды выполнения требования к качеству по внешним свойствам верифицируются и валидируются на основе качества внешнего свойства, и наоборот. На уровне реализации требования к качеству по внутренним свойствам проверяются на основе качества внутреннего свойства, и наоборот.

Примечание — ПК для качества при использовании указывают на эффекты для заинтересованных сторон; ЭПК для внешнего свойства указывают на поведение целевого объекта, во время тестирования прототипа, тестирования продукции и при фактическом использовании; ПК для внутреннего свойства указывают на анализ спецификаций и/или исходного кода.

• 6.3 Выбор ПК

ПК разработаны для удовлетворения потребностей разработчиков, покупателей, менеджеров, прямых и косвенных пользователей и других заинтересованных сторон в информации. Возможные ЭПК, которые потенциально удовлетворяют требованиям к качеству, должны быть определены из стандартов, обеспечивающих конкретные ПК в разделе измерения качества стандартов серии SQuaRE, таких как ИСО/МЭК 25022, ИСО/МЭК 25023 или ИСО/МЭК 25024. Затем ПК-кандидат может быть дополнительно доработан по мере необходимости. Как минимум, в качестве критерия выбора ПК, включая применение комбинации показателей, должна быть указана причина, по которой ПК выбран. Множество различных комбинаций базовых показателей и производных показателей могут быть выбраны для построения дополнительных ПК, которые действуют как индикаторы или характеризуют конкретное требование к качеству. При выборе среди альтернатив следует учитывать следующие факторы: соответствие приоритетным информационным потребностям, возможность сбора данных в организационном подразделении, наличие людских ресурсов для сбора и управления данными, а также простота сбора данных. При использовании ПК для определения требований к качеству, критичность таких требований к качеству или риск их недостаточности могут рассматриваться в качестве одного из критериев выбора ПК. При использовании ПК для оценки качества, в качестве критериев могут рассматриваться достигаемая точность и сроки измерения.

Выбранные показатели будут влиять на поведение человека. Во многих случаях такое поведение может привести к дисфункциональным результатам, поскольку люди пытаются «играть с системой». Необходимо предвидеть такие проблемы и принимать меры по снижению рисков, включая обучение, наставничество и дополнительные мероприятия управления.

Критерии выбора ЭПК для удовлетворения этих информационных потребностей должны быть задокументированы.

В приложении А приведены примеры критериев для выбора ПК.

Примечание — ИСО/МЭК 25030 и ИСО/МЭК 25040 содержат рекомендации по спецификациям требований к качеству и оценке качества продукции соответственно.

При использовании модифицированного или нового показателя, который не указан во всех конкретных стандартах измерения качества, таких как ИСО/МЭК 25022, ИСО/МЭК 25023 или ИСО/МЭК 25024, необходимо установить, как показатель связан с соответствующей моделью качества и как он строится на основе ЭПК.

В приложении С приведен пример того, как документировать ПК.

Примечание — ИСО/МЭК 25010 содержит руководство по определению и использованию модели качества системы и программной продукции.

• 6.4 Построение ПК
  
  6.4.1 Определение ПК, которые необходимо создать

  Качество системы — это степень, в которой система удовлетворяет заявленные и подразумеваемые потребности различных заинтересованных сторон и, таким образом, обеспечивает ценность. Эти заявленные и подразумеваемые потребности представлены в серии международных стандартов SQuaRE моделями качества, которые классифицируют качество по характеристикам, которые в некоторых случаях дополнительно подразделяются на подхарактеристики. Полный набор характеристик качества в этих моделях не будет иметь отношения к каждой заинтересованной стороне. Тем не менее, каждая категория заинтересованных сторон должна быть представлена при рассмотрении релевантности характеристик качества в каждой модели до окончательного определения набора характеристик качества, которые будут использоваться, например, для установления требований к производительности программной продукции и системы или критериев оценки.

Применимые модели качества не ограничиваются теми, которые перечислены в ИСО/МЭК 25022, ИСО/МЭК 25023 и ИСО/МЭК 25024. При необходимости может быть сконструирован новый ПК и включен в набор ПК определенной характеристики или подхарактеристики для удовлетворения дополнительных требований пользователя к качеству. Новая ЭПК должна быть описана в соответствии с 6.4.2, и соответствующие ЭПК должны быть выбраны и объединены с использованием функции измерения (см. приложение D).

Определения любых новых ПК, включая ПК в ИСО/МЭК 2502п, которые были изменены, должны быть задокументированы.

Определение ПК должно содержать информацию, включенную в примерный формат, представленный в приложении С.

Примечание 1 — Предлагаемый набор показателей качества при использовании вместе с их определениями приведен в ИСО/МЭК 25022.

Примечания 2 — Предлагаемый набор показателей качества систем и программной продукции вместе с их определениями приведен в ИСО/МЭК 25023.

Примечания 3 — Предлагаемый набор показателей качества данных вместе с их определениями приведен в ИСО/МЭК 25024.

• 6.4.2 Описание ПК

Следующая информация важна для документирования определения каждого ПК, когда пользователь выполняет измерение системы, программной продукции, данных и ИТ-услуг. Пользователь должен документировать дополнительную подробную информацию при описании ПК для достижения оперативности работы. Более подробная информаци я о ПК приведена в приложении С.

• а) Идентификатор: идентификационный код ПК. Каждый идентификатор состоит из следующих трех частей:

• - сокращенный алфавитный знак, обозначающий характеристики качества и, возможно, подхарактеристики (например, «Пов_вр» обозначает «Поведение во времени», которое измеряет «Эффективность работы», «Точ» обозначает показатели точности);

• - порядковый номер в пределах подхарактеристики качества;

• - тег использования:

Ц: в целом применимо, может использоваться в широком спектре ситуаций;

С: специализированный для конкретных нужд.

Примечание — Идентификатор может включать дополнительные детали (например, Пов_вр-1-Ц-ИТ-1 идентифицирует Пов_вр-1-Ц).

• Ь) Название: название ПК.

• с) Описание: необходимая информация (цель показателя) и характеристика/подхарактеристика качества, предоставляемая ПК, и (когда это полезно) цель измерения.

• d) Функция измерения: формула, показывающая, как ЭПК объединяются для получения ПК.

• е) Способ измерения: тип метода, который может быть использован для получения измерения.

• 6.4.3 Определение ПК

ЭПК используются на протяжении всего жизненного цикла системы ИКТ для построения ПК системы и программной продукции, качества в использовании, качества данных и качества ИТ-услуг путем применения методов измерения к указанным атрибутам и, при необходимости, с помощью функции измерения для объединения нескольких ЭПК. ПК должны быть задокументированы. ПК используются для измерения атрибутов самой системы и программной продукции, эффектов использования системы и программной продукции в конкретных условиях и потребляемых ресурсах или действиях, выполняемых при разработке, тестировании и обслуживании систем и программной продукции.

Примечание 1 — Система ИКТ — это система, использующая информационные и коммуникационные технологии.

Примечание 2 — Предлагаемый набор ЭПК вместе с их определениями приведен в ИСО/МЭК 25021.

• 6.5 Планирование и проведение измерений

Пользователю раздела стандартов ИСО/МЭК 2502п следует планировать и выполнять измерения для определения значений ЭПК и ПК в соответствии с эталонной моделью, показанной на рисунке 2.

Измерение качества должно быть запланировано с учетом таких ресурсов, как персонал, системы автоматизации измерений, программные и аппаратные среды. План измерения не должен содержать повторяющихся задач по измерению одних и тех же показателей для удовлетворения различных информационных потребностей.

Примечание 1 — Некоторые из ЭПК и ПК часто планируется применять повторно, итеративно или периодически для мониторинга тенденции или улучшения качества на определенном этапе или в течение жизненного цикла продукции.

Критерии выбора ЭПК и ПК следует учитывать в плане измерений, чтобы снизить риск ошибок и сократить планируемые усилия, учитывая, по крайней мере, следующее:

• а) бюджет измерения;

• Ь) приоритет и строгость ЭПК и ПК, которые отражают критические требования к качеству;

• с) план-график измерений и задействованные ресурсы;

• d) применение результата измерения;

• е) актуальность и важность ПК на основе требований к качеству и условий использования.

Примечание 2 — Вышеуказанные проблемы в индивидуальном проекте часто решаются путем координации и совместного использования с организационной стратегией измерения и анализа, предоставляющей тренинги, инструменты, среду, персонал и т. д.

Основными видами деятельности, связанными с проведением измерений, являются следующие: а) определение модели качества в соответствии с различными информационными потребностями, относящимися к качественным характеристикам системы или программной продукции, ИТ-услуги, данных или качества при использовании;

• Ь) определение кандидата и ПК с помощью ЭПК для определенной модели качества;

• с) информирование измерителей или поставщиков данных, чтобы они надлежащим образом использовали ЭПК и ПК, планировали и сотрудничали с соответствующими заинтересованными сторонами для сбора статистики значений ЭПК и ПК;

• d) генерирование значения ЭПК с использованием метода измерения;

• е) вычисление значения ПК с помощью функции измерения;

• f) проверка и сохранение значения ПК и их ЭПК с информацией об условиях измерения.

Примечание 3 — Проверка значений ПК и ЭПК может быть выполнена с использованием различных методов, например, диапазона и типа значений, особых значений, ошибок классификации или больших колебаний;

• д) измерение качественных характеристик и/или подхарактеристик с помощью ПК;

• h) запись результатов и информирование пользователей, которым нужна информация, касающаяся качества, для принятия решений в ходе проекта или операции.

Пользователям ИСО/МЭК 2502п для измерения качества рекомендуется соблюдать процедуры оценки качества, содержащиеся в ИСО/МЭК 2504п, и определение требований к качеству, содержащееся в ИСО/МЭК 2503п.

• 6.6 Применение результатов измерений

Результаты измерений могут быть интерпретированы в соответствии с требованиями к качеству, которые включают требования к качеству системы и программной продукции, требования к качеству при использовании, требования к качеству данных и требования к качеству ИТ-услуг. Требования к качеству определяются с использованием моделей качества и показателей качества. Подробная информация о взаимосвязях между моделями качества и между требованиями к качеству приведена в ИСО/МЭК 25030.

Результаты измерений предоставляют информацию для оценки качества. Для проведения надежных сравнений между системами, программной продукции, данными и ИТ-услугами требуются строгие измерения. Кроме того, также требуется сравнивать результаты измерений со значениями критериев.

Процедура измерения должна обеспечивать достаточную точность оценки характеристик (подхарактеристик) качества. Требования к оценке качества должны быть распределены по подходящим характеристикам, с которыми они связаны, таким образом, чтобы можно было определить каждый соответствующий показатель качества, используемый для оценки качества. Критерии принятия решений должны быть определены для выбранных отдельных показателей. Выбранные показатели качества должны быть применены к объекту оценки в соответствии с планом оценки, в результате чего должны быть получены значения на шкалах измерений. Общие требования к спецификации и оценке качества программного обеспечения изложены в ИСО/МЭК 25040.

Несколько ПК может быть трудно интерпретировать изолированно. Ниже приведены способы, облегчающие понимание и интерпретацию ПК:

• а) соответствие: сравнение результата измерения с конкретными требованиями бизнеса или использования.

Пример — Максимально допустимое время отклика составляет 10 минут в соответствии с конкретными требованиями бизнеса или использования;

• Ь) контрольные показатели: сравнение результата измерения с контрольным показателем для того же или аналогичной продукции или системы, используемых для той же цели.

Пример — С помощью новой системы можно выполнять задачи быстрее, чем это позволяла старая система;

• с) временные ряды: сравнение результатов измерений с течением времени и анализ тенденций.

Пример — С каждой новой версией прототипа системы количества ошибок, допускаемых пользователями должно уменьшаться;

• d) мастерство: сравнение результата измерения со значениями, полученными при использовании новым или опытным пользователем.

Пример — Сколько времени требуется новому пользователю по сравнению с опытным пользователем ?

• е) популяционные нормы удовлетворенности: при наличии базы данных предыдущих значений результат измерения может быть выражен в процентах пользователей, которыми ранее была присвоена оценка не менее заданного значения. Это больше подходит для интерпретации используемых показателей качества.

Примечание — Интерпретатор(ы) измерений делает(ют) некоторые первоначальные выводы на основе результатов. Однако, если они не участвуют непосредственно в технических и управленческих процессах, такие выводы должны быть рассмотрены другими заинтересованными сторонами. Например, интерпретатором (интерпретаторами) может быть аналитик(и), измеритель(и), пользователь(и) системы, менеджер(ы) проекта, инженер(ы) по качеству, разработчик(и) и тестировщик(и). Когда эти лица принадлежат приобретающей или оценивающей организации, которая не зависит от разработки или сопровождения, очень важно учитывать контекст во время интерпретации и пересмотреть первоначальный вывод из интерпретации.

Приложение А (справочное)

Соображения по выбору ПК и ЭПК

А.1 Критерии выбора ПК и ЭПК

Множество различных комбинаций элементов измерения качества и показателей качества программного обеспечения могут быть определены для удовлетворения конкретной информационной потребности пользователя для измерения качества систем и программной продукции. Для рассмотрения предлагаются следующие критерии:

• - соответствие приоритетным требованиям к качеству;

• - способность учитывать все соответствующие характеристики и подхарактеристики качества;

• - повторяемость и воспроизводимость результатов измерений;

• - действительность ПК;

• - возможность сбора данных в организационном подразделении;

• - наличие людских ресурсов для сбора, анализа и управления данными;

• - простота сбора данных;

• - наличие соответствующих инструментов;

• - защита конфиденциальности;

• - простота интерпретации пользователем результата измерения;

• - применимость к условиям использования и/или стадии жизненного цикла (внутренние или внешние по отношению к организационной единице), обоснование соответствия показателя цели.

Следует также учитывать затраты на сбор, управление и анализ данных на всех уровнях. Расходы включают в себя следующее:

• - затраты на использование показателей: с каждым показателем связаны затраты на сбор данных, автоматизацию расчета значений показателей (когда это возможно), анализ данных, интерпретацию результатов анализа и передачу информационной продукции;

• - затраты на процесс изменения: набор показателей может подразумевать изменение процесса разработки, например, из-за необходимости сбора новых данных;

• - специальное оборудование: возможно, потребуется найти, оценить, приобрести системные, аппаратные или программные средства;

• - обучение: организации по управлению и контролю качества или всей команде разработчиков может потребоваться адаптация и обучение использованию показателей и процедур сбора данных. Если реализация показателей приводит к изменениям в процессе разработки, об изменениях необходимо сообщать.

Примечание — Некоторые критерии выбраны из стандарта ISO/IEC/IEEE 15939, некоторые из которых изменены.

• А .2 Проблемы, влияющие на надежность измерений и достоверность ПК
  
  А .2.1 Проблемы, влияющие на надежность измерений

  Следующие проблемы могут повлиять на надежность измерений при применении ЭПК:

• а) процедуры и инструменты, используемые для сбора данных:

• - автоматически с помощью инструментов или средств/сбор вручную/анкетирование или интервью;

• Ь) качество данных:

• - перспектива или предвзятость данных (например, самоотчеты разработчиков, отчеты рецензентов, отчеты оценщиков);

• - навыки и способности лиц, осуществляющих сбор данных (например, надлежащая выборка, отбор соответствующих данных).

А.2.2 Проблемы, влияющие на действительность ПК

ЭПК и связанная с ними функция измерения, используемая для создания ПК, могут повлиять на достоверность ПК:

• - надежность измерений ЭПК, используемых для построения ПК;

• - ЭПК, имеющие сильную корреляцию с показателями других характеристик качества, могут запутать интерпретацию соответствующего/желаемого ПК.

Приложение В (справочное)

Оценка надежности измерений и обоснованности ЭПК

В.1 Оценка достоверности ЭПК
В.1.1 Общие положения

Методы определения обоснованности показателей обычно включают в себя как логические аргументы, так и статистические данные. Валидность лица — это один из видов валидности. Действительность лица основана на логическом аргументе или утверждении о том, что показатель является действительным. Количество отказов в единицу времени для представления надежности программного обеспечения имеет практическую значимость, поскольку оно логически связано с предполагаемой базовой концепцией. Во многих случаях, простого документирования обоснованности того или иного показателя может быть достаточно, чтобы гарантировать, что этот показатель даст значимые результаты.

Статистические доказательства достоверности могут принимать несколько форм. Однако все они, как правило, разделяют идею о том, что существует систематическое отклонение показателя от известного стандарта, будь то другой показатель или гипотетический эталонный набор значений. Ниже описано несколько примеров систематических изменений.

Достоверность лица упоминается в дидактических целях. Из-за его ограниченной технической надежности следует проявлять осторожность, когда она используется в реальных профессиональных сценариях.

Примечание — Достоверность — это степень, в которой показатель измеряет то, для измерения чего он предназначен.

• В.1.2 Действительность содержания

Достоверность содержания описывает степень, в которой ЭПК, включенные в функцию измерения для создания показателя качества, охватывают область контента, на которую ссылается определение ПК.

• В.1.3 Правильность конструкции

Правильность конструкции описывает степень, в которой функция измерения и связанные с ней элементы показателя обосновано соответствуют определению ПК.

• В.1.4 Корреляция

Квадрат коэффициента корреляции показывает процент вариации значений характеристик качества (результатов основных измерений в процессе эксплуатации), объясняемый вариацией значений показателя качества.

Примечание — Результаты измерения характеристики качества можно предсказать, не измеряя их напрямую, а используя коррелированные показатели.

• В.1.5 Порядок сохранения взаимосвязи с течением времени

Если показатель М напрямую связан со значением характеристики качества Q для данной продукции изменение значения Q(T1) на Q(T2) будет сопровождаться изменением значения измерения от М(Т1) до М(Т2) в том же направлении (например, если Q увеличивается, М увеличивается).

Примечание — Изменение характеристик качества в течение периода можно обнаружить без непосредственного измерения, используя те показатели, которые можно отслеживать.

• В.1.6 Взаимосвязь между продукцией с сохранением порядка

Если значения характеристик качества (результаты основных измерений в процессе эксплуатации) Q1, Q2,...,Qn, соответствующие продукции 1,2.....п, имеют соотношение Q1 > Q2 > ...> Qn, соответствующие значения

показателей будут иметь соотношение М1 > М2 > ...> Мп. Это важная форма статистического подтверждения надежности.

Примечание — Можно заметить исключительные и подверженные ошибкам компоненты программного обеспечения, используя те измерения, которые являются последовательными.

• В.1.7 Прогнозная достоверность

Если показатель используется в момент времени Т1 для прогнозирования значения характеристики качества Q (результаты измерения базовых показателей в процессе эксплуатации) в момент времени Т2, ошибка прогно-14

зирования, которая равна {[прогнозируемое Q(T2) — фактическое О(Т2)]/фактическое Q(T2)}, будет находиться в пределах допустимого диапазона ошибок прогнозирования.

Примечание — Может предсказать изменение характеристик качества в будущем, используя те измерения, которые находятся в пределах допустимого диапазона ошибок прогнозирования.

• В.1.8 Дискриминация

Показатель должен позволять различать высокое и низкое качество для характеристик и подхарактеристик программного обеспечения.

Примечание — Может классифицировать программные компоненты и оценивать значения характеристик качества, используя те показатели, которые позволяют различать высокое и низкое качество.

• В.2 Оценка надежности измерений

Надежность измерений наиболее важна в отношении базовых показателей. Методы определения надежности измерения обычно включают проведение повторных измерений в таких же или аналогичных условиях и оценку различий в этих измерениях. При соответствующих условиях применяются инструменты для сбора данных, такие как автоматизация, обследование, подсчет или оценка человека, а также условий, в которых применяются инструменты. В серии SQuaRE надежность измерений, в первую очередь, зависит от выбора ЭПК, определенных в ИСО/МЭК 25021. Как отмечено в ISO/IEC/IEEE 15939:2017, приложение D, к надежности метода измерения следует подходить с двух точек зрения:

• - повторяемость: степень, в которой повторное использование базового показателя при использовании одного и того же метода измерения в одних и тех же условиях (например, инструменты, лица, выполняющие измерение) дает результаты, которые могут быть приняты как идентичные;

• - воспроизводимость: степень, в которой повторное использование показателя с использованием одного и того же метода измерения в разных условиях (например, инструменты, лица, выполняющие измерение) дает результаты, которые могут быть приняты как идентичные.

Повторяемость характеризует степень отклонения, присущую одному методу измерения. Воспроизводимость характеризует степень отклонения показателей из-за отличия инструментов, степени подготовки и личные особенности. Для определения надежности измерений существуют различные статистические подходы. Для измерений, использующих порядковую или номинальную шкалу, можно использовать статистику Каппа. Для измерений, использующих интервальную или абсолютную шкалу, можно использовать альфа-коэффициент Коэна или другие показатели, основанные на корреляции. Более подробную информацию о надежности измерений можно найти в разделе «Оценка измерительной системы».

Примечание — Надежность — это степень, в которой многократное и последовательное измерение приводит к одному и тому же результату.

Приложение С (справочное)

Элементы для документирования ПК

В таблице С.1 представлены элементы для документирования ЭПК. В графе «Статья» указывается рекомендуемое определение показателя качества системы и программной продукции. Графа «Содержание» описывает, что следует включить в это поле, а также соответствующие ссылки на стандарты серии SQuaRE. Графа «Обязательность» показывает, является ли элемент обязательным или необязательным.

Таблица С.1 — Элементы для документирования ПК

Продолжение таблицы С. 1

Продолжение таблицы С. 1

Окончание таблицы С. 1

Приложение D (справочное)

Нормализованная функция измерения для показателей качества

Диапазон значений ПК и тенденции их изменения могут варьироваться слишком широко, чтобы их можно было отобразить кратко. Такая проблема может быть решена с помощью примеров функции измерения, приведенных ниже. Значения элементов показателя могут быть преобразованы в значения ПК в диапазоне от 0 до 1 с помощью функций измерения для получения количественных и сопоставимых значений для оценки характеристик и подхарактеристик.

Формулы измерительной функции приведены ниже:

• а) пользователь предоставляет максимальное требование, реальный результат всегда является подмножеством требований пользователя. Например, показатель исправления ошибок в завершенности описывает долю обнаруженных ошибок, связанных с надежностью, которые были исправлены. В этом случае формула (см. рисунок D.1) подходит для описания функции измерения, х — количество ошибок, связанных с надежностью, исправленных на этапе проектирования/кодирования/тестирования, a R— количество ошибок, связанных с надежностью, обнаруженных на этапе проектирования/кодирования/тестирования. Ошибки, связанные с надежностью, исправленные на этапах кодирования/тестирования, всегда относятся к обнаруженным неисправностям, связанным с надежностью. В этом случае R — это максимальное требование. Значение х никогда не превышает значения R. В этом сценарии для измерения будет использоваться следующая функция измерения.

  (D.1)

  
  

M = f(x]= —, ^v ’ R

где M — это значение ПК;

х — это результирующее значение ЭПК;

R — ожидаемое значение ЭПК.

• Ь) Пользователь предоставляет верхнюю границу требования, при отсутствующей нижней границе требования. Например, показатель средней пропускной способности означает среднее количество выполненных заданий за единицу времени. Популярное выражение этого требования похоже на: «пропускная способность должна составлять более 100 транзакций в секунду». Чем выше пропускная способность, тем лучше результат, рассчитанный функцией измерения. Формула (D.2) подходит для описания функции измерения в этом сценарии. На рисунке D.1 показана кривая функции измерения, когда R равно 100.

  M = f(x) =

  
  

E-^(0<x<R)

1-(1-Е)—(x>R) X

где М — это значение ПК;

• х — это результирующее значение ЭПК;

R — ожидаемое значение ЭПК;

Е — значение индекса измерения, соответствующего R, определяемое пользователем (например, Е = 0,6).

• с) Пользователь указывает нижнюю границу требования, но не указывает верхнюю границу требования. Например, Среднее время отклика — показатель эффективности работы. Популярное выражение этого требования похоже на «среднее время отклика должно составлять менее 100 миллисекунд». Чем меньше время отклика, тем лучше результат, рассчитанный с помощью функции измерения. Формула (D.3) подходит для этого сценария. На рисунке D.2 показана кривая функции измерения, когда R равно 100.

  M = f(x) = <

  
  

  ГЛ

  E-(x>R)

  
  

  (D.3)

  
  

где М — это значение ПК;

х — это результирующее значение ЭПК;

R — ожидаемое значение ЭПК;

Е— значение индекса измерения, соответствующего R, определяемое пользователем (например, Е = 0,6).

М — значение ПК; х — значение ЭПК

Рисунок D.1 — Кривая зависимости формулы (D.2)

М — значение ПК; х — значение ЭПК

Рисунок D.2 — Кривая зависимости формулы (D.3)

В разных показателях х может иметь разные значения. Например, при измерении функционального охвата (FCp-1-G) х обозначает количество заданных функций, которое было реализовано, и оно равно значению количества указанных функций минус количество отсутствующих функций. Временной показатель доступности х представляет время простоя на одну поломку, а не время простоя.

Приложение Е (справочное)

Информационная модель измерений в ISO/IEC/IEEE 15939

Информационная модель измерения — это структура, которая связывает требуемую информацию и соответствующие объекты и атрибуты, представляющие интерес. Для обеспечения качества, обсуждаемого в этом документе, объекты включают системы, программную продукцию и данные. Информационная модель измерения описывает, как соответствующие атрибуты определяются количественно и преобразуются в показатели, которые обеспечивают основу для принятия решений, как показано на рисунке Е.1. Подробную информацию об информационной модели измерения можно найти в ISO/IEC/IEEE 15939.

Рисунок Е.1 — Ключевая взаимосвязь в информационной модели измерений в ISO/IEC/IEEE 15939

Выбор или определение соответствующих показателей для удовлетворения информационной потребности начинается с концепции: представления о том, какие измеримые атрибуты связаны с информационной потребностью и как они связаны. При планировании измерений определяется конструкции измерений, которая связывают эти атрибуты с заданной потребностью в информации. Эта информационная модель измерений определяет основные термины и понятия. Это помогает четко указать при планировании, что конкретно необходимо выполнить, измерить и оценить.

На рисунке Е.1 показаны взаимосвязи между ключевыми компонентами информационной модели измерений. Модель определяет три типа показателей: базовые показатели, производные показатели и индикаторы. Информативность этих показателей возрастает по мере приближения их в модели к информационной потребности. Основываясь на понимании ожидаемой взаимосвязи между составляющими показателями или их поведением в течении времени, следует разработать конкретный алгоритм расчета для объединения одного или нескольких базовых или производных показателей с соответствующими критериями принятия решения. Производный показатель определяется как функция двух или более значений базовых показателей. Базовый показатель функционально независим от других показателей. Он собирает информацию об одном атрибуте с помощью метода измерения. Метод измерения — это логическая последовательность операций, описанная в общем виде, используемая для количественной оценки атрибута по отношению к заданному масштабу. Атрибут — это свойство или характеристика объекта, который можно количественно или качественно отличить человеку или с помощью автоматизированных средств. Субъект может иметь множество атрибутов, только некоторые из которых могут представлять интерес для измерения. Подхарактеристики качества и их ЭПК могут быть проанализированы и интерпретированы для оценки общего качества или дополнительных вопросов, связанных с качеством, например, общего качества организации или его влияния на бизнес, в качестве информационных потребностей, которые варьируются в контексте использования показателей. В таблице Е.1 представлена взаимосвязь ЭМ-ИК серии SQuaRE и модели измерительной информации в стандарте ISO/IEC/IEEE 15939.

Таблица Е.1 —Взаимосвязь ЭМ-ИК SQuaRE и информационной модели измерений в ISO/IEC/IEEE 15939

Окончание таблицы Е. 1

Приложение ДА (справочное)

Сведения о соответствии ссылочных международных стандартов национальным стандартам

Таблица ДА.1

Библиография

• [1] ISO 9000, Quality management systems — Fundamentals and vocabulary

• [2] ISO/IEC/IEEE 12207, Systems and software engineering — Software life cycle processes

• [3] ISO/IEC 14143-6, Information technology — Software measurement — Functional size measurement — Part 6:

Guide for use of ISO/IEC 14143 series and related International Standard

• [4] ISO/IEC 19761, Software engineering — COSMIC: a functional size measurement method

• [5] ISO/IEC 20926, Software and systems engineering — Software measurement— IFPUG functional size measurement

method 2009

• [6] ISO/IEC 20968, Software engineering — Mk II Function Point Analysis — Counting Practices Manual

• [7] ISO/IEC 24570, Software engineering — NESMAfunctional size measurement method — Definitions and counting

guidelines for the application of function point analysis

• [8] ISO/IEC 25010, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models

• [9] ISO/IEC/TS 25011, Information technology — Systems and software Quality Requirements and Evaluation (SQuaRE) — Service quality models

• [10] ISO/IEC 25012, Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Data quality model

• [11] ISO/IEC 25021:2012, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Quality measure elements

• [12] ISO/IEC 25022:2016, Systems and software engineering — Systems and software quality requirements and evaluation (SQuaRE) — Measurement of quality in use

• [13] ISO/IEC 25023:2016, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Measurement of system and software product quality

• [14] ISO/IEC 25024:2015, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Measurement of data quality

• [15] ISO/IEC 25030, Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Quality requirements

• [16] ISO/IEC 25040:2011, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Evaluation process

• [17] ISO/IEC 29881, Information technology — Systems and software engineering — FiSMA 1.1 functional size measurement method

• [18] IEEE Std 1061-1998 (R2009), IEEE Standard fora Software Quality Metrics Methodology, pp. 11-12, 18-19

• [19] Schneidewind Norman F. Methodology for Validating Software Metrics, IEEE Transactions on Software Engineering, vol. 18, no. 5, pp. 410-422, May 1992.

УДК 006.34:004.056:006.354

Ключевые слова: оценка качества систем и программной продукции, измерение качества, выбор показателей качества

Редактор Л. В. Каретникова Технический редактор В.Н. Прусакова Корректор И.А. Королева Компьютерная верстка А.Н. Золотаревой

Сдано в набор 15.09.2023. Подписано в печать 22.09.2023. Формат 60*84Уз. Гарнитура Ариал.

Усл. печ. л. 3,72. Уч.-изд. л. 2,98.

Подготовлено на основе электронной версии, предоставленной разработчиком стандарта

Создано в единичном исполнении в ФГБУ «Институт стандартизации» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.