ГОСТ Р 58606-2019 Системная и программная инженерия. Процесс измерения

ГОСТ Р 58606-2019/ISO/IEC/IEEE 15939:2017

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Системная и программная инженерия

ПРОЦЕСС ИЗМЕРЕНИЯ

Systems and software engineering. Measurement process

ОКС 35.080

Дата введения 2021-01-01

Предисловие

1 ПОДГОТОВЛЕН Акционерным обществом "Всероссийский научно-исследовательский институт сертификации" (АО "ВНИИС") и Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 022 "Информационные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2019 г. N 1028-ст.

4 Настоящий стандарт идентичен международному стандарту ISO/IEC/IEEE 15939:2017* "Системная и программная инженерия. Процесс измерения" (ISO/IEC/IEEE 15939:2017 "Systems and software engineering - Measurement process", IDT).

________________
* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .

ISO/IEC/IEEE 15939 разработан подкомитетом ПК 7 "Системная и программная инженерия" Совместного технического комитета СТК 1 "Информационные технологии" Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК) в сотрудничестве с Комитетом по стандартизации программных продуктов и систем Информационного общества IEEE в рамках соглашения о сотрудничестве в области развития партнерских стандартов между ИСО и IEEE.

5 ВВЕДЕН ВПЕРВЫЕ

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию подобных патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Измерение поддерживает управление и улучшение процессов и продукции. Измерение является основным инструментом для управления действиями в жизненном цикле систем и программных средств, для оценки выполнимости планов проекта и мониторинга выполнения действий в соответствии с планами. Оценка системы и программных средств является одной из главных дисциплин в оценке качества продукции и возможностей организационных процессов. При заключении двусторонних соглашений необходимо учитывать основания для спецификации, управления и критериев приемки.

Постоянное совершенствование требует изменений внутри организации. Оценка изменений требует измерения. Измерение само по себе не инициирует изменения. Измерение должно приводить к действию, а не использоваться исключительно для накопления данных. Измерение должно иметь четко определенную цель.

Настоящий стандарт определяет процесс измерения, применимый к дисциплинам системной и программной инженерии и управлению. Процесс описан с помощью модели, определяющей действия процесса измерения. Эти действия требуется адекватно задать - какая информация требуется для измерений, как проводятся измерения и анализ результатов, как определить, что результаты анализов являются достоверными. Процесс измерения является гибким, приспосабливаемым и адаптируемым к потребностям различных пользователей.

Несмотря на то, что процесс измерения, определенный в настоящем стандарте, написан для области применения, связанной с системами и программными средствами, он может быть использован в других областях.

Целью настоящего стандарта является описание действий и задач, направленных на выявление, определение, выбор, применение и улучшение измерений в рамках какого-либо проекта или организационной структуры, проводящей измерения. В настоящем стандарте также определены термины по измерениям, обычно используемые для области применения, связанной с системами и программными средствами.

Настоящий стандарт не предоставляет перечня показателей, а также не предоставляет рекомендуемого набора показателей для применения в проектах. В стандарте определен процесс, который поддерживает определение набора показателей, обращенных к специальным информационным потребностям.

Настоящий стандарт предназначен для использования поставщиками и приобретающей стороной. К поставщикам относятся: сотрудники в компаниях, осуществляющие управление, функции технического контроля и управления качеством при разработке систем и программных средств, сопровождения, интеграции; организации, осуществляющие поддержку продукции. К приобретающей стороне относятся: сотрудники в компаниях, осуществляющие управление, функции технического контроля и управления качеством при закупках; организации-пользователи.

Нижеследующие примеры демонстрируют, как настоящий стандарт может быть использован:

- поставщиком при реализации процесса измерения для рассмотрения проектных или организационных информационных требований;

- покупателем (или агентом третьей стороны) для оценки соответствия процесса измерения поставщика настоящему стандарту;

- приобретающей стороной (или агентом третьей стороны) для реализации процесса измерения для рассмотрения проектных или организационных информационных требований по управлению, связанных с приобретением;

- в контракте между приобретающей стороной и поставщиком, когда метод определения информации по измерениям процесса и продукции подлежит замене.

1 Область применения

Настоящий стандарт устанавливает общий процесс и основы измерения систем и программных средств. Он определяет процесс и соответствующую терминологию с точки зрения инженерии. Процесс может быть применен в приложении к проектам и продуктам везде по жизненному циклу. Процесс измерения может быть применен в целях планирования, управления, оценки и принятия решения на всех стадиях жизненного цикла систем и программных средств.

Настоящий стандарт обеспечивает действия, которые поддерживают определение, контроль и улучшения процесса измерения, используемого в пределах организации или проекта.

Настоящий стандарт не рекомендует и не предписывает организационную модель для проведения измерений. Пользователь настоящего стандарта самостоятельно решает, например, необходима ли в организации какая-то отдельная функция измерения и нужно ли эту функцию измерения встраивать в отдельные проекты или во все проекты, базирующиеся на текущей организационной структуре, культуре и сложившихся ограничениях.

Настоящий стандарт не предписывает специального набора показателей, методов, моделей или методик. Пользователи настоящего стандарта несут ответственность за выбор ряда показателей для проекта и использование этих показателей применительно к процессам, продуктам и другим сущностям жизненного цикла. Стороны также ответственны за выбор и применение соответствующих методов, моделей, инструментальных средств и методик.

Настоящий стандарт не предписывает конкретного названия, формата, явного содержания или записывающих носителей информационных объектов для их производства. Настоящий стандарт не подразумевает, что документы готовятся или оформляются определенным способом. Эти решения остаются за пользователем стандарта. ISO/IEC/IEEE 15289 описывает содержание для информационных объектов процесса жизненного цикла (для документации).

Процесс измерения предполагается встраивать должным образом в организационную систему качества. В настоящем стандарте подробно рассматриваются не все аспекты внутренних аудитов и отчетности о несоблюдении требований, поскольку предполагается, что они относятся к области системы качества. Настоящий стандарт не противоречит уже действующим организационным политикам, стандартам или процедурам. В случае возникновения противоречий их следует разрешать, а любые переопределяющие условия следует указывать в письменной форме как исключение по применению настоящего стандарта.

2 Нормативные ссылки

В настоящем стандарте нормативные ссылки отсутствуют.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями.

ISO, IEC и IEEE поддерживают терминологические базы данных для использования их в стандартизации по следующим адресам:

- IEC Electropedia: доступ http://www.electropedia.org/;

- ISO, онлайн сервис: доступ http://www.iso.org/obp;

- Онлайн словарь стандартов IEEE: доступ http://ieeexplore.ieee.org/xpls/dictionary.jsp.

Примечание - Определения других терминов можно найти в ISO/IEC/IEEE 24765, доступно на www.computer.org/sevocab.

3.1

3.2 атрибут (attribute): Свойство или характеристика сущности, которая может быть количественно или качественно различима человеком или автоматизированным средством.

3.3 основной показатель (base measure): Показатель, определенный в терминах атрибута и метода для его количественного определения.

Примечания

1 Основной показатель функционально не зависит от других показателей.

2 Базируется на определении "основной величины" в международном словаре терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.4 данные (data): Подборка значений, присвоенных основным показателям, производным показателям или индикаторам.

3.5 поставщик данных (data provider): Физическое лицо или организация, которая является источником данных.

3.6 хранилище данных (data store): Организованная и постоянная база данных и информации, позволяющая осуществлять поиск.

3.7 критерии принятия решения (decision criteria): Пороговые значения, цели, правила или образцы, используемые для определения необходимости действий или дальнейшего изучения, или для описания уровня доверия в данном результате.

3.8 производный показатель (derived measure): Показатель, определяемый как функция двух или более значений основных показателей.

Примечание - Адаптирован из определения "производная величина" в международном словаре терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.9 сущность (entity): Объект, который характеризуется измерением его атрибутов.

Примечание - Сущностью может быть процесс, продукт, проект или ресурс.

3.10 индикатор (indicator): Показатель, обеспечивающий оценку или оценивание заданных атрибутов, полученных из модели относительно определенных информационных потребностей.

3.11 значение индикатора (indicator value): Числовой или категорированный результат, присвоенный индикатору.

3.12 информационная потребность (information need): Понимаемая необходимость для управления задачами, целями, рисками и проблемами.

3.13 информационный продукт (information product): Один или более индикаторов и их соответствующих интерпретаций, направленных на какую-то информационную потребность.

Пример - Сравнение измеренной частоты появления дефектов (недостатков) с запланированной частотой появления возможных дефектов (недостатков), а также оценка наличия или отсутствия дефектов (недостатков). Существенное отличие при измерениях служит индикатором проблемы.

3.14 измеряемое понятие (measurable concept): Абстрактное соотношение между атрибутами сущности и информационными потребностями.

3.15 показатель (measure): Переменная, которой присваивается какое-то значение как конкретный результат измерения.

Примечание - Форма множественного числа "показатели" используется для ссылки на основные показатели, производные показатели и индикаторы.

3.16

3.17 измерение (measurement): Набор операций, предназначенных для определения значения показателя.

Примечание - Адаптирован из международного словаря терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.18 аналитик, специалист по измерениям (measurement analyst): Физическое или юридическое лицо, которое ответственно за планирование, выполнение, оценку и совершенствование измерений.

3.19 опытная база измерений (measurement experience base): Хранилище, которое содержит оценки информационных продуктов и процесса измерений, а также некоторые уроки, извлеченные из процесса измерений.

3.20 функция измерения (measurement function): Алгоритм или вычислительная выкладка, выполняемые для комбинации двух или более основных показателей.

3.21 метод измерения (measurement method): Логическая последовательность операций, описанная в общих чертах и используемая в количественной оценке атрибута относительно заданной шкалы.

Примечания

1 Тип метода измерения зависит от природы операций, используемых для количественной оценки атрибута.

Различают 2 типа:

- субъективный: количественная оценка на основе человеческого суждения;

- объективный: количественная оценка на основе численных правил.

2 Базируется на определении "метода измерений" в международном словаре терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.22

3.23 процесс измерения (measurement process): Процесс для установления, планирования, выполнения и оценки измерения в рамках всего проекта или организационной структуры измерения.

3.24 владелец процесса измерения (measurement process owner): Индивидуум или организация, ответственные за процесс измерения.

3.25 организатор измерения (measurement sponsor): Индивидуум или организация, которые санкционируют и поддерживают установление процесса измерения.

3.26 пользователь измерения (measurement user): Индивидуум или организация, которые используют информационные продукты измерения.

3.27 модель (model): Алгоритм или вычислительная выкладка, комбинирующие один или более основных или производных показателей с соответствующими критериями принятия решения.

3.28 обследование (observation): Вариант применения процедуры измерения для получения значения основного показателя.

3.29 оператор (operator): Сущность, осуществляющая функционирование системы.

3.30 организационная единица (organizational unit): Часть организации, которая является субъектом измерения.

3.31

3.32 продукт (product): Результат процесса.

Примечание - Базируется на определении "Результат" в ИСО 9001.

3.33

3.34 шкала (scale): Упорядоченный набор непрерывных или дискретных значений, или набор категорий, которым сопоставляется атрибут.

Примечания

1 Тип шкалы зависит от природы отношений между значениями на шкале. Обычно выделяют четыре типа шкалы:

- номинальная: значения измерения категорированные;

- порядковая: значения измерения упорядочены;

- интервальная: значения измерения находятся на равных расстояниях, соответствующих равным количественным значениям атрибута;

- относительная: значения измерения находятся на равных расстояниях, соответствующих равным количественным значениям атрибута, где показатель ноль не соответствует ни одному из атрибутов.

Это лишь некоторые примеры типов шкалы. Робертс [17] выделяет больше типов шкалы. Приложение A содержит некоторые примеры типов шкалы.

2 Базируется на определении термина "шкала (измерительного инструмента)" в международном словаре терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.35

3.36

3.37

3.38

3.39

3.40

3.41 значение, эффект (value): Числовой или категорированный результат, присвоенный основному показателю, производному показателю или индикатору.

4 Соответствия требованиям

4.1 Возможное использование

Требования содержатся в разделе 6. Существует два декларируемых способа соответствия условиям настоящего стандарта - это полное соответствие и приспособленное соответствие.

Существует два критерия полного соответствия. Выполнение любого из критериев достаточно для подтверждения соответствия, если этот критерий официально заявлен. Требование "полного соответствия задачам" декларирует, что все требования к действиям и задачам заявленного множества процессов выполняются. Альтернативное требование "полного соответствия результатам" декларирует, что все необходимые результаты заявленного множества процессов достигаются.

Организация ответственна за поддержание надлежащих доказательств соответствия нормативным требованиям в целях демонстрации соответствия.

Примечание - У процесса есть множество целей (описываемых "выходными результатами") и множество действий и задач, описывающих способ достижения целей. Пользователи, реализующие действия и задачи заявленного множества процессов, могут декларировать полное соответствие задачам. Однако у некоторых пользователей могут быть инновационные варианты процесса, позволяющие достигать целей (результатов) заявленного множества процессов, не реализуя всех действий и задач. Эти пользователи могут декларировать полное соответствие результатам. Два соответствия - и задачам, и результатам - не обязательно эквивалентны для специфических работ, действий и задач. Они могут потребовать в некоторых случаях более высокий уровень возможностей системы, нежели только достижение результатов.

4.2 Приспосабливание настоящего стандарта

В настоящем стандарте содержится множество действий и задач, которые составляют процесс измерения, удовлетворяющий определенные потребности организаций и проектов. Организация, приспосабливающая настоящий стандарт, может удалять неподходящее содержание, а также может добавлять новые действия и задачи.

4.3 Полное соответствие результатам

Полное соответствие результатам достигается путем демонстрации того, что все результаты были достигнуты. В этой ситуации условия для действий и задач - это более руководящие указания, нежели требования, независимо от формы глагола, которая используется в условиях.

4.4 Полное соответствие задачам

Полное соответствие задачам достигается путем демонстрации того, что все требования к действиям и задачам были выполнены. В этой ситуации условия для результатов - это более руководящие указания, нежели требования, независимо от формы глагола, которая используется в условии.

4.5 Приспособленное соответствие

Если настоящий стандарт приспособлен согласно 4.2, в отношении него заявляется о соответствии в результате приспосабливания. Приспособленное соответствие достигается демонстрацией того, что приспособленные результаты были достигнуты, а приспособленные действия и задачи были выполнены.

5 Применение настоящего стандарта

В данном разделе представлен процесс измерения. Цель состоит в информировании пользователей таким образом, чтобы они могли применять процесс измерения в соответствующем контексте.

Настоящий стандарт определяет необходимые действия и задачи для осуществления процесса измерения. Действие представляет собой множество связанных задач, способствующих достижению цели и получению выходных результатов процесса измерения (см. 6.1 и 6.2). В задаче должен быть строго прописан сегмент работы. Каждое действие состоит из одной или нескольких задач. Стандарт не предназначен для определения хода выполнения задач при осуществлении действия.

Характеристики действий процесса измерения, определенные в стандарте, являются такими же, как и в ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207. Это означает, что другие аспекты, такие как входные и выходные критерии каждого действия, не определяются настоящим стандартом.

Примечания

1 Процесс измерения поддерживает требование к измерениям, приведенным в подразделе 8.2 ИСО 9001.

2 Стандарт обеспечивает разработку процесса измерения на основе ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207. С помощью дополнительных действий и задач достигается получение дополнительных возможностей. К соответствующим действиям и задачам добавляется один дополнительный результат (обязательство утверждено и поддерживается). Этот результат рассмотрен в ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207 на организационном уровне.

На рисунке 1 показано, что процесс измерения состоит из четырех действий. Действия выполняются в определенном порядке в итеративном цикле, обеспечивая непрерывную обратную связь и улучшение процесса измерения. Модель процесса измерения на рисунке 1 представляет собой адаптированный цикл "Планируй - Делай - Проверяй - Действуй", который обычно используется для повышения качества. В пределах действий выполнение задач также является итеративным.

Рисунок 1 - Модель процесса измерения

"Технические процессы и процессы управления" организационной единицы или проекта не входят в область применения настоящего стандарта, хотя они являются важными внешними воздействиями для действий измерений, которые включены в настоящий стандарт.

К основному процессу измерения относятся два действия: подготовка и выполнение процесса измерения. Действия включены в процесс измерения в ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207 и касаются пользователя измерения. Другие два действия, связанные с установлением и поддержанием обязательств по проведению измерений и оценкой измерений, являются обеспечивающими и предоставляют обратную связь. Последние два действия касаются владельца процесса измерения. Их включают во множество процессов жизненного цикла как действия в процессе планирования проекта и в процессе гарантии качества. На организационном уровне процедура осуществляется процессом управления моделью жизненного цикла, который оценивает и улучшает процессы организации.

На рисунке 1 показано, как основной процесс измерения управляется с помощью информационных потребностей организации. Для каждой информационной потребности основной процесс измерения производит информационный продукт, который отвечает информационным потребностям. Информационный продукт передается организации как основание для принятия решения. Связь между показателями и информационной потребностью описана в информационной модели измерения в приложении A. В этом приложении также приведены некоторые примеры.

Выполнение нормативных действий и задач, описанных в настоящем стандарте, по крайней мере, соответствует требованиям уровня 1 возможностей в ИСО/МЭК 33020. Перечисленные в настоящем стандарте руководящие указания обеспечивают основы для реализации процесса измерения в направлении более высокого уровня возможностей.

Описанный в настоящем стандарте процесс определяет действия по оценке в соответствии с рисунком 1. Необходимо обратить внимание, что оценка и обратная связь являются существенными компонентами процесса измерения и должны привести к улучшениям показателей и самого процесса измерения. Оценка может быть произведена как простым, так и специальным способом, когда возможности на низком уровне, или же способ может быть количественным со сложными статистическими методами для оценки качества процесса измерения и продукции, когда возможности высокие. Показатели следует оценивать с позиции добавленного эффекта, который они дают организации, и в первую очередь действенного эффекта, когда может быть определена выгода.

"Опытная база измерений" включена в общий цикл. Она предназначена для охвата информационных продуктов в прошедших итерациях цикла, предыдущих оценок информационных продуктов и оценок предыдущих итераций процесса измерения. В данный раздел следует включать потенциально полезные для организационной единицы информационные продукты. "Опытная база измерений" не подвергается никакой оценке о ее природе или технологии, важно лишь непрерывное хранение. Артефакты (например, информационные продукты, исторические данные, а также некоторые уроки, извлеченные из процесса измерений) хранятся в "Опытной базе измерений" и предназначены для использования в будущем при последующем проведении процесса измерения.

Так как модель процесса циклична, последующие итерации могут обновлять продукты и методы измерения. В настоящем стандарте отсутствует информация о необходимости изменений и доработок продуктов и методов измерения при каждой последующей итерации процесса. В тексте фигурирует соглашение, что одна из реализаций процесса измерения принимается как первичная (т.е. с первой итерации). Во время последующих итераций текст следует интерпретировать как обновленный или измененный в соответствии с существующей практикой.

В настоящем стандарте перечислены следующие обычные функциональные понятия: заинтересованная сторона, организатор измерения, пользователь измерения, аналитик по измерениям, поставщик данных и владелец процесса измерения. Они описаны в разделе 4.

Во время осуществления процесса измерения производится много рабочих продуктов. Они описаны в приложении B и соответствуют задачам, при решении которых они производятся.

Стандарт включает множество действий и задач. Задачи иногда классифицируются как задачи низшего уровня. Они описаны в том порядке, в котором, как правило, и выполняются. Однако при переходе от одного действия или задачи к предыдущей или последующей могут возникать итерации. Тот порядок, в котором они описаны, не всегда соответствует порядку их реализации на практике. Для реализации каждой задачи определено одно или несколько нормативных требований. С целью облегчения понимания нормативных требований и реализации их на практике существуют специальные справочные руководящие указания. Руководящие указания в тексте выделены курсивом.

В приложениях к задачам идут справочные данные, однако, они не являются исчерпывающими, а представлены только в качестве примеров.

При проведении процесса измерения в соответствии с настоящим стандартом организационная единица должна выполнить нижеследующие действия. Из технических процессов и процессов управления процесс измерения определяет "Требования для измерения".

6 Процесс измерения

6.1 Цель

6.2 Результаты

6.3 Действия и задачи

В рамках проекта должны быть реализованы следующие действия и задачи в соответствии с политикой и процедурами организации относительно процесса измерения.

Примечания

1 Настоящий стандарт способствует разработке процесса измерения согласно ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207. Он предоставляет подробное описание комплекса действий и задач, которые приведены в ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207. В остальной части настоящего стандарта содержатся ссылки на ISO/IEC/IEEE 15288, так как нумерация пункта остается одинаковой в обоих стандартах.

2 Раздел 9 ИСО 9001 определяет требования системы менеджмента качества для измерения и мониторинга процессов и продуктов.

6.3.1 Устанавливайте и поддерживайте обязательства по измерениям

В ISO/IEC/IEEE 15288 установлены обязательства по измерениям, они поддерживаются как часть процессов планирования, оценки и контроля проекта.

6.3.1.1 Утверждайте требования для измерения

6.3.1.1.1 Определяйте область применения измерений

Область применения измерения определяет организационную единицу для применения настоящего стандарта. Объект может выступать как отдельный проект, функциональная область, так и как целая организация или несколько организаций. Сюда входят также процессы проекта или поддерживающие процессы или и то, и другое.

Область применения организационной единицы может быть определена с помощью просмотра или изучения документации, например, организационных схем.

Кроме того, необходимо определить все заинтересованные стороны. Заинтересованной стороной могут выступать руководители проектов, руководитель информационной системы или начальник управления качеством. По отношению к организационной единице эти заинтересованные стороны могут быть как внутренними, так и внешними.

Заинтересованные стороны определяют цель и информационные потребности в измерениях.

6.3.1.1.2 Устанавливайте обязанности руководства

Область обязанностей устанавливается при определении "Требований для измерений" (см. рисунок 1).

Сюда входят обязанности по ресурсам для процесса измерения и их поддержка. Например, с помощью политики измерений организационная единица принимает на себя обязательства, распределяет ответственность, должностные обязанности, проводит обучение, распределяет бюджет и иные ресурсы. Обязательства часто фиксируются в контракте с приобретающей стороной, требующей измерений.

6.3.1.1.3 Доводите обязательства до организационной единицы

Это может быть осуществлено посредством объявлений или рассылкой писем в адрес организационной единицы.

6.3.1.2 Назначайте ресурсы

6.3.1.2.1 Определяйте ответственность за измерения

Организатор измерения возлагает ответственность за измерения на специально обученных квалифицированных специалистов. В понятие квалификации входит знание принципов измерения, сбора и анализа данных и отчетности по информационным продуктам. Как минимум, ответственность обычно возлагается на следующих лиц:

- пользователь измерения;

- аналитик по измерениям.

Количество функциональных обязанностей, перечисляемых ниже, не подразумевает конкретного количества привлекаемых специалистов. Их количество зависит от размера и структуры организационной единицы. В небольшом проекте эти функции может выполнять одно лицо.

6.3.1.2.2 Обеспечивайте ресурсы для планирования, выполнения и оценки измерений

За обеспечение ресурсами ответственен организатор измерения. Под обеспечением ресурсами подразумевается их выделение и укомплектование персоналом. Распределение ресурсов обновляется по мере необходимости.

Во время этого действия используют "Опытную базу измерений" по вопросам информационных продуктов и результатов оценки.

Примеры подробностей подготовки к измерениям, на которые можно опираться в этом действии, описаны в Приложении F.

В стратегию входит описание:

- функций, обязанностей, подотчетности и полномочий;

- действий для поставщиков или субподрядчиков;

- потоков информации между уровнями в цепочке поставок и информации лицам, принимающим решения;

- определение ресурсов;

- интеграции с другими процессами.

В данный раздел входят характеристики, в соответствии с которыми производится выбор показателей и интерпретация информационных продуктов. Организация предоставляет условия для измерения, поэтому важно сделать понятными эти условия, допускаемые предположения и накладываемые ограничения. Характеристики могут быть в терминах организационных процессов, области применения, технологии, организационной структуры и взаимодействий между подразделениями/департаментами. Процессы можно охарактеризовать в виде вербальной (описательной) модели процесса.

Для любой последовательности в выполнении действий и задач важно учитывать организационную характеристику.

6.3.2.3.1 Определяйте информационные потребности

Информационные потребности получают из технических процессов и процессов управления. Информационные потребности могут быть произведены из бизнес-процессов, организационных потребностей, задач регулирования (например, на основании закона или правительственного постановления), продуктов или задач проекта.

Информационные потребности часто отвечают на такие вопросы, как: "Как я получаю представление о вероятности удовлетворения технических целей?", "Откуда я знаю о ходе реализации?", "Как я оцениваю качество продукции во время разработки?" или "Как я оцениваю результативность будущего проекта?"

Полезные руководящие указания по рискам, которые являются источником информационных потребностей в измерениях, могут быть найдены в ISO/IEC/IEEE 16085.

6.3.2.3.2 Располагайте определенные информационные потребности по приоритетам

Расположение по приоритетам осуществляется в основном заинтересованными сторонами, или вместе с ними. Часто сначала удовлетворяется лишь подмножество информационных потребностей. Особенно это относится к измерению, проводимому организацией впервые. Данные измерения лучше внедрять постепенно, начиная с малого.

Пример простого и конкретного подхода к распределению по приоритетам состоит в опросе заинтересованных сторон по ранжированию информационных потребностей. Вычисляются средние показатели для каждой информационной потребности. Потом делается упорядочение по средним показателям. Такое упорядочение показателей демонстрирует расположение информационных потребностей по приоритетам.

6.3.2.3.3 Выбирайте информацию, которая должна быть учтена

Из приоритетных информационных потребностей выбирается подмножество, которое должно учитываться в процессе измерения. Этот выбор может быть обусловлен необходимостью оптимизации, вызванной ограниченностью ресурсов и критичностью/срочностью информационных потребностей.

Для некоторых крупных усилий в инженерии определяется информация, которая необходима позднее, но она используется не полностью до тех пор, пока это не потребуется пользователям измерения.

6.3.2.3.4 Отчитывайтесь и информируйте о выбранных информационных потребностях

Не предусматривается какого-либо конкретного типа отчета. Он может быть как на бумажном, так и на электронном носителе. Обязательное условие для отчета - он должен быть легко восстановим.

Выбранные информационные потребности доводятся до всех заинтересованных сторон. Данное действие обеспечивает понимание необходимости сбора данных и дальнейшего их использования.

6.3.2.4.1 Определяйте возможные варианты показателей для соответствия выбранным информационным потребностям

Между информационными потребностями и выбранными показателями должна быть явная связь. Такую связь можно создать с помощью информационной модели измерения, описанной в приложении A.

Чтобы осуществить выбор решения, необходимо определить показатели с достаточной степенью детализации. В библиографии приведены другие нормативные документы, в которых описаны обычно используемые показатели.

Новый показатель может повлечь за собой приспосабливание какого-то существующего показателя.

6.3.2.4.2 Выбирайте показатели из возможных вариантов

Выбранные показатели отражают приоритет информационных потребностей. Дальнейшие примерные критерии выбора показателей приведены в приложении C.

Для интерпретации или нормализации показателей нужна общая контекстная информация. Например, в случаях сравнения разных программ по "строкам кодов программы" задается язык программирования. Другой пример: при сравнении требований к информации для разных систем задаются атрибуты этих систем.

6.3.2.4.3 Определяйте выбранные показатели

Выбранные показатели подлежат полному определению. В определение показателя входят наименование показателя, объекты измерения, формальное определение, методы сбора, хранения и анализа данных, связь показателя с информационной потребностью.

Формальное определение описывает порядок расчета показателей, включая входные данные и константы. Некоторые определения уже существуют в "Опытной базе измерений".

Метод сбора данных может быть, например, инструментальным средством анализа результативности или сбора диагностических данных, формой сбора данных или опросником.

В приложении A содержатся руководящие указания для связи показателей с информационными потребностями с помощью информационной модели измерения.

6.3.2.5.1 Определяйте процедуры для сбора данных, хранения, доступа и верификации

Процедуры определяют порядок сбора данных, а также то, как и где они хранятся, верифицируются и как предоставляется доступ к ним. Верификацию данных осуществляют путем проведения аудита. См. Приложение F по возможным объектам для определения процедур.

6.3.2.5.2 Определяйте процедуры анализа данных и отчетности об информационных продуктах

Процедуры определяют метод (методы) анализа данных и методы отчетности об информационных продуктах.

Определяется множество необходимых инструментальных средств для анализа данных.

6.3.2.5.3 Определяйте процедуры управления конфигурацией

Под управление конфигурацией подпадают такие объекты, как исходные данные, информационные продукты и выбранные информационные потребности. Процедура может быть аналогичной таким же процедурам управления конфигурацией, которые используются организацией в других областях.

Примечание - Дополнительная информация приведена в ISO/IEC/IEEE 15288.

6.3.2.6.1 Определяйте критерии для оценки информационных продуктов

Эти критерии позволяют определить, проводились ли сбор и анализ данных на уровне качества, достаточном для удовлетворения информационных потребностей. В начале проекта или процесса необходимо определить критерии, которые применяются как критерии успеха.

Необходимые критерии определяются в рамках условий производственных и деловых задач организационной единицы. В качестве примера критериальных показателей в оценке информационных продуктов могут выступать точность процедуры измерения и надежность метода измерения. Другие примеры описаны в приложении D. Однако для оценки информационных продуктов часто возникает необходимость определения новых критериев и показателей.

6.3.2.6.2 Определяйте критерии для оценки процесса измерения

Необходимые критерии определяются в рамках условий производственных и деловых задач организационной единицы. Примерами критериальных показателей являются своевременность и эффективность процесса измерения. Другие примеры приведены в приложении E. Однако для оценки процесса измерения иногда возникает необходимость определения новых критериев и показателей.

Обеспечивающие системы или услуги для измерения включают инструментальные средства и услуги, используемые для сбора, хранения, анализа информации и отчетности.

6.3.2.8 Анализируйте, утверждайте и обеспечивайте ресурсы для задач измерения

Эта задача описана в процессе планирования проекта в ISO/IEC/IEEE 15288.

6.3.2.8.1 Анализируйте и утверждайте планирование измерения

Задачи планирования измерения составляют все задачи от 6.3.2.1 до 6.3.2.6. Результаты планирования измерения включают в себя процедуры сбора данных, хранение, процедуры анализа и отчетности, критерии оценки, графики и обязанности. Подробная информация об элементах планирования измерения включена в приложение F.

Планирование измерения учитывает улучшения и обновления, предлагаемые от предшествующих циклов измерения ("Действия по улучшению" см. рис. 1), или проектов, а также соответствующие события в "Опытной базе измерений". При выборе предлагаемых улучшений для реализации учитываются такие критерии, как выполнимость осуществляемых изменений в существующих планах на краткосрочный период, доступность ресурсов и инструментальных средств для выполнения изменений, любые потенциальные нарушения в проектах, из которых собираются данные.

Если информация о планировании измерения уже существует, например, в результате проведения цикла предыдущих измерений, то вместо того, чтобы план "разрабатывать", достаточно его обновить. Кроме того, если информация о планировании измерения уже существует, то некоторые элементы в приложении F можно исключить. Например, если при обновлении необходимо удалить какой-то показатель, то пилотная реализация изменений не требуется.

Заинтересованные стороны анализируют и комментируют информацию для планирования измерений. Организатор измерения рассматривает и утверждает информацию о планировании измерений. Утверждение демонстрирует обязательство в проведении измерений.

6.3.2.8.2 Обеспечивайте ресурсы для реализации и оценки задач измерений

Информация о планировании измерения согласовывается с руководством организационной единицы, и распределяемыми ресурсами. Для окончательного утверждения информация о планировании часто анализируется итерационно. Необходимо обратить внимание, что измерение часто проводится в рамках пилотного или индивидуального проектов до его применения во всей организации. В этом случае обеспечивается доступ к ресурсам.

6.3.2.9 Приобретайте и развертывайте поддерживающие технологии

6.3.2.9.1 Оценивайте и выбирайте приемлемые поддерживающие технологии

Поддерживающая технология состоит, например, из автоматизированных инструментальных средств и курсов по обучению.

В автоматизированные инструментальные средства часто включают средства графического представления, инструментальные средства анализа и базы данных. Также необходимы инструментальные средства для сбора данных. Сюда входит модификация или расширение существующих инструментальных средств, калибровки и тестирования инструментальных средств.

На основе оценки и выбора поддерживающих технологий иногда обновляется информация о планировании измерения.

6.3.2.9.2 Приобретайте и развертывайте поддерживающие технологии

Если поддерживающие технологии затрагивают инфраструктуру управления информацией, то права доступа к данным или информации предоставляются в соответствии с политикой безопасности организации, а также дополнительных ограничений по конфиденциальности.

Эти задачи предназначены для выполнения измерений в соответствии с задачами планирования, описанными в 6.3.2. Примеры информации о планировании измерения описаны в приложении F.

Во время осуществления этих действий используют информационные продукты и результаты оценки из "Опытной базы измерений".

6.3.3.1.1 Объединяйте генерацию и сбор данных в соответствующие процессы

Объединение часто включает изменения текущих процессов для обеспечения действий генерации и сбора данных. Например, процесс проверки изменяется таким образом, что по завершении каждой проверки проводящий проверку должен предоставлять аналитику по измерениям листы подготовительных работ и журналы выявленных недостатков. В этом случае необходимо также изменить процедуру проверки. Объединение предполагает компромисс между степенями воздействий на существующие процессы, что является допустимым и свойственным процессу измерения. Изменения, оцениваемые от умеренного уровня до больших воздействий на существующие процессы, обычно не являются экономически обоснованными и иногда ухудшают эффективность или результативность. Когда это возможно, необходимые изменения для сбора данных сводятся к минимуму.

Степень интеграции варьируется в зависимости от типа показателей и информационных потребностей. Например, для проведения одноразового опроса настроения персонала требуется небольшое объединение в генерации и сборе данных. С другой стороны, при заполнении табелей в конце каждой недели необходимо объединение со структурами распределения работ или стоимостными расчетами или по процедурам учета.

Данные, подлежащие сбору с высокой частотой, включают дополнительные показатели, которые определяют специфику оценки информационных продуктов или показатели функционирования для оценки процесса измерения.

6.3.3.1.2 Объединяйте анализ данных и отчетность в соответствующие процессы

Анализ данных и отчетность обычно осуществляются на регулярной основе. Это востребовано для встраивания анализа данных и отчетности в текущие организационные процессы и процессы проекта.

6.3.3.1.3 Информируйте поставщиков и заинтересованные стороны о процедурах по данным

Информирование осуществляется, например, во время обучения кадров, ознакомительного заседания или посредством рассылки электронных писем.

Задача информирования о процедурах по генерации и сбору данных состоит в том, чтобы помочь в обеспечении квалификации поставщиков для осуществления требуемой генерации и сбора данных. Квалификация достигается, например, с помощью проведения обучения по процедурам генерации и сбора данных. Это повышает уверенность в том, что поставщики данных понимают тип необходимых данных, требуемые формат и инструментальные средства для сбора данных с определенной частотой. Например, если поставщики данных обучены тому, как заполнять формы данных о выявленных недостатках, это гарантирует, что они поняли схему классификации недостатков и значение различных усилий (таких, как изолирование и корректирующие усилия).

Задача информирования по процедурам доступа к данным и отчетности состоит в том, чтобы помочь поставщикам данных понять, как данные собираются, и как функционируют процедуры по сбору данных и отчетности.

6.3.3.2.1 Собирайте данные

Выбранные атрибуты измеряются с помощью назначаемого метода измерения. Сбор данных осуществляется автоматизировано или вручную. Например, каждый раз, когда обновляется база данных требований, данные собираются автоматизированно с помощью инструментальных средств управления. С другой стороны, например, вручную собираются данные о недостатках с помощью заполнения формы и передачи ее аналитику по измерениям.

6.3.3.2.2 Храните собранные данные, включая контекстную информацию

В контекстную информацию входит информация, необходимая для верификации, понимания или оценки данных.

Хранение данных не должно быть полностью автоматическим. Возможно, лучше создать отдельное место для хранения документов на бумажных носителях, например, если небольшая организация собирает результаты по малому количеству показателей за короткий период времени.

Данные по измерениям часто хранятся с помощью процесса управления информацией.

6.3.3.2.3 Верифицируйте собранные данные

Часто осуществляют верификацию данных с помощью контрольного списка. Контрольный список формируется таким образом, чтобы проверить, что недостающих данных минимум, и что значения данных имеют смысл. Примеры последнего включают проверку того, что классификация недостатков верна, или что размеры значений не превышают на порядок ранее введенные значения. В случае отклонений запрашиваются усилия поставщиков данных и там, где необходимо, осуществляются исправления исходных данных. Также используются автоматизированные проверки номенклатуры и типовые проверки.

Верификация данных относится к обязанности аналитика по измерениям совместно с поставщиком (поставщиками) данных.

6.3.3.3.1 Анализируйте собранные данные

До проведения анализа данные обобщаются, преобразуются, приводятся к нормализованному виду или повторно перерабатываются. Во время выполнения анализа данные обрабатываются для получения запланированных показателей (индикаторов). Данные и показатели (индикаторы) оцениваются и анализируются. Степень итоговой точности в анализе определяется природой данных и информационными потребностями.

6.3.3.3.2 Разрабатывайте информационные объекты

Результаты анализа данных, показателей (индикаторов), интерпретации и поддерживающая информация образуют информационные объекты. Все интерпретации должны учитывать контекст конкретных показателей.

Аналитик по измерениям должен быть в состоянии осуществить первоначальные выводы на основе этих результатов. Однако, так как аналитик иногда непосредственно не участвует в технических процессах и процессах управления, такие заключения необходимо проанализировать также другим заинтересованным сторонам (см. 6.3.3.3.3).

6.3.3.3.3 Анализируйте информационные объекты

Анализ информационных объектов предназначен для помощи в гарантиях того, что анализ данных был выполнен и соответствующая интерпретация проведена надлежащим образом, и что информационные потребности удовлетворены. Данный анализ может быть неформальным самоанализом или более формальным процессом контроля. Примеры моментов, на которые имеет смысл обратить внимание во время такого анализа, перечислены в Приложении G.

Информационные продукты анализируются совместно с поставщиками данных и пользователями измерений. Это помогает гарантировать, что эти продукты являются значимыми и действенными. Качественная информация учитывается как поддержка в интерпретации количественных результатов.

6.3.3.4.1 Регистрируйте результаты

Наряду с результатами рекомендуемых действий отчетные результаты включают анализ множества информационных объектов.

6.3.3.4.2 Информируйте пользователей измерений

Информационные объекты и результаты делаются доступными для поставщиков данных и других заинтересованных сторон.

Обратная связь предоставляется в направлении заинтересованных сторон, но также ожидается и от них. Это помогает гарантировать получение полезных исходных данных для оценки информационных объектов и процесса измерения. Задачи 6.3.3.3 и 6.3.3.4, как правило, выполняются в итеративном режиме.

Полезные руководящие указания по передаче результатов измерений, представимых как исходные данные для процесса управления рисками, могут быть найдены в ИСО/МЭК 16085.

6.3.4 Оценивайте измерения

Выполнение задачи охватывается процессом гарантии качества из ISO/IEC/IEEE 15288, применимым к каждому процессу, используемому при измерениях. Это включено в настоящий стандарт, чтобы подчеркнуть важность оценки измерений. На организационном уровне оценка измерений контролируется в ISO/IEC/IEEE 15288 процессом управления моделью жизненного цикла, на основе которого оценивают и модернизируют процессы организации.

6.3.4.1 Оценивайте информационные продукты и процесс измерения

6.3.4.1.1 Оценивайте информационные продукты в соответствии с задаваемыми критериями для оценки

Определяются и регистрируются выводы по преимуществам и недостаткам информационных объектов.

Оценки информационных продуктов могут быть проведены посредством внутреннего или независимого аудита. Примерные критерии для оценки информационных продуктов включены в приложение D. Критерии для оценки были определены в 6.3.2.6.

Исходными данными для этой оценки являются показатели функционирования, информационные продукты и обратная связь от пользователей измерений.

Оценка информационных продуктов иногда приводит к заключению, что необходимо отказаться от некоторых показателей, например, если они более не соответствуют имеющимся информационным потребностям.

6.3.4.1.2 Оценивайте процесс измерения в соответствии с задаваемыми критериями для оценки

Определяются и регистрируются выводы по преимуществам и недостаткам процесса измерений.

Оценки процесса измерений могут быть проведены посредством внутреннего или независимого аудита. Примерные критерии для оценки процесса измерений включены в приложение E. Критерии для оценки были определены в 6.3.2.6.

Качество процесса измерения влияет на качество информационных продуктов.

Исходными данными для этой оценки являются показатели функционирования, информационные продукты и обратная связь от пользователей измерений.

6.3.4.1.3 Храните уроки, извлеченные из процесса измерений, в "Опытной базе измерений"

Уроки, извлеченные из процесса измерений, облекают в форму преимуществ и недостатков информационных продуктов, процесса измерения, самих критериев для оценки или берут из опыта планирования измерения (например, "было большое сопротивление поставщиков данных по сбору данных, оцениваемому специальным показателем в виде специальной частоты").

6.3.4.2 Определяйте потенциальные улучшения

6.3.4.2.1 Определяйте потенциальные улучшения информационных продуктов

Примерами изменений информационных продуктов являются: изменения формата показателя (индикатора); изменения, когда линейный показатель (одномерный) меняется до показателя зоны (до многомерного); когда минута меняется на часы, месяцы - на годы; когда показатель размера строки кода меняется до показателя функционального размера или когда осуществляется повторная классификация категорий дефектов (недостатков).

Некоторые изменения информационных продуктов требуют изменений процесса измерения.

6.3.4.2.2 Определяйте потенциальные улучшения измерений

Подобные "Действия по улучшению" используются в приводимых ниже примерах для действия "Планируйте процесс измерения".

При выборе для реализации "Действий по улучшению" необходимо учитывать затраты и выгоды от потенциальных улучшений. Важно понимать, что проведение улучшения не всегда экономически эффективно или процесс измерения может оказаться приемлемым, как он есть, и, следовательно, потенциальные улучшения не требуются.

6.3.4.2.3 Информируйте о потенциальных улучшениях

Изменения процесса измерения обычно предоставляются владельцу процесса, а изменения продуктов измерения - аналитику (аналитикам) по измерениям.

Если по 6.3.4.2.1 и 6.3.4.2.2 никакие потенциальные усовершенствования не определены, то это тоже отмечается.

Приложение A
(справочное)

Информационная модель измерения

A.1 Общие положения

Информационная модель измерения является структурой, которая связывает информационные потребности с соответствующими сущностями и интересующими атрибутами. Сущность включает процессы, продукты, проекты и ресурсы. Информационная модель измерения описывает, как соответствующие атрибуты описываются количественно и преобразуются в показатели и индикаторы, представляющие собой основу для принятия решения.

Выбор или определение соответствующих показателей для рассмотрения информационной потребности начинается с идеи, согласно которой измеримые атрибуты связываются с информационной потребностью с определением их соотношений. Специалист по планированию измерений определяет структуру, которая связывает эти атрибуты с задаваемой информационной потребностью. Эта информационная модель измерения (см. рисунок A.1) определяет основные термины и понятия. Информационная модель измерения помогает специалисту по планированию измерений определить то, что требуется во время планирования измерения, выполнения и оценки измерений.

Рисунок A.1 - Основные связи в информационной модели измерения

A.2 Описание модели

Рисунок A.1 иллюстрирует отношения между основными компонентами информационной модели измерения. Модель определяет три типа показателей: основные показатели, производные показатели и индикаторы. Информационное наполнение показателей увеличивается по мере приближения их в модели к информационной потребности. В разделе A.3 представлены примеры создания конкретной модели, которые относятся к определенным информационным потребностям. Отдельные компоненты этой общей информационной модели описаны ниже.

A.2.1 Сущность

Сущностью является объект (например, процесс, продукт, проект или ресурс), характеризующийся измерением его атрибутов. Типичные объекты инженерии могут быть классифицированы как продукты (например, документ эскизного проекта, сеть, исходный код и контрольные тесты), процессы (например, процесс эскизного проектирования, процесс тестирования и процесс анализа требований), проекты и ресурсы (например, специалисты по системной инженерии, специалисты по программной инженерии, программисты и тестировщики). Сущность может обладать одним или несколькими свойствами, которые представляют интерес для удовлетворения информационных потребностей. На практике одна сущность может быть отнесена к одной или нескольким из перечисленных категорий.

A.2.2 Атрибут

Атрибутом служит свойство или характеристика сущности - такая, которая может быть различима количественно или качественно человеком или автоматизированным средством. Сущность может обладать большим количеством атрибутов, однако, только некоторые из них могут представлять интерес для измерения. Первым шагом в определении конкретного варианта информационной модели измерения является выбор атрибутов, отвечающих информационным потребностям пользователя измерения. Данный атрибут может быть включен в многочисленные показатели измерения, поддерживающие различные информационные потребности.

A.2.3 Основной показатель

Показатель определяется в терминах атрибута и метода для количественного определения. (Показатель - переменная, которая обладает значением.) Основной показатель функционально независим от других показателей. Основной показатель отражает информацию одного атрибута. Сбор данных включает присвоение значений для основных показателей. Определение ожидаемого диапазона или типа значения основного показателя помогает верификации качества собираемых данных.

A.2.3.1 Метод измерения

Метод измерения представляет собой логическую последовательность операций, описанную в общих чертах и используемую в количественной оценке атрибута относительно заданной шкалы. Операции могут включать такие действия, как подсчет случаев или наблюдение за временем. Тот же самый метод может быть применен к нескольким атрибутам. Тем не менее, каждая уникальная комбинация атрибута и метода создает другой основной показатель. Некоторые методы измерения могут быть реализованы несколькими способами. Процедура измерения описывает конкретную реализацию метода измерения в рамках данного организационного контекста.

A.2.3.1.1 Тип метода измерения

Тип метода измерения зависит от природы операций, используемых для количественной оценки атрибута.

Различают 2 типа:

- субъективный: количественная оценка на основе человеческого суждения;

- объективный: количественная оценка на основе численных правил. Эти правила могут быть реализованы как человеком, так и автоматизированным средством.

A.2.3.1.2 Шкала

Шкала представляет собой упорядоченный набор непрерывных или дискретных значений, или набор категорий, которым сопоставляется атрибут. Метод измерения сопоставляет величину измеряемого атрибута со значением на шкале. Единица измерения часто связана со шкалой.

A.2.3.1.2.1 Тип шкалы

Тип шкалы зависит от природы отношений между значениями на шкале. Обычно выделяют четыре типа шкалы:

- номинальная: значения измерения категорированные;

- порядковая: значения измерения упорядочены;

- интервальная: значения измерения находятся на равных расстояниях, соответствующих равным количественным значениям атрибута;

- относительная: значения измерения находятся на равных расстояниях, соответствующих равным количественным значениям атрибута, где показатель ноль не соответствует ни одному из атрибутов.

Примечание - Это лишь некоторые примеры типов шкалы. Робертс [17] выделяет большее количество типов шкалы.

Метод измерения обычно влияет на тип шкалы, который может быть надежно использован с заданным атрибутом. Например, субъективные методы измерения обычно поддерживают только порядковые или номинальные шкалы.

A.2.3.1.2.2 Единица измерения

Специальная величина, определенная и принятая на основе соглашения, с которой сравниваются другие величины того же вида в порядке выражения их значимости относительно этой величины. Можно сравнивать только показатели, выраженные в одинаковых единицах измерения. Примеры: час и метр.

A.2.4 Производный показатель

Производный показатель - это показатель, который определен как функция двух или более значений основных показателей. Производные показатели собирают информацию о нескольких атрибутах или одном и том же атрибуте из нескольких сущностей. Простые преобразования основных показателей (например, взятия квадратного корня как основного показателя) не дают дополнительной информации, и, таким образом, не создают производных показателей. Нормализация данных часто подразумевает преобразование основных показателей в производные, которые могут быть использованы для сравнения различных сущностей.

A.2.4.1 Функция измерения

К функции относятся алгоритм или вычислительная выкладка, выполняемые для комбинации двух или более основных показателей. Шкала и единица измерения производного показателя зависят от шкал и объектов измерения основных показателей, на основе которых функция составлена, а также как они объединены этой функцией.

A.2.5 Индикатор

Индикатор - это показатель, который обеспечивает оценку или оценивание заданных атрибутов, полученных из модели относительно определенных информационных потребностей. Индикаторы служат основанием для анализа и принятия решений. Их следует предоставлять пользователям измерения. Измерение всегда основано на несовершенной информации, поэтому определение количественной оценки неопределенности, точности или важности индикаторов является существенным в представлении фактического значения индикатора.

A.2.5.1 Модель

Алгоритм или вычислительная выкладка, комбинирующие один или более основных или производных показателей с соответствующими критериями принятия решения. Это основано на понимании или предположении о возможных отношениях между составляющими показателями или их поведением на временной оси. Модели производят оценки или оценивания, которые относятся к определенной информационной потребности. Шкала и метод измерения влияют на выбор методов анализа и моделей, используемых для создания индикаторов.

A.2.5.1.1 Критерии принятия решения

Критерии принятия решения представляют собой пороговые значения, цели, правила или образцы, используемые для определения необходимости действий или дальнейшего изучения, или для описания уровня доверия в данном результате. Критерии принятия решения помогают интерпретировать результаты измерений. Критерии принятия решения могут быть рассчитаны или основаны на умозрительном понимании ожидаемого поведения. Критерии принятия решения могут быть созданы с использованием исторических данных, планов, алгоритмов или вычислены как статистические пределы при управлении или как статистические доверительные границы.

A.2.6 Измеряемое понятие

Измеряемое понятие представляет собой абстрактное соотношение между атрибутами сущности и информационными потребностями. Например, информационная потребность может выражаться в необходимости сравнить результативность при разработке группы проектов на основе целевого показателя. Измеряемым понятием в этом случае выступает "коэффициент результативности разработки". При оценке понятия может потребоваться измерение системы или программных продуктов, а также количество используемого ресурса для создания продуктов (в зависимости от выбранной модели результативности). Дополнительными примерами измеряемых понятий являются качество, риск, эффективность функционирования, возможности, завершенность и ценность для заказчика.

A.3 Примеры

В следующих подразделах представлены примеры информационной модели измерения, которые направлены на определенные информационные потребности. Эти примеры не предназначены к использованию в качестве рекомендаций по лучшим методам измерения, скорее это является демонстрацией применимости информационной модели измерения в различных распространенных ситуациях.

A.3.1 Пример результативности

Лицо, принимающее решения в этом примере (рисунок A.2), должно выбрать конкретный уровень результативности в качестве основы для планирования проекта. Измеримым понятием является связь результативности с затраченными усилиями и количеством выполненных требований. Таким образом, усилия и потребности являются измеримыми сущностями проблемы. Этот пример предполагает, что результативность оценивается на основе прошлой результативности. Таким образом, данные для основных показателей (см. нумерованные записи в таблице ниже) необходимо собрать и вычислить производный показатель для каждого проекта в хранилище данных.

Независимо от того, как образуется показатель результативности, естественная неопределенность в инженерии означает, что имеет место существенная вероятность того, что предполагаемая результативность определенно не будет достигнута. Оценка результативности на основе исторических данных позволяет вычислить пределы доверия, которые помогают оценить, насколько фактические результаты будут близки с оцененными показателями.

Рисунок A.2 - Описание измерения для показателя "результативность"

A.3.2 Пример качества

Лицо, принимающее решение в этом примере (рисунок A.3), должно оценить качество технического проекта по мере его проработки. Измеримое понятие характеризуется тем, что качество проекта связано с количеством произведенных во время проработки продуктов и количеством выявленных при этом дефектов (недостатков). Таким образом, произведенные документы (как продукты) технического проекта и перечень дефектов (недостатков) являются измеримыми сущностями проблемы. Качество произведенной документации может быть улучшено с помощью вычисления частоты появления дефектов (недостатков). Таким образом собираются данные для основных показателей (см. нумерованные записи в таблице ниже) и вычисляется производный показатель для каждого выходного документа, как это представлено.

Так как мы не ожидаем получить одинаковую частоту появления дефектов (недостатков) для каждого выходного документа, мы можем вычислить условные границы при контроле для определения, насколько частота дефектообразования в выходном документе отличается от среднего значения с тем, чтобы найти путь к решению проблемы.

Рисунок A.3 - Описание измерения для показателя "качество"

A.3.3 Пример продвижения проекта

Лицо, принимающее решения в этом примере (рисунок A.4), должно оценить, является ли приемлемой степень продвижения проекта. Измеримое понятие характеризуется тем, что продвижение проекта связано с объемами запланированной и завершенной работы. Таким образом, планируемые рабочие сущности (системные элементы) являются измеримыми сущностями проблемы. В этом примере предполагается, что назначенный поставщик ежемесячно сообщает о состоянии (степени готовности) каждого элемента системы. Таким образом, данные для основных показателей (см. нумерованные записи в таблице на рис.A.4) необходимо собрать и вычислить производный показатель для каждой рабочей сущности плана.

Поскольку состояние элементов системы является субъективной оценкой, в качестве критерия для принятия решения используется простой числовой порог, а не статистические границы.

Рисунок A.4 - Описание измерения для показателя "продвижение"

Приложение B
(справочное)

Информационные объекты процесса измерения и отчетность

Это приложение содержит распределение между информационными объектами и отчетами, приведенными в настоящем стандарте, и действиями или задачами, которые их производят (рисунок B.1). Обратите внимание, что в приложении содержатся только окончательные варианты информационных объектов и отчетов, т.е. не все промежуточные информационные объекты и отчеты, которые могут создаваться во время выполнения действий и задач.

Настоящий стандарт не предназначен для предписания наименований, форматов или конкретного содержания информационных объектов и отчетов. Стандарт не содержит информации, как следует составлять, объединять или хранить информационные объекты и отчеты. Эти решения остаются на усмотрение пользователя настоящего стандарта.

Рисунок B.1 - Информационные объекты и отчеты по действиям измерений

Приложение C
(справочное)

Примерные критерии для выбора показателей

Для рассмотрения информационной потребности может быть выбрано множество различных комбинаций основных показателей, производных показателей и индикаторов. При выборе из альтернативных вариантов учитываются следующие критерии:

- значимость распределенных по приоритетам информационных потребностей;

- осуществимость сбора данных в организационную единицу;

- возможность для персонала собирать и управлять данными;

- легкость сбора данных;

- степень несанкционированного доступа и нарушений в действиях персонала;

- готовность соответствующих инструментальных средств;

- конфиденциальность;

- потенциальная устойчивость поставщика (поставщиков) данных;

- количество потенциально подходящих индикаторов, поддерживаемых конкретным основным показателем;

- увеличение или сокращение требований к хранению;

- легкость интерпретаций со стороны пользователей измерений и аналитиков по измерениям;

- число пользователей или потребителей информационных продуктов, использующих конкретный индикатор;

- личное предпочтение (например, у людей иногда есть свой "любимый показатель");

- применимость стадии жизненного цикла;

- доказательства (внутренние или внешние для организационной единицы) соответствию цели или информационной потребности и ее полезности;

- чувствительность к контексту (например, в некоторых показателях глубина наследования для объектно-ориентированных классов не показывает изменений, потому что наследование используется недостаточно; такой показатель не сможет продемонстрировать интересующего поведения в некоторых условиях).

Следует оценить затраты на сбор, управление и анализ данных на всех уровнях. Затраты включают в себя:

- затраты на использование показателей: с каждым показателем связаны затраты на сбор данных, автоматизацию для расчета значений показателей (по возможности), анализ данных, интерпретацию результатов анализа и связь по информационным продуктам;

- затраты на изменение процесса: комплекс показателей может предполагать изменение процесса разработки, например, из-за необходимости получения новых данных;

- затраты на изменение организационной структуры: комплекс показателей может предполагать изменение организационной структуры;

- затраты на специальное оборудование: возможно, потребуется найти, оценить, приобрести, адаптировать или разработать системные, аппаратные или программные инструментальные средства для реализации показателей;

- затраты на обучение: организация управления/контроля качеством или вся команда разработчиков могут обучаться использованию показателей и процедурам сбора данных. Если реализация показателей вызывает изменения в процессе разработки, изменения должны быть доведены до сведения персонала.

Примечание - Данный раздел разработан на основе IEEE 1061.

Приложение D
(справочное)

Примерные критерии для оценки информационного продукта

D.1 Общие положения

Эффективность каждого измерительного подхода, используемого в процессе измерения, должна быть оценена с использованием заранее определенных критериев. Ниже приведены примеры таких критериев (не исчерпывающие множества возможных). Некоторые критерии специфичны для основных показателей, производных показателей или индикаторов. Некоторые из этих критериев были адаптированы ИСО/МЭК TR 25023 для оценки показателей продукта. Нижеследующие критерии не обязательно являются независимыми друг от друга. В некоторых случаях критерии могут быть использованы для количественной оценки, но в иных ситуациях качественная оценка может быть вполне уместной. Эти критерии становятся еще более важными, когда информационные продукты являются частью договорного соглашения.

D.2 Использование информационных продуктов

Использование рассматривается как степень, с которой информационные продукты, произведенные в процессе измерения, фактически применяются для принятия решений в управленческих или технических процессах, поддерживаемых измерениями.

Например, информационные продукты не используются, если часть анализа была выполнена на основе данных измерения, при этом модель для принятия решения была создана лишь для определения необходимости повторной проверки, а координатор редко использует модель решения для проведения повторной проверки.

Большинство критериев, описанных ниже, оказывают влияние на использование информационных продуктов.

D.3 Доверие информационному продукту

Доверие рассматривается как степень, с которой потребители информационного продукта (измерения) имеют доверие к базовым показателям, производным показателям, индикаторам и интерпретациям, включенным в информационный продукт.

Доверие повышается, когда принимаются процедуры для предотвращения неправильного использования или искажения данных (например, для прослеживаемости всех элементов данных).

Более высокое доверие может быть достигнуто с помощью гарантий того, что аналитики компетентны и объективны, они воспринимаются как компетентные и объективные, и пользователи измерений вовлечены в процесс измерения (например, через регулярные сессии обратной связи).

D.4 Доказательства соответствия назначению информационного продукта

Доказательства соответствия назначению рассматриваются как степень, с которой информационный продукт может быть продемонстрирован, чтобы считаться эффективным для определенной информационной потребности.

Интерпретация индикаторов должна принимать во внимание контекст, в условиях которого выполняется измерение. Не все показатели работают хорошо во всех ситуациях. При различных обстоятельствах может быть легко или трудно собирать данные основных показателей в условиях, когда влияние оказывается и на внедрение информационного продукта. Доверие к соответствию назначению информационного продукта возрастает при формировании доказательств эффективности в тех или иных условиях.

Соответствие назначению включает в себя:

- степень, с которой показатель измеряет то, что подлежит измерению;

- показатели, используемые в прогностическом смысле, которые должны иметь демонстрируемые возможности прогнозировать то, для чего они предназначены.

Если информационный продукт обеспечивает всестороннюю соответствующую обратную связь по результатам заданной информационной потребности, то данный информационный продукт может быть оценен как соответствующий своему назначению.

D.5 Понимаемость информационных продуктов

Понимаемость рассматривается как легкость понимания индикаторов и интерпретаций конкретным пользователем измерения.

Если информационный продукт трудно понять, то вероятнее всего, им не будут пользоваться. Это может быть вызвано жаргонами в интерпретации или представлением индикаторов такими способами, которые не доступны для пользователя. Объем может быть существенным препятствием для понимаемости, так как длинные отчеты читают менее тщательно.

D.6 Приемлемость допущений в индикаторной модели

Приемлемость рассматривается как степень того, насколько удовлетворительна модель, на основе которой рассчитывается индикатор (например, распределение данных, шкалы измерения, единицы измерения, объем выборки).

Статистические методы часто основываются на допущениях в исходных данных для них. Даже простые численные методы обычно зависят от определения показателей, которые измеряются. Определения необходимо внести в документы и утвердить.

D.7 Точность процедуры измерения

Точность рассматривается как степень, в соответствии с которой процедура, реализующая основные показатели, соответствует применяемому методу измерения. Точная процедура приводит к результатам, подобным истинному значению основного показателя (или предполагаемым).

Процедуры измерения реализуют методы измерения для основных показателей. Эти процедуры могут привести к отличным результатам, по сравнению с тем, что предполагается, из-за возникновения таких проблем, как, например, системная ошибка в процедуре, случайная погрешность основного метода измерения, не соответствующая выполнению процедуры.

Фактически процедуры, выполняемые человеком, или автоматизированный расчет основного показателя могут приводить к отличиям от определения показателя. Например, инструментальные средства статистического анализа могут рассчитывать алгоритм другим способом по сравнению с тем способом, который был первоначально описан в источнике. Несоответствия также могут произойти из-за неоднозначных определений методов измерения, шкал, единиц измерения и т.д. Даже при надлежащем подходе процедуры измерения могут применять противоречиво, что приведет к потере данных или введению ошибочных данных.

Субъективные методы зависят от личностной интерпретации данных. Например, формулировка пунктов анкеты может заставить респондентов сомневаться в правильности ответа и даже в его объективности. Четкие и краткие инструкции помогают увеличить точность опросов.

Точность может быть улучшена, например, в результате того, что:

- объем недостающих данных находится в пределах заданных пороговых границ;

- количество отмеченных расхождений при вводе данных находится в пределах заданных пороговых границ;

- количество упущенных возможностей измерения находится в пределах заданных пороговых границ (например, количество проверок, по результатам которых не были предоставлены собранные данные);

- удается избежать ошибок при осуществлении выбора (например, опрашивают не только удовлетворенных пользователей для проведения оценки удовлетворенности пользователей или оценивают только успешные проекты для определения результативности в целом);

- хорошо определяются все основные показатели, и эти определения доводятся до поставщиков данных.

- если показатели определяются несоответствующим образом, это может привести к неточным данным. Повторяемость и воспроизводимость основного метода измерения (см. ниже) могут также ограничивать точность, достигаемую в процедуре измерения.

D.8 Повторяемость метода измерения

Повторяемость рассматривается как степень, при которой повторное использование основного показателя в аналогичной организационной единице после проведения схожего метода измерения при одинаковых условиях (например, инструментальные средства, персонал, выполняющий измерение) приводит к результатам, которые считаются идентичными. Субъективные методы измерения имеют тенденцию испытывать более низкую повторяемость, чем объективные методы. Случайная ошибка измерения снижает степень повторяемости.

D.9 Воспроизводимость метода измерения

Воспроизводимость рассматривается как степень, при которой повторное использование основного показателя в аналогичной организационной единице после проведения схожего метода измерения при различных условиях (например, инструментальных средств, персонала, выполняющего измерения), приводит к результатам, которые считаются идентичными. Субъективные методы измерения имеют тенденцию испытывать более низкую воспроизводимость, чем объективные методы. Случайная ошибка измерения снижает степень воспроизводимости.

Приложение E
(справочное)

Примерные критерии для оценки выполнения процесса измерения

E.1 Общие положения

Качество процесса может быть проанализировано с помощью оценки его возможностей (как описано в ИСО/МЭК 33002) или путем измерения и оценки его выполнения. Хотя настоящий стандарт в целом может использоваться в качестве эталонной модели для оценки возможностей процесса измерения, в данном приложении рассматривается только оценка выполнения процесса измерения.

Ниже приведено некоторое множество примерных критериев, которые могут быть использованы для оценки выполнения процесса измерения. В некоторых случаях критерии могут быть использованы для количественной оценки, но в иных ситуациях качественная оценка может быть вполне уместной.

Нижеследующие критерии могут рассматриваться как потенциальные информационные потребности владельца процесса измерения. Этот процесс измерения, описанный в настоящем стандарте, может применяться для производства информационных продуктов, которые обращены к информационным потребностям, определенным владельцем процесса измерения.

E.2 Своевременность

Процесс измерения должен обеспечить своевременное поступление информационных продуктов для поддержания потребности пользователя измерения. Соответствующий выбор времени зависит от графика организационного или технического процесса, осуществляющего поддержку.

E.3 Эффективность

Выполнение процесса измерения не должно стоить больше, чем ценность информации, которая предоставляется. Чем более эффективен сам процесс, тем ниже его стоимость и лучше показатели по критерию эффективность-стоимость.

E.4 Устранение дефектов (недостатков)

Процесс измерения должен минимизировать поступление ошибочных данных и результатов, устраняя возникающие дефекты (недостатки) настолько быстро, насколько это возможно.

E.5 Удовлетворенность заказчика

Следует обеспечивать удовлетворенность пользователей информационных продуктов от их качества (см. приложение D), а также от выполнения процесса измерения при оценке своевременности, эффективности и устранении дефектов (недостатков). На удовлетворенность могут повлиять конкретные ожидания пользователя по уровню обеспечиваемого качества и выполнения процесса измерения.

E.6 Соответствие процесса

Следует обеспечивать соответствие выполнения измерения разработанным планам и процедурам в описаниях намеченного процесса измерения. Данный процесс может быть оценен по результатам аудита управления качеством или оценки возможностей процесса.

Приложение F
(справочное)

Примерные элементы планирования измерения

6.3.2 определил основные задачи процесса измерения, которые следует запланировать. Результаты запланированных действий и любых других действий по планированию могут быть собраны в план проведения измерения.

В план проведения измерения могут быть включены нижеперечисленные примерные элементы:

- характеристика организационной единицы;

- цели бизнеса и проекта;

- приоритетные информационные потребности и их связи с целями бизнеса, организационными и регуляторными целями, целями проекта и продукции;

- определение показателей и их связь с информационными потребностями;

- обязанности по сбору данных и обязанности источников данных;

- график для сбора данных (например, в конце каждой проверки, ежемесячно);

- инструментальные средства и процедуры для сбора данных (например, инструкции по использованию статического анализатора);

- хранилище данных;

- требования для верификации данных;

- процедуры ввода и верификации данных;

- план анализа данных, включая частоту анализа и отчетность;

- необходимые организационные и процессные изменения для реализации плана измерения;

- критерии для оценки информационных продуктов;

- критерии для оценки процесса измерения;

- ограничения по конфиденциальности данных и информационных продуктов, требования по действиям/ мерам для обеспечения конфиденциальности;

- график и обязанности по реализации плана измерения, включая широкую реализацию экспериментальных проектов и организационных объектов;

- процедуры управления конфигурацией данных, опытная база измерений и определения данных.

Приложение G
(справочное)

Руководящие указания для отчетности об информационных объектах

Нижеприведенные объекты составляют множество общих критериев для отчетности об информационных объектах:

- ограничения результатов и любых иных квалификаций (например, ограничения сроков действия сделанных выводов);

- дата или период сбора данных;

- названия и версии инструментальных средств для выполнения статистического анализа;

- количество наблюдений, на основе которых сделаны выводы;

- используемая процедура выборки;

- используемые допущения, лежащие в основе методов анализа, и полученные результаты любого анализа чувствительности, выполняемого для проверки на устойчивость к возникновению нарушения допущений;

- точность, с которой функционируют агрегаты (например, на уровне среднего или взвешенного среднего);

- единицы наблюдения, по которым сделаны выводы (например, контрольный комплект, объект конфигурации);

- как действовать в случаях с недостающими данными и отклонениями, при необходимости;

- как действовать в случаях с резко выделяющимися значениями во время анализа данных, при необходимости;

- как комбинировать данные по множествам различных наборов данных, при необходимости;

- для любых статистических тестов, являются ли они одно- или двухсторонними;

- для любых статистических тестов, использующих допустимые уровни (количество допустимых ошибок);

- для любых статистических тестов, как высчитываются значения вероятностей (вероятности получения ожидаемого результата или более отклоняющегося результата);

- как высчитываются интервалы доверия, при необходимости;

- используемые статистические методы (включая ограничения).

Несоблюдение вышеуказанных критериев затрудняет корректную их интерпретацию потребителем информационных продуктов и доверие к сделанным выводам. Обратите внимание, что для конкретных методов анализа данных могут оказаться необходимыми дополнительные требования к отчетности. Также обратите внимание, что некоторые из этих отчетов могут быть включены в приложения к аналитическим отчетам, если они не совсем уместны для основных потребителей. Может потребоваться приспособление уровня анализа к уровню конкретного заказчика или пользователя.

Библиография

Электронный текст документа

и сверен по:

, 2019