ГОСТ Р ИСО/МЭК 33003-2017
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Информационные технологии
ОЦЕНКА ПРОЦЕССА
Требования к системам измерения процесса
Information technologies. Process assessment. Requirements for process measurement frameworks
ОКС 35.080
Дата введения 2018-03-01
Предисловие
Предисловие
1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 22 "Информационные технологии"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 мая 2017 г. N 446-ст
4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 33003:2015* "Информационная технология. Оценка процесса. Требования к структурам измерения процесса" (ISO/IEC 33003:2015 "Information technology - Process assessment - Requirements for process measurement frameworks", IDT).
________________
* Доступ к международным и зарубежным документам, упомянутым здесь и далее по тексту, можно получить, перейдя по ссылке на сайт . - .
ИСО/МЭК 33003 разработан подкомитетом ПК 7 "Системная и программная инженерия" совместного технического комитета СТК 1 "Информационные технологии" Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).
Наименование настоящего стандарта изменено относительно наименования указанного международного документа для приведения в соответствии с ГОСТ Р 1.5-2012 (пункт 3.5)
При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА
5 ВВЕДЕН ВПЕРВЫЕ
6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию подобных патентных прав
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
Введение
В настоящем стандарте установлены требования, предъявляемые к системам измерения процесса с поддержкой возможности оценивать качественные свойства процесса, начиная с построения концепции до практического подтверждения. В системах измерения процесса в результате анализа качественных свойств процесса создаются составные измерения (например, уровни возможностей процесса в виде порядковой шкалы в ИСО/МЭК 33020). Среди примеров качественных свойств процесса, которые представляют собой параметры (теоретические концепции), можно назвать возможности процесса, защищенность процесса, скорость процесса и безопасность процесса. Основные пользователи настоящего стандарта - разработчики систем измерения процесса и моделей оценки процесса. Соответствие требованиям настоящего стандарта означает, что в ходе разработки системы измерения процесса будут создаваться надежные методы, обеспечивающие качественные составные измерения.
ИСО/МЭК 33003 относится к множеству международных стандартов, обеспечивающих содержательную и последовательную основу для оценки характеристик качества процесса, основанных на объективных данных реализации процессов. Основы оценки охватывают процессы, используемые при разработке, сопровождении и эксплуатации систем в области информационных технологий, а также применяемые при проектировании, передаче, поставке и улучшении услуг. В целом в этих международных стандартах рассматриваются характеристики качества процесса любого типа. Результаты оценки могут использоваться для улучшения процесса или определения и управления рисками, связанными с применением процессов.
В настоящем стандарте установлены требования к разработке систем измерения процесса, приведенных в ИСО/МЭК 33020. Эти требования могут быть использованы для определения моделей оценки процесса в соответствии с ИСО/МЭК 33004, а также для оценки процесса в соответствии с ИСО/МЭК 33002. Общее построение и содержание данного семейства стандартов приведено в ИСО/МЭК 33001.
Некоторые международные стандарты семейства ИСО/МЭК 330ХХ по оценке процесса предназначены для замены и расширения частей серии стандартов ИСО/МЭК 15504. Детальные отличия семейства стандартов ИСО/МЭК 330ХХ от серии стандартов ИСО/МЭК 15504 приведены в ИСО/МЭК 33001 (см. приложение А).
1 Область применения
В настоящем стандарте установлены требования к системам измерения, используемым для оценки процесса. Требования настоящего стандарта формируют структуру, которая представляет собой:
a) требования к системам измерения процесса при его оценке;
b) требования к проверке систем измерения процесса, используемого для оценки процесса;
c) требования, применимые к любой системе измерения процесса при получении составных измерений в различных областях.
Настоящий стандарт применим при разработке систем измерения любых качественных свойств процессов в разных областях.
Схема технологий, используемых в настоящем стандарте, приведена в приложении А. Пояснения к спецификациям конструкции приведены в приложении В. Обзор методов статистической проверки приведен в приложении С. Описание некоторых методов и ссылок, которые можно использовать в реализации требований к системам измерения процесса, приведено в приложении D. Эти приложения должны быть использованы в качестве инструкции по созданию систем измерения процесса, которые будут разрабатываться в рамках семейства стандартов.
Примечание - В ИСО/МЭК 33020 приведена система измерения процесса для оценки его возможностей в соответствии с требованиями настоящего стандарта.
2 Нормативные ссылки
В настоящем стандарте применены следующие нормативные ссылки*. Для датированных документов используются только указанные издания. Для недатированных документов используются последние издания с учетом внесенных в них изменений.
________________
* Таблицу соответствия национальных стандартов международным см. по ссылке. - .
ISO/IEC 15939:2007 Systems and software engineering - Measurement process (Системная и программная инженерия. Процесс измерения)
ISO/IEC 33001:2015 Information technology - Process assessment - Concepts and terminology (Информационные технологии. Оценка процесса. Понятия и терминология)
3 Термины и определения
В настоящем стандарте применены термины, определенные в ИСО/МЭК 33001, ИСО/МЭК 15939, а также следующие термины и определения:
3.1 комплексный метод (aggregation method): Метод, совмещающий набор значений измерений для создания составного значения.
Примечание - Комплексные методы основаны на компенсационных и некомпенсационных моделях.
3.2 компенсационная модель (compensatory model): MCDM-модель, в которой составное измерение включает в себя условия с собственным весом, и где критерии (также см. условия свойств) с высоким значением могут компенсировать критерии с низким значением пропорционально весу каждого из них.
Примечание - Компенсационная модель предполагает, что совершенствование более важных мер (с более высоким весовым коэффициентом) с большей вероятностью повысит или улучшит общее составное значение, нежели совершенствование менее важных мер. Эта модель предполагает, что вес (уровень влияния) критериев остается тем же вне зависимости от измеренного уровня критерия.
3.3 составное измерение (composite measure): Переменная, получаемая из набора операций составных измерений конструкции, определенная в соответствии со спецификацией конструкции (информативной или формирующей); эта спецификация описывает способ, каким представляющая нужную конструкцию скрытая переменная связана с соответствующими измерениями.
3.4 составное значение (composite value): Значение составного измерения.
Примечание - Составное значение может находиться на порядковой шкале, шкале интервалов или отношений.
3.5 конструкция (construct): Параметры (абстрактная идея, изображение, основная тема или предмет), которые необходимо измерить в ходе оценки процесса.
Примечания
1 В системах измерения процесса конструкции (этот термин относится также к скрытым конструкциям) представляют собой теоретические концепции, такие как качественные и количественные свойства процесса.
2 Присваиваемое конструкции значение называется теоретическим определением, которое должно разъяснять ее значение, а также указывает на ее точные размеры (фасеты).
3.6 размерность (dimension): Отдельные компоненты, входящие в многомерную конструкцию.
3.7 формирующая конструкция (formative construct): Конструкция, созданная на базе измерений путем наблюдения при взаимодействии конструкции и соответствующих измерений.
Примечание - Конструкция представляет собой последовательность измерений, каждое из которых является определяющим фактором конструкции.
3.8 скрытая переменная (latent variable): Переменная, представляющая собой одномерную конструкцию.
Примечание - Для каждой размерности конструкции должна присутствовать отдельная скрытая переменная, а для каждой скрытой переменной должно проводиться по меньшей мере одно измерение.
3.9 MCDM - принятие решений с учетом множества критериев или принятие решений с учетом множества параметров (MCDM - Multiple Criteria Decision Making or Multi-Attribute Decision Making): Принятие решений о предпочтениях (например, оценка, расстановка приоритетов и выбор) из имеющихся альтернатив, описываемых множеством критериев.
Примечания
1 Критерий в MCDM соответствует измерению.
2 MCDM с одной альтернативой аналогично разработке комплексного измерения.
3.10 модель измерения (measurement model): Скрытое или явное отношение между скрытой переменной и ее (многокомпонентными) измерениями.
Примечание - Отношения между информативной (формирующей) конструкцией и ее измерением (измерениями) называют информативной (формирующей) моделью измерения.
3.11 многомерная конструкция (multidimensional construct): Конструкция, состоящая из определенного числа одномерных конструкций.
Примечание - Каждое измерение многомерной конструкции называется одномерным и представлено одной скрытой переменной. У каждой размерности может быть несколько измерений. Многомерная конструкция, например значение возможностей, определяемое как общий фактор свойств соответствующего процесса, отличается от случая, когда возможности определяют как сумму свойств процесса. Первый случай представляет собой информативную многомерную конструкцию, а второй - формирующую. Многомерная конструкция может включать в себя неопределенное число уровней.
3.12 некомпенсационная модель (non-compensatory model): MCDM-модель, не допускающая взаимную компенсацию критериев пропорционально их весу.
Примечание - Строго положительные или отрицательные условия непропорционально влияют на общее составное значение, несмотря на то, что весовой коэффициент остается тем же. Существуют разные некомпенсационные модели в зависимости от политики оценки, цели составного измерения и (или) шкалы измерения.
3.13 информативная конструкция (reflective construct): Конструкция, которая в отношениях "конструкция - измерения" рассматривается как объект измерений.
Примечание - Информативная конструкция является ключевым фактором вариативности ее измерений.
3.14
шкала (scale): Упорядоченный набор значений, последовательных или дискретных, либо набор категорий, на которые накладывается свойство. |
3.15 одномерность (unidimensionality): Наличие одной характерной особенности или конструкции, подразумевающей набор измерений.
4 Требования к системам измерения процесса
В настоящем разделе установлены требования к разработке систем измерения процесса. Цель инструкций, содержащихся в настоящем стандарте, состоит в том, чтобы обеспечить лучшее понимание этих требований. Отношения между некоторыми элементами, описанными в настоящем разделе, приведены на рисунке А.1 (приложение А).
Примечание - Инструкции по обеспечению соответствия данным требованиям, включая примеры и методы, будут приведены в руководстве по созданию систем измерения процесса, разрабатываемых в рамках данного семейства стандартов.
4.1 Построение концепции
4.1.1 Требования
a) Система измерений должна определять и характеризовать качественное свойство отдельного процесса.
b) Качественное свойство процесса в системе измерения следует определять на базе многомерной конструкции.
c) Качественное свойство процесса в системе измерения следует определять как набор количественных свойств процесса.
d) Каждое качественное свойство процесса должно определяться своим набором количественных свойств процесса.
e) Каждое свойство процесса, которое не может быть измерено непосредственно, следует считать конструкцией.
f) Свойства процесса в системе измерения процесса необходимо определять как информативные или формирующие.
g) Система измерений должна фиксировать политики и допущения, определяющие ее использование и применение.
4.1.2 Указания
Построение концепции состоит из ее определения и разъяснения. Концепция представляет собой идею или образ, который объединяет в одном термине интересующие феномены (например, характерные особенности, особенности поведения). Список характерных особенностей охватывается обобщающим признаком. Большинство качественных свойств процесса (например, его возможности) не поддаются наблюдению, представляя собой теоретические концепции, именуемые конструкциями.
Комплексные измерения (например, уровня возможностей процесса), используемые в системах измерения процессов, должны определяться на основе модели, состоящей из свойств процесса. Система измерений может быть структурирована в набор уровней, достижение которых предполагается управлением процессом.
Если свойство процесса не поддается непосредственному измерению, его можно определить как конструкцию. Набор свойств процесса должен быть определен для любой конструкции, которая может быть информативной или формирующей.
Участие экспертов и заинтересованных лиц может повысить обоснованность качественного свойства процесса и количественных свойств; аспекты обоснованности приведены в приложении С, раздел С3.
Многомерную конструкцию можно изобразить в виде схемы путей, включая набор измерений и их взаимоотношений. Использование схемы путей делает более понятной сферу применения модели и ее структур.
4.2 Определение конструкции
4.2.1 Требования
a) В определении конструкции должно содержаться определение значения качественного и количественного свойств процесса в системе измерения процесса.
b) Определение конструкции должно прояснять спецификацию качественного и количественного свойств процесса в качестве измерений.
c) Определение конструкции должно предоставлять инструкции по практическому применению качественного и количественного свойств процесса.
d) Определение конструкции должно определять шкалы составных измерений, таких как качественные (например, серии порядковых значений, таких как уровень возможностей) или количественные.
e) По меньшей мере одно из свойств процесса должно включать в себя достижение определенной цели процесса и результата процесса; это называется свойством результативности процесса.
4.2.2 Указания
Качественные и количественные свойства процесса должны описывать интуитивное понимание их представления, их интерпретация может быть разной в зависимости от точки зрения и квалификации оценщика. Поэтому для разъяснения и предоставления значения конструкции оценщику необходимо определить конкретный состав конструкции для измеряемого процесса. В этом состоит процедура определения конструкции.
Уточнение конструкции предполагает, что, например, определение показателя качества процесса, как превосходящей по классу, полностью охватывает свойства процесса на базе спецификации конструкции, а определенные свойства процесса, как имеющие более низкий класс, представляют собой его точные размеры. Скрытую переменную можно присвоить одномерной конструкции модели. Статистические методы, относящиеся к размерности, приведены в приложении С, раздел С.1.
4.3 Практическое применение
4.3.1 Требования
a) Все свойства процесса следует определять в соответствии со спецификацией их конструкции.
b) Соответствие свойствам процесса должно быть подтверждено объективными свидетельствами.
4.3.2 Указания
Если свойство процесса поддается непосредственной оценке с помощью формальных методов оценки, методов автоматической отчетности, опросов (включая анкеты и интервью), наблюдений или иных эмпирических способов, то речь идет о базовом измерении, которое функционально не зависит от других измерений. Если свойство процесса измеряют вместе с несколькими под конструкциями или измерениями, оно может рассматриваться как конструкция. Для измерения конструкции рекомендуется проводить четыре или более базовых измерений, а также выполнить набор статистических тестов (включая проверку модели и спецификации конструкции) в информативной спецификации.
Примечание - Индикаторы оценки, используемые для присвоения оценок свойствам процесса, приведены в ИСО/МЭК 33004, пункт 6.3.4.
4.4 Проверка спецификации конструкции
4.4.1 Требования
Спецификации конструкции качественного свойства процесса и связанные с ним количественные свойства следует проверять путем практического использования и логического обоснования.
4.4.2 Указания
Существует два типа спецификаций конструкций, которые описывают то, как скрытая переменная представляет связь конструкции со своими измерениями (т.е. отношения между одномерной конструкцией и ее измерениями): информативная и формирующая модели измерений. Качественные и количественные свойства процесса можно рассматривать как определяющие факторы или индексы, создаваемые наблюдаемыми измерениями. Первый тип называют информативными (эффективными) конструкциями или информативными моделями измерений, а второй - формирующими (обусловленными) моделями.
Цель информативной модели измерения состоит в измерении отдельного свойства путем проведения нескольких измерений, в то время как в рамках формирующей модели осуществляют попытку обобщить несколько свойств в одном составном значении. Данные спецификации изображены на рисунке В.1 приложения В.
Правила принятия решений при проверке спецификации информативной или формирующей конструкций приведены в таблице 1. Эти правила можно применять к качественным свойствам процесса и его соответствующим характеристикам. Данные правила можно проанализировать путем статистической проверки спецификации конструкции. Подробное описание спецификации конструкции приведено в приложении В.
Таблица 1 - Правила принятия решений для проверки информативной или формирующей модели измерения
Правило принятия решений | Информативная модель измерений | Формирующая модель измерений |
Свойства измерений конструкции | Измерения определяют свойства (аспекты) конструкции | Измерения определяют свойства (аспекты) конструкции |
У измерений общая направленность | Измерения могут не иметь общей направленности | |
Измерения должны быть взаимозаменяемыми | Измерения не должны быть взаимозаменяемыми | |
Содержание измерений должно быть идентичным или схожим | Содержание измерений не должно быть идентичным или схожим | |
Исключение измерения не должно изменять концептуальную область конструкции | Исключение измерения может изменять концептуальную область конструкции | |
Предполагается, что измерения изменяются параллельно друг другу | Измерения не обязательно должны изменяться параллельно друг другу | |
Направление причинной связи между конструкцией и измерениями | Направление причинной связи - от конструкции к комплексным измерениям | Направление причинной связи - от измерений к конструкции |
Изменения, вносимые в отдельное измерение, не должны приводить к изменению конструкции | Изменения, вносимые в конструкцию, не должны приводить к изменению измерений |
В некоторых случаях связи, изображенные на В.1 приложения В, могут иметь более высокий уровень, т.е. концептуальные определения конструкций часто указаны на более абстрактном уровне, куда иногда входит несколько информативных и (или) формирующих измерений первого уровня. Модели более высокого уровня должны иметь теоретическое определение в информативной модели измерения. Проверку определения проводят путем проведения статистического анализа.
4.5 Свойства процесса присвоения оценок
4.5.1 Требования
a) Оценки должны быть присвоены свойствам процесса.
b) Шкалы измерений, т.е. номинальная, порядковая, шкала интервалов, связей, должны быть определены для свойств процесса.
c) Должен быть определен метод измерения, с помощью которого проводится объективное присвоение значения каждому свойству процесса.
4.5.2 Указания
В ходе некоторых оценок могут создаваться рейтинги качественных или количественных свойств процесса для отдельных оцениваемых образцов процесса. С другой стороны, в некоторых оценках, дающих общую картину без присвоения рейтингов, может рассматриваться набор образцов процесса в одном контексте с процессом. Рейтинг свойств процесса может быть основан на формальных оценках, автоматической отчетности, наблюдениях или иных эмпирических способах оценки. В связи с этим шкала для рейтинга базовых измерений должна соответствовать модульности оценки. Бывают случаи, когда рейтинги в автоматической отчетности и наблюдениях были выставлены на основе восприятия, а не объективных свидетельств. К шкале рейтингов для качественных и количественных свойств процесса должны применяться логические обоснования в соответствии со спецификацией конструкции (см. 4.3).
Хорошо организованная документированная процедура оценки свойств процесса обеспечит надежные результаты измерений. Подход к оценке свойств процесса должен быть определен документированной процедурой оценки и может зависеть от класса оценки с учетом ее целей. Таким образом, для данной цели документированная процедура оценки определяет процесс назначения, планирования, проведения и анализа оценки согласно интегрированной схеме оценки. При наличии соответствующей договоренности в организации документированная процедура оценки может быть утверждена после проверки ее соответствия целям проведения измерений.
4.6 Обобщение
4.6.1 Требования
При обобщении должно быть определено составное значение или рейтинг путем совмещения набора значений, полученных при измерении.
a) Следует указать все обобщения, необходимые в рамках системы измерений.
b) Необходимо указать методы обобщения.
c) Методы обобщения должны быть проверены статистически.
d) В методах обобщения должны использоваться единообразные шкалы измерений.
e) Методы обобщения должны соответствовать линиям поведения и допущениям системы измерения.
f) Методы обобщения должны соответствовать спецификациям конструкции.
4.6.2 Указания
Шкалу составного измерения для качественного и количественного свойств процесса следует устанавливать в соответствии со спецификацией конструкции. Количество необходимых обобщений зависит от структуры многомерной конструкции качественного свойства процесса, приведенной в 4.1. В первую очередь в качестве точки обобщения можно считать иерархический порядок конструкций, например качественные и количественные свойства процесса. Уровень каждого качественного свойства процесса на шкале определяется в условиях соответствия набору количественных свойств процесса.
MCDM с одной альтернативой также можно считать методом обобщения для получения значения комплексного измерения. Основой для метода обобщения может быть компенсационная или некомпенсационная модель, в зависимости от спецификации конструкции, политики оценки, цели составного измерения и (или) шкалы измерения. Формирующую модель без ошибок в измерениях можно рассматривать как MCDM компенсационного типа, обобщающую различные аспекты или измерения в одно комплексное значение.
В качестве примера обобщения можно привести комбинацию набора рейтингов свойств процесса для уровня возможностей процесса, исходя из формирующей спецификации. В многомерной конструкции, такой как качественное или количественные свойства процесса, обобщение следует использовать для определения уровня возможностей процесса по набору рейтингов его свойств. Кроме этого, если рейтинг свойств процесса выполняется для каждого из нескольких образцов, необходимо представить методы обобщения.
Шкала рейтингов качественного свойства процесса или его количественных свойств представляет уровень соответствия данным свойствам. Порядковую шкалу можно получить путем преобразования шкалы интервалов или отношений. В результате появятся опорные точки для рейтинга. Например шкалу рейтингов можно применить для выражения степени соответствия свойства процесса его образцу в определенном организационном контексте либо для выражения свойства процесса в нескольких его образцах в рамках определенного организационного подразделения.
Единообразие шкалы измерений предполагает, что преобразование нижнего уровня, начиная с более высокого уровня измерения до более низкого, возможно при соблюдении следующих условий: (i) шкала отношений может быть преобразована в шкалу интервалов, порядковую или номинальную шкалу, (ii) шкала интервалов может быть преобразована в порядковую или номинальную шкалу и (iii) порядковая шкала может быть преобразована в номинальную шкалу. При этом обратное преобразование не допускается.
Составное значение информативной конструкции можно рассчитать путем усреднения или суммирования значений измерений, если удовлетворяются соответствующие условия. Эти методы можно также применить к обобщению подконструкций с целью получить составное значение конструкции более высокого уровня в многомерной конструкции.
Следует проверить наличие посторонних значений, а значения измерений с большими искажениями необходимо преобразовывать по мере необходимости. Посторонние значения можно удалить из обобщенной конструкции. Если в измерениях содержатся разные диапазоны значений, перед действиями с данными необходимо привести их к единой системе измерений. Соответствующий метод приведения необходимо использовать в отношении как теоретической базы, так и свойств данных.
4.7 Анализ чувствительности
4.7.1 Требования
Целью анализа чувствительности является проверка устойчивости комплексного значения. Типы и методы анализа чувствительности зависят от метода присвоения оценок и обобщения в системах измерения процесса.
a) Анализ чувствительности должен быть проведен для шкал измерений свойств процесса.
b) Анализ чувствительности должен быть проведен для методов обобщения.
c) Анализ чувствительности должен быть проведен для весовых коэффициентов (в зависимости от ситуации).
4.7.2 Указания
Устойчивость составного значения оценивают путем анализа неопределенности или анализа чувствительности. В ходе анализа неопределенности проверяют степень неопределенности входящих факторов, например распространение значений по структуре составного измерения и их воздействие на составное значение. В ходе анализа чувствительности проверяют степень влияния каждого отдельного источника неопределенности на конечное расхождение. Анализ чувствительности может быть проведен на базе свойств процесса.
Включение весовых коэффициентов в составное измерение, например в большинство компенсационных моделей, требует проведения анализа чувствительности для весовых коэффициентов, где должен быть указан метод ранжирования веса. Весовые коэффициенты не требуются для некомпенсационных MCDM-моделей.
5 Требования к утверждению систем измерения процесса
5.1 Требования
a) Планирование степени достоверности и действительности систем измерения процесса должно быть осуществлено на начальном этапе стандартизации. В эти планы входят мероприятия, проводимые после процесса стандартизации.
b) Требования к достоверности и пригодности систем измерения процесса должны соответствовать спецификации конструкции.
c) Согласованность (также называемая равнозначностью) как мера достоверности должна быть проанализирована в приложении к свойствам процесса, если речь идет об информативной модели.
d) Области действия должны быть проверены для качественного и количественных свойств процесса в системе измерения процесса.
e) Спецификация конструкции должна быть проверена эмпирически для качественного свойства процесса и его измерений в системе измерения процесса.
f) Внешние факторы (например, цели, критерии и (или) степень соответствия) в системе измерения процесса должны быть задокументированы для последующего анализа пригодности в ходе разработки.
5.2 Указания
Качество свойств процесса проверяют эмпирическими методами, такими как оценка достоверности (особенно если речь идет об информативном измерении) и тесты на пригодность. Системы измерения процесса устанавливают собственные требования к достоверности и пригодности, а также способы подтверждения этих требований. Статистическое подтверждение требований, приведенных в настоящем разделе, должно быть зафиксировано в отдельном документе или приложении к описанию системы измерения процесса.
5.2.1 Достоверность
Общее определение достоверности измерения представляет собой отклонение текущего значения (скрытая переменная) дисперсии от значения общей дисперсии, деленное на значение общей дисперсии измерения. Достоверность относится к степени воспроизводимости (стабильности) и согласованности (равнозначности) измерения в контексте его способности к сбору скрытых переменных. Воспроизводимость предполагает, что повторные оценки (в два разных момента времени в отношении одного процесса с применением аналогичного или альтернативного методов тем же оценщиком) должны давать результаты, которые можно считать идентичными. Согласованность (равнозначность) относится в большей степени к множественным измерениям конструкции в отдельный момент времени, где каждое измерение считается отдельным, но равнозначным согласно фундаментальной концепции. Краткое описание статистических методов оценки достоверности приведено в приложении С, раздел С.2.
Удовлетворительная степень достоверности зависит от того, как используются результаты оценки, полученные системой оценки процесса. Например в примененных настройках, в которых в отношении составного значения принимаются важные решения, в качестве приемлемого рекомендуется высокое значение согласованности (например, 0,9).
В информативных конструкциях одномерность является необходимым условием для анализа достоверности и применимости конструкции.
5.2.2 Применимость конструкции
Качество свойств процесса следует проверять эмпирическими методами, такими как оценка достоверности (если речь идет об информативном измерении) и тесты на пригодность. Проверка достоверности системы измерения процесса - это процедура, которая определяет, имеются ли объективные свидетельства того, что измеряемые качественные или количественные характеристики соответствуют свойствам процесса, а также, что они являются пригодными для измерения по прямому назначению. Некоторые методы проверки могут применяться в ходе стандартной процедуры разработки согласно разделу 4. При этом в данном разделе рассмотрен статистический анализ полученных результатов, в рамках которого систему измерения процесса проверяют в ходе пробных испытаний и (или) после опубликования.
Если качественные или количественные свойства процессов в системе измерения процесса неправильно используют, измеряют или подтверждают статистически, то любое комплексное измерение можно считать недостаточно достоверным или ненадлежащим. Такие качественные или количественные свойства процессов в системе измерения процесса должны быть связаны с его статистической проверкой, несмотря на то, что статистические тесты не являются целью настоящего стандарта. Проблемы обоснованности должны быть рассмотрены при проведении оценки процесса. Проводимые тесты обоснованности зависят от спецификаций конструкции.
Данные внешних измерений следует собирать на объективной или субъективной основе и использовать для проверки предсказательной обоснованности. Описание обоснованности конструкций в краткой форме приведено в приложении С, раздел С.3.
5.2.3 Спецификация конструкции
Спецификации конструкций (также называемые моделями спецификаций) могут быть подвергнуты статистическому тестированию с целью определения, являются ли отношения между качественным свойством процесса и его количественными свойствами формирующими или информативными. При необходимости можно провести изучение путем моделирования. Все обобщения должны соответствовать логике спецификации конструкции.
Примечание - Подтверждающий тетрадный анализ, рассматриваемый в приложении В, раздел В.3, может быть использован для статистического тестирования спецификаций конструкции.
6 Подтверждение соответствия систем измерения процесса
Соответствие требованиям настоящего стандарта может быть подтверждено следующими способами:
- собственным заявлением (первой стороной);
- второй стороной (потребителем, заказчиком);
- третьей стороной (независимыми оценщиками).
Подтверждающая сторона должна получить объективные свидетельства того, что система измерения процесса соответствует требованиям, установленным в разделе 4. Объективные свидетельства предоставляют для демонстрации целостности и согласованности системы измерения процесса.
Приложение А (справочное). Терминологическая карта
Приложение А
(справочное)
Карта терминов, определенных в разделе 3, с указанием требований и инструкций согласно разделу 4, представлена на рисунке А.1 (стрелками показано направление чтения). Качественное свойство процесса разъясняется, описывается и организуется при помощи многомерной конструкции, состоящей из набора одномерных конструкций. Каждая из одномерных конструкций присваивает значение соответствующему феномену. Идентификация и разъяснение конструкции проводятся за счет построения концепции. Конструкция воплощается в ее определении.
Рисунок А.1 - Терминологическая карта
|
Рисунок А.1 - Терминологическая карта
Качественное свойство процесса используют на практике в качестве информативного или формирующего набора количественных свойств процесса. Правила принятия решения представляют собой инструкции по определению свойств процесса. Если свойства процесса определяют как информативные измерения, факторный анализ может помочь определить набор одномерных конструкций. С другой стороны, формирующие свойства процесса могут рассматривать каждое свойство процесса как измерение. Каждое измерение свойства процесса может быть представлено скрытой переменной. С помощью тестов спецификации конструкции можно эмпирически оценить свойства процесса и определить, являются они информативными или формирующими. Рейтинг, полученный в ходе оценки, должен быть присвоен каждому из свойств процесса.
Рейтинги, присвоенные свойствам процесса, обобщают для получения составного измерения, результатом которого является значение (числового или порядкового уровня). Метод обобщения представляет собой разновидность MCDM-модели (компенсационной или некомпенсационной). Выбранный метод обобщения может изменяться под воздействием спецификаций конструкции (т.е. информативной или формирующей), политики оценки (например, компенсационной или некомпенсационной), цели составного измерения и (или) шкалы измерения.
Анализ чувствительности может быть проведен для шкал измерения свойств процесса, методов обобщения и весовых коэффициентов (в зависимости от ситуации). Качественные и количественные свойства процесса должны быть проверены с применением эмпирических методов, таких как оценка достоверности и тесты на пригодность.
Приложение В (справочное). Спецификация конструкции: информативная или формирующая
Приложение В
(справочное)
В настоящем приложении приведено описание трех моделей, которые можно использовать для разработки составных значений (например, уровня качества процесса) путем обобщения значений измерения (например, набора рейтингов свойств процесса). Две спецификации в качестве поясняющего материала представлены на рисунке В.1.
Рисунок В.1 - Отношения между конструкцией и входящими в нее измерениями
|
|
a) информативная спецификация | b) формирующая спецификация |
Рисунок В.1 - Отношения между конструкцией и входящими в нее измерениями
Обозначения, приведенные на рисунке В.1:
- 
- загрузочный параметр, указывающий на соотношение между конструкцией 
и измерением 
;
- 
- ошибочное условие;
- 
- загрузочный параметр измерения ;
- 
- возмущающее условие.
Направление причинных связей имеет важные последствия для свойств процесса в его контексте. Если качественное свойство процесса считается информативным, цель действий должна состоять в получении естественных преимуществ, отраженных в свойствах процесса. Вмешательства, исключительной целью которых являются отдельные свойства процесса, могут отвлекать ресурсы от более важных действий. Вмешательства в формирующей конструкции должны быть направлены в определенные области, связанные со свойствами процесса, которые представляют собой качественные свойства процесса. В этом случае улучшение одного свойства процесса не предполагает улучшения прочих измерений. Правила принятия решений для спецификации конструкций в обобщенной форме приведены в таблице 1.
В.1 Информативная модель
Согласно рисунку В.1а) конструкция теоретически обозначена как абстрактная концепция, которая может быть оценена с применением косвенных составных измерений. Конструкции можно рассматривать как причины измерений. Измерения отражают или проявляют степень изменения конструкции, а вариации конструкции приводят к разным результатам измерений. Смещение в конструкции приводит к смещению всех измерений в том же направлении, поскольку измерения отражают ту же основополагающую конструкцию. Таким образом, осуществляется тесная взаимосвязь между двумя измерениями.
Более того, поскольку измерения имеют идентичное или схожее содержание и предполагается их использование в качестве выборки однородной концептуальной области, надежные измерения являются взаимозаменяемыми, а исключение одного измерения не должно изменять концептуальную область конструкции. При измерении психологических конструкций, таких как черты характера и позиции, рекомендуется использовать измерения информативного типа.
Отношения между конструкцией и ее измерениями представлены в виде уравнения, где каждое измерение зависит от скрытой переменной следующим образом
,
где 
- информативное измерение 
, зависящее от скрытой переменной ;
- коэффициент, представляющий собой ожидаемое воздействие изменения одной единицы в ;
- случайное ошибочное условие представляет собой ошибку измерения.
Правила принятия решений для информативной конструкции приведены в таблице 1.
В.2 Формирующая модель
В формирующей конструкции, представленной на рисунке В.1b), значения измерений рассматриваются как причины конструкции, а конструкция представляет собой составную переменную, сформированную или привнесенную комбинацией ее измерений. Измерения характеризуют набор четко очерченных причин, которые не являются взаимозаменяемыми. Каждое измерение фиксирует определенный аспект области применения конструкции. Таким образом пропуск какого-либо измерения может изменять концептуальную область конструкции, т.е. при этом может иметь место недостаточная обоснованность контента. Поскольку измерения представляют собой разные фасеты области применения конструкции, они не должны быть слишком взаимосвязаны. Сильные взаимосвязи между формирующими изменениями могут воздействовать на стабильность коэффициентов измерения и затруднить выделение конкретного воздействия отдельных мер на конструкцию. Входящие в конструкцию измерения мероприятий или функций обычно считают формирующими конструкциями.
Формирующая конструкция может быть представлена следующим образом
,
где 
- конструкция, оцениваемая ее формирующим измерением ;
- коэффициент, указывающий на влияние измерения на скрытую переменную ; - возмущающее условие, указывающее на эффект пропущенных измерений в модели на переменную .
Правила принятия решений для формирующей конструкции приведены в таблице 1.
В.3 Формирующая модель, не содержащая ошибок (комплексное измерение)
Формирующая конструкция может быть представлена безошибочного условия, указанного на рисунке В.1b), т.е. возмущающее условие предположительно равно нулю. Далее конструкция работает как MCDM-процесс и указывает на комплексное измерение, определяемое комбинацией набора измерений 
, которым присвоены весовые коэффициенты по степени важности или приоритету таких измерений. Взаимоотношения можно представить следующим образом
,
где 
- составное измерение с весовыми коэффициентами.
В данном уравнении, если известны все условия 
, является не скрытым, а составным значением. Процедура подтверждения комплексного измерения перекрывает формирующую модель, описанную выше. В настоящем стандарте приведены все различия между формирующей конструкцией и комплексным измерением, если это необходимо.
Приложение С (справочное). Методы статистической проверки
Приложение С
(справочное)
При наличии данных, полученных в результате использования системы измерения процесса, может быть проведен статистический анализ для подтверждения соответствия применимым требованиям, как это описано в разделе 5. В настоящем приложении приведены примеры статистических методов определения соответствия требованиям раздела 5.
С.1 Размерность
Статистическое тестирование размерности следует применять только для информативных спецификаций. Оценку методом факторного анализа (EFA) и ее подтверждение (CFA) можно использовать для определения количества измерений, которые определяют набор измерений и тестируют одномерность каждого измерения согласно [1], [2].
С.1.1 Исследование методом факторного анализа (EFA)
EFA следует использовать для исследования размерности измерительного инструмента путем поиска наименьшего числа доступных для интерпретации факторов, которые необходимы для объяснения взаимосвязей в наборе измерений. Оценка EFA не определяет структуру линейных взаимоотношений между наблюдаемыми переменными и факторами. В EFA структура факторной модели или основополагающая теория неизвестны. Данные используют для идентификации количества факторов и качества измерений. Таким образом, EFA можно рассматривать как метод, способствующий построению теории. Это действительно только для информативных моделей измерений.
С.1.2 Подтверждающий факторный анализ (CFA)
CFA непосредственно относится к моделям измерений, т.е. к отношениям между наблюдаемым измерениями и скрытыми переменными или факторами. В CFA анализ должен определять количество основополагающих факторов на базе теории. CFA обеспечивает оценку эффекта метода и проверку стабильности или вариативности факторной модели с течением времени. Более того, CFA следует проводить до спецификации структурной модели уравнения.
С.2 Достоверность
Оценку достоверности и пригодности конструкций применяют только в отношении информативных спецификаций. Существуют различные методы оценки достоверности, такие как повторение теста, альтернативная форма, метод расщепления и внутренняя совместимость (для оценки достоверности следует применять математический аппарат теории надежности) согласно [6]. Эти четыре метода обычно относятся к категориям воспроизводимости (стабильности) и согласованности (равнозначности) в рамках базовых стратегий, используемых для оценки пригодности. Воспроизводимость (стабильность) предполагает, что повторные оценки (в два разных момента времени в отношении одного процесса с применением аналогичного или альтернативного метода тем же оценщиком) должны давать результаты, которые можно считать как идентичными согласно [36]. Оценку следует проводить с использованием методов повторения тестов и альтернативной формы. Согласованность (равнозначность) относится в большей степени к множественным измерениям конструкции в отдельный момент времени, где каждое измерение считается отдельным, но равнозначным согласно фундаментальной концепции. Для измерения такой согласованности следует использовать методы расщепления и внутренней совместимости.
Если оценщикам предоставлены одинаковые свидетельства, как правило им должны быть присвоены аналогичные оценки. Однако на практике оценки являются достаточно субъективными, что делает очень маловероятным полную согласованность оценок во всех случаях. Согласованность оценок (иногда называемая внешней достоверностью оценок) зависит от степени, в которой оценки одного процесса с использованием одних стандартов двумя разными группами оценщиков дают одинаковые результаты. В качестве меры достоверности оценок процессов используют коэффициент Каппа Коэна по [14]. Однако вследствие присущего ему парадокса в оценке процесса предполагается использование индекса наблюдаемого соглашения по [41].
С.3 Пригодность
Пригодность конструкции отражает степень точности ее работы при практическом использовании. В настоящем разделе приведены такие факторы пригодности, как внешние признаки, содержимое, предсказательная обоснованность, параллельность, сходимость и дискриминативность. Эти факторы обоснованности могут быть применены к информативным моделям измерений. Такие факторы обоснованности, как поверхность и содержимое, применимы также к формирующим моделям.
С.3.1 Внешние признаки пригодности
Внешние признаки пригодности относятся к измерениям на базе практического применения. С их помощью определяют точность переноса конструкции. В частности, определяется, насколько точно проводимые измерения охватывают нужные темы, а также то, насколько результаты измерений отражают мнение экспертов. Внешние признаки пригодности подразумевают критический обзор измерений после их разработки.
Внешние признаки пригодности проверяю, например, при определении качественных характеристик процесса, свойств процесса, результатов, практических методов и соответствий.
С.3.2 Репрезентативность пригодности
Репрезентативность пригодности определяет, насколько такие измерения как практическое использование описывают конструкцию, обозначаемую скрытой переменной. Репрезентативность пригодности зависит от степени, в которой инструмент измерения отражает определенную область контента с учетом количества и охвата отдельных его измерений. В теоретическом определении конструкции должны быть указаны область и измерения концепции. Для целей определения репрезентативности входе проектирования и разработки системы измерения процесса должны точно соблюдаться установленные процедуры.
С.3.3 Прогнозируемая пригодность
Для целей определения пригодности критериев сравнивают измерение с какой-либо стандартной переменной, с которой оно было бы связано в случае валидности. Прогнозируемая пригодность рассматривает последующие критерии 
, которые коррелируют с соответствующими измерениями 
. Чем выше корреляция между (например, уровнем) и (например, результативностью), тем выше пригодность измерения по данному критерию. Коэффициент пригодности может варьироваться в зависимости от критерия и степени связанной с ним ошибки, даже если характеристики измерения остаются теми же.
Оценку параллельной пригодности проводят путем корреляции измерения с критерием в конкретный момент времени. Разницу между сравнительной и прогнозируемой пригодностью определяют в момент времени, в который проводят оба измерения.
Для целей прогнозируемой или сравнительной пригодности уровень соответствия качественной характеристике процесса должен быть связан с внешним (внешними) измерением (измерениями) согласно 5.1d). Для примера в качестве теста следует задать вопрос: "Повышает ли увеличение уровня возможностей способность выдерживать утвержденный график?".
С.3.4 Уточненная пригодность
Уточненная пригодность отражает степень идентичности результатов, обеспечиваемых различными методами измерений. Каждое отдельное измерение можно рассматривать как отдельный метод оценки одной конструкции. Проводят анализ ответа на вопрос: "Присутствует ли значительная связь между информативными измерениями с соответствующей конструкцией?"
С.3.5 Сравнительная пригодность
Сравнительная пригодность оценивает степень отличия конструкции и ее измерений от какой-либо другой конструкции и ее измерений. Для обоснованного измерения вариативность должна отражать только ту разницу, которая относится к соответствующей этому измерению скрытой переменной, а не к другим скрытым переменным. Сравнительная пригодность представляет собой набор конструкций, которые оценивают после установления сравнительной пригодности отдельных конструкций. В качестве примера можно привести вопрос о том, в какой степени порядковая шкала уровня возможностей представляет собой отдельную конструкцию.
С.4 Спецификация конструкции
Подтверждающий тетрадный анализ (СТА) используют для спецификации статистически тестируемой конструкции (информативные или формирующие спецификации). Термин "подтверждающий" предполагает, что модель указана заранее. Термин "тетрадный" относится к разнице между результатом одной пары ковариаций и результатом другой пары согласно [3]. СТА следует использовать для тех моделей, которые не были полностью идентифицированы или вложены и которые не могут быть тестированы обычным способом. Более того, для СТА не требуется числовая минимизация, что дает возможность избежать связанных с ним проблем обобщенности, присущих другим подходам к оценке. СТА может быть проведен с помощью процедуры CTA-SAS согласно [35], [44].
Приложение D (справочное). Методы реализации требований к системам измерения процесса
Приложение D
(справочное)
В настоящем приложении приведен обзор методов реализации требований к системам измерения процесса. Неполный список методов представлен в таблице. Фазы процесса определяют шаги разработки системы измерения процесса.
Определение | Методы. Ссылки | |
Фаза 1 Разработка концепций/конструкций (информативных или формирующих) | ||
Теоретическая концепция (система) | Общая картина, демонстрирующая конструкции и их отношения в соответствии с теорией и (или) предварительными исследованиями характеристик или свойств процесса, оцениваемых с помощью системы измерения процесса | Лоу и др. [10]. |
Теоретическое определение конструкций | В теоретическом определении указаны области и размерности конструкции и приведена классификация спецификаций конструкции по информативным и формирующим. Вопросы формирующих систем в SEM рассмотрены Эдвардсом [19] | Максвелл [11]. |
Фаза 2 Практическое использование (разработка результатов и (или) практических методов в виде измерительных инструментов) (информативные и формирующие) | ||
Признак пригодности | Степень точности, с которой конструкция преобразуется в инструмент измерения. В частности, степень, в которой измерительный инструмент измеряет то, что должен | Коэффициент валидности контента Лоуша [15]. |
Репрезентативность пригодности | Степень, в которой результаты и (или) практические методы измерительного инструмента представляют область применения, т.е. проверка практического использования в контексте соответствующей области применения конструкции | Коэффициент валидности контента Лоуша [15]. |
Ментальные эксперименты и (или) правила принятия решений в ходе практического использования | Ментальные эксперименты или правила принятия решений для определения информативного или формирующего типа | Правила принятия решений (Джарвис и др. [20], Петтер и др. [21]). |
Фаза 3 Проведение подтверждающего тетрадного теста с целью определить, является ли конструкция информативной или формирующей | ||
Подтверждающий тетрадный тест (СТА) | Статистический тест, определяющий, является ли конструкция информативной или формирующей | Тинг [44], Боллен и др. [34]. |
Фаза 4 Проверка одномерности конструкций (статистический тест можно использовать только для информативной конструкции) | ||
Одномерность | Степень, в которой наблюдаемые измерения (например, свойства процесса) непосредственно связаны друг с другом и представляют собой единую концепцию (Гатти [8]). Составное значение, рассчитанное как сумма невзвешенных рейтингов элемента, могут быть использованы как расчетное значение соответствующей конструкции в условиях одномерности (Гербинг и Андерсон [13], с.186) | Приложение В. |
Фаза 5 Валидация конструкций (только для информативных) | ||
Достоверность | Инструмент измерения, применимый к одному объекту, например экземпляру процесса, дает каждый раз один и тот же результат. Надежность составного значения в информативной модели обычно оценивают с помощью альфы Кронбаха ( | Карминес и Зеллер [36]. |
Уточнение пригодности | Степень, в которой несколько методов измерения конструкции или переменной дают одинаковые результаты. Каждое измерение элемента в конструкции можно рассматривать как отдельный метод оценки одной конструкции | Кэмпбелл и Фиске [36]. |
Сравнительная пригодность | Степень отличия концепции и ее измерений от какой-либо другой концепции и ее измерений. Недостаток связей среди измерений, которые теоретически не связаны | AVE (Форнелл и Ларкер [39]). |
Фаза 6 Обобщенные рейтинги элементов с целью получения составного значения (информативного или формирующего) | ||
Обобщение для информативного значения | Суммы, средние, значения факторов и др. | Браун [2]. |
Обобщение для формирующего значения | Компенсационные и некомпенсационные модели (формирующие) | Приложение С. |
Фаза 7 Проведение анализа чувствительности | ||
Анализ чувствительности | Оценивают устойчивость составного значения | Пример: ISO/IEC 15504 (Юнг [23], испытания SPICE [43]). |
Фаза 8 Проведение дополнительных тестов валидности | ||
Прогнозируемая пригодность | Степень, в которой конструкция коррелирована с внешним критерием в будущем | Корреляция, регрессия и прочее (Боллен [1], Браун [2], Эль Эмам и Бирк [38], Трохим и Доннелли [6]) |
Параллельная пригодность | Степень корреляции конструкции с существующим внешним критерием | Корреляция, регрессия и прочее (Боллен [1], Браун [2], Трохим и Доннелли [6]) |
Обобщающая пригодность | Степень, в которой конструкции теоретической системы связаны друг с другом в соответствии с теорией и (или) результатами предыдущего исследования | Корреляция, регрессия и прочее (Боллен [1], Браун [2], Трохим и Доннелли [6]) |
). Три типа достоверности (Форнелл и Ларкер, 1981 г.):Приложение ДА (справочное). Сведения о соответствии ссылочных международных стандартов национальным стандартам
Приложение ДА
(справочное)
Таблица ДА.1
Обозначение ссылочного международного стандарта | Степень | Обозначение и наименование соответствующего национального стандарта |
ISO/IEC 15939:2007 | - | * |
ISO/IEC 33001:2015 | - | * |
* Соответствующий национальный стандарт отсутствует. |
Библиография
General | |
[1] | Bollen K.A. Structural Equations with Latent Variables. Wiley, New York, 1989 |
[2] | Brown T.A. Confirmatory Factor Analysis for Applied Research. The Guilford Press, New York, 2006 |
[3] | Kelley T.L. Crossroads in the Mind of Man. Stanford University Press, California, 1928 |
[4] | Nardo M. Handbook on Constructing Composite Indicators: Methodology and User Guide [online]. 2005 [Viewed 1 Feburary 2014]. Available from: |
[5] | SCAMPIUPGRADE TEAM. Standard CMMI® Appraisal Method for Process Improvement (SCAMPISM) A, Version 1.2: Method Definition Document (CMU/SEI-2006-HB-002). 2006 [Viewed 1 Feburary 2014]. Available from http://www.sei.cmu.edu/reports/06hb002.pdf. |
[6] | Trochim W.M.K., & Donnelly J.P. Research Methods Knowledge Base. 2007 [Viewed 1 Feburary 2014]. Available from. |
[7] | Venkatraman N. Strategic orientation of business enterprises: The construct, dimensionality, and measurement. Management Science. 1989, 35(8), 942-962. ISSN: 0025-1909 (print), 1526-5501 (online) |
Develop construct | |
[8] | Hattie J. Methodology review: assessing unidimensionality of tests and Itenls. Applied Psychological Measurement. 1985, 9(2), 139-164. ISSN: 0146-6216 (print), 1552-3497 (online) |
[9] | Johnson R. To aggregate or not to aggregate: Steps for developing and validating higher-order multidimensional constructs. Journal of Business and Psychology. 2011, 26(3), 1-8. ISSN: 0889-3268 (print), 1573-353X (online) |
[10] | Law Toward a taxonomy of multidimensional constructs. Academy of Management Review. 1998, 23 (4), 741-755. ISSN: 0363-7425 (print), 1930-3807 (online) |
[11] | Maxwell J.A. Qualitative Research Design: An interactive Approach. Sage Publications, CA, Second Edition, 2005 |
[12] | Miles M.B., & Huberman A.M. Qualitative Data Analysis. Sage Publications, CA, 1994 |
[13] | Gerbing D.W., & Anderson J.C. An updated paradigm for scale development incorporating unidimensionality and its assessment. Journal of Marketing Research. 1988, 25(2), 186-192. ISSN:0022-2437 (print), 1547-7193 (online) |
Operationalization and measurement models | |
[14] | Cohen J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement. 1960, 20(1), 37-46. ISSN: 0013-1644 (print), 1552-3888 (online) |
[15] | Lawshe C.H. A quantitative approach to content validity. Personnel Psychology. 1975, 28(4), 563-575. ISSN: 1744-6570 (online) |
[16] | Diamantopoulos A. Incorporating formative measures into covariance-based structural equation models. MIS Quarterly. 2011, 35(2), 335-358. ISSN: 0276-7783. |
[17] | Diamantopoulos A., & Winklhofer H.M. Index construction with formative indicators: An alternative to scale development. Journal of Marketing Research. 2001. 38(2), 269-277. ISSN:0022-2437 (print), 1547-7193 (online) |
[18] | Edwards J., & Bagozzi R. On the nature and direction of relationships between constructs and measures. Psychological Methods. 2000, 5(2), 155-174. ISSN: 1082-989 (print), 1939-146 (online) |
[19] | Edwards J.R. The Fallacy of Formative Measurement. Organizational Research Methods. 2011, 14(2), 370-388. ISSN: 1094-4281 (print), 1552-7425 (online) |
[20] | Jarvis C.B. A critical review of construct indicators and measurement model misspecification in marketing and consumer research. Journal of Consumer Research. 2003, 30(2), 199-218. ISSN:0093-5301 (print); 1537-5277 (online) |
[21] | Petter S. Specifying formative constructs in information systems research. MIS Quarterly. 31 (4), 623-656. ISSN: 0276-7783 |
Aggregation | |
[22] | Brannick M.T., & Brannick J.P. Nonlinear and noncompensatory processes in performance evaluation. Organizational Behavior and Human Decision Processes. 1989, 44(1), 97-122. ISSN:0749-5978 |
[23] | Jung H.W. Process attribute rating and sensitivity analysis in process assessment. Journal of Software: Evolution and Process. 2012, 24(4), 401-419. ISSN: 2047-7481 (online) |
[24] | Munda G., & Nardo M. Weighting and aggregation for composite indicators. European Conference on Quality in Survey Statistics (Q2006). Cardiff, UK, 2006 |
[25] | Munda G., & Nardo M. Noncompensatory/nonlinear composite indicators for ranking countries:a defensible setting. Applied Economics. 2009, 41(12), 1513-1523. ISSN 0003-6846 (print), 1466-4283 (online) |
[26] | Rijsdijk S.A. Product intelligence: its conceptualization, measurement and impact on consumer satisfaction. Journal of the Academy of Marketing Science, 2007, 35(3) 340-356. ISSN: 0092-0703 (print) 1552-7824 (online) |
[27] | Saaty T.L. How to make a decision: the analytic hierarchy process. European Journal of Operational Research. 1990, 48(1), 9-26. ISSN: 0377-2217 |
[28] | Saltelli A. Sensitivity Analysis in practice: A Guide to Assessing Scientific Models. John Wiley& Sons Ltd, West Sussex, UK, 2004 |
[29] | Saltelli A. Global Sensitivity Analysis: The Primer. John Wiley & Sons Ltd, West Sussex, UK, 2008 |
[30] | Yoon K.P., & Hwang C.-L. Multiple Attribute Decision Making: An Introduction. CA: Thousand Oaks, 1995 |
[31] | Zhou P. Weighting and aggregation in composite indicator construction: A multiplicative optimization approach. Social Indicator Research. 2010, 96(1), 169-181. ISSN: 0303-8300 (print), 1573-0921 (online) |
[32] | Zhou P. Data aggregation in constructing composite indicators: A perspective of information loss. Expert Systems with Applications. 2010, 37(1), 360-365. ISSN: 0957-4174 |
Validity tests | |
[33] | BENTLER. P.M., D.G. BONETT. Significance tests and goodness of fit in the analysis of covariance structures. Psychological Bulletin. 1980, 88(3), 588-606. ISSN: 0033-2909 (print), 1939-1455 (online) |
[34] | BOLLEN. K.A. et al. Practical application of the vanishing tetrad test for causal indicator measurement models: An example from health-related quality of life. Statistics in Medicine. 2009, 28(10), 1524-1536. ISSN: 1097-0258 (online) |
[35] | BOLLEN, K.A., K.-F. TING. A tetrad test for causal indicators. Psychological Methods. 2000, 5(1)3-22. ISSN: 1082-989 (print), 1939-146 (online) |
[36] | CAMPBELL. D.T., D.W. FISKE. Convergent and discriminant validation by the multitrait multimethod matrix. Psychological Bulletin. 1959, 56(2) 81-105. ISSN: 0033-2909 (print), 1939-1455 (online) |
[37] | CARMINES. E., R. ZELLER. Reliability and Validity Assessment. CA: Thousand Oaks, 1979 |
[38] | EL EMAM. K., A. BIRK. Validating the ISO/IEC 15504 measure of software requirements analysis process capability. IEEE Transactions on Software Engineering. 2000, 26(6), 541-566. ISSN 0098-5589 |
[39] | FORNELL. C., D.F. LARCKER. Evaluating Structural Equation Models with Unobservable Variables and Measurement Error. Journal of Marketing Research. 1981, 18(1), 39-50. ISSN: 0022-2437 (print), 1547-7193 (online) |
[40] | HIPP. J.R., et al. Conducting tetrad tests of model fit and contrasts of tetrad-nested models: A new SAS macro. Structural Equation Modeling: A Multidisciplinary Journal. 2005, 12(1) 76-93. ISSN 1070-5511 (print), 1532-8007 (online) |
[41] | JUNG. H.-W. Evaluating interrater agreement in SPICE-based assessments. Computer Standards&lnterfaces. 2003, 25(5), 477-499. ISSN: 0920-5489 |
[42] | NUNNALLY. J.C., H.H. BERNSTEIN. Psychometric Theory. 3 ed. NY: McGraw-Hill, 2004 |
[43] | SPICE TRIALS. SPICE Phase 2 Trials Final Report. ISO/IEC JTC1/SC7/WG10.1999, [Viewed 1 Feburary 2014]. Available from: http://goo.gl/0pMK6 |
[44] | TING. K.-F. Confirmatory tetrad analysis in SAS. Structural Equation Modeling. 1995, 2(2), 163-171, 1995. ISSN 1070-5511 (print), 1532-8007 (online) |
[45] | Werts C. Interclass reliability estimates: Testing structural assumptions. Educational and Psychological Measurement, 1974, 34(1), 25-33. ISSN: 0013-1644 (print), 1552-3888 (online) |
УДК 006.034:004.05:004.054 | ОКС 35.080 | IDT |
Ключевые слова: оценка процесса, модели процесса, система измерения процесса, показатели качества процессов, свойства процесса, конструкция |
Электронный текст документа
и сверен по:
официальное издание
М.: Стандартинформ, 2017
