База ГОСТовallgosts.ru » 03. УСЛУГИ. ОРГАНИЗАЦИЯ ФИРМ, УПРАВЛЕНИЕ И КАЧЕСТВО. АДМИНИСТРАЦИЯ. ТРАНСПОРТ. СОЦИОЛОГИЯ. » 03.120. Качество

ГОСТ Р 50779.90-2014 Статистические методы. Требования к информации о программном обеспечении, используемом при разработке нормативных документов

Обозначение: ГОСТ Р 50779.90-2014
Наименование: Статистические методы. Требования к информации о программном обеспечении, используемом при разработке нормативных документов
Статус: Действует
Дата введения: 12/01/2015
Дата отмены: -
Заменен на: -
Код ОКС: 03.120.30
Скачать PDF: ГОСТ Р 50779.90-2014 Статистические методы. Требования к информации о программном обеспечении, используемом при разработке нормативных документов.pdf
Скачать Word:ГОСТ Р 50779.90-2014 Статистические методы. Требования к информации о программном обеспечении, используемом при разработке нормативных документов.doc

Текст ГОСТ Р 50779.90-2014 Статистические методы. Требования к информации о программном обеспечении, используемом при разработке нормативных документов



ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

<ш>


НАЦИОНАЛЬНЫЙ

СТАНДАРТ

РОССИЙСКОЙ

ФЕДЕРАЦИИ


ГОСТР

50779.90—

2014/

ISO/TR

13519:2012


Статистические методы

ТРЕБОВАНИЯ К ИНФОРМАЦИИ О ПРОГРАММНОМ ОБЕСПЕЧЕНИИ, ИСПОЛЬЗУЕМОМ ПРИ РАЗРАБОТКЕ НОРМАТИВНЫХ ДОКУМЕНТОВ

ISO/TR 13519:2012

Guidance on the development and use of ISO statistical publications supported by software

(IDT)

Издание официальное

Москва

Стаидартинформ

2015


Предисловие

1    ПОДГОТОВЛЕН Открытым акционерным обществом «Научно-исследовательский центр контроля и диагностики технических систем» (АО «НИЦ КД») на основе собственного аутентичного перевода стандарта, указанного в пункте 4

2    ВНЕСЕН Техническим комитетом по стандартизации ТК 125 «Применение статистических методов»

3    УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 29 октября 2014 г. Ne 1454-ст.

4    Настоящий стандарт идентичен международному документу ISO/TR 13519:2012 «Требования к информации о программном обеспечении, используемом при разработке нормативных документов» (ISO/TR 13519:2012 «Guidance on the development and use of ISO statistical publications supported by software»).

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5 - 2004 (подраздел 3.5)

5    8ВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в ГОСТ Р 1.0—2012 (раздел 8). Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты». а официальный текст изменении и поправок - в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной сислюме общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (gost.ru)

€> Стандартны форм. 2015

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

Введение

В настоящем стандарте установлены требования по разработке документов в области статистических методов, поддерживаемых программным обеспечением.

В стандарте рассмотрены следующие аспекты:

-    прослеживаемость данных, используемых в программном обеспечении (чисел, графиков, таблиц и других количественных данных);

-    требования к программному обеспечению;

-    категории поддержки программного обеспечения:

-    функционирование программного обеспечения, включая использование контрольных данных для тестирования программ.

Все ссылки на коммерческие программные продукты любого вида (включая программное обеспечение, данные или аппаратные средства) или ссылки на сайты не предполагают необходимости получения разрешения, одобрения или рекомендаций со стороны разработчика, а также и какой-либо ответственности со стороны пользователя.

Ill

ГОСТ Р 50779.90—2014 /ISOfTR 13519:2012

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Статистические методы

ТРЕБОВАНИЯ К ИНФОРМАЦИИ О ПРОГРАММНОМ ОБЕСПЕЧЕНИИ, ИСПОЛЬЗУЕМОМ ПРИ РАЗРАБОТКЕ НОРМАТИВНЫХ ДОКУМЕНТОВ

Statistical methods. Requirements to information about software, used in development of normative documents

Дата введения — 2015—12—01

1    Область применения

В настоящем стандарте установлены требования к разработке и использованию документов, поддерживаемых программным обеспечением (далее документов). В первую очередь эти требования относятся к документам в области статистических методов, однако они применимы и к другим документам.

В стандарте даны рекомендации по обеспечению прослеживаемости данных, используемых в программном обеспечении документа (графиках, таблицах и других числовых данных).

В настоящем стандарте приведены требования к информации, которая должна быть включена е документ, относящейся к программному обеспечению, категориям поддержки программного обеспечения и функционированию программного обеспечения, включая набор данных, используемый для тестирования.

В стандарт включены примеры, иллюстрирующие его применение.

2    Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

2.1    алгоритм (algorithm): Пошаговая процедура, описывающая порядок выполнения вычислений с детализацией, достаточной для разработки соответствующего программного обеспечения.

2.2    программные данные (data product): Цифровые данные, включая рисунки и графики, представленные в цифровой форме.

Пример 1 — Числовая таблица.

Пример 2 -Рисунок, представленный в цифровой форме, как набор пикселей.

2.3    область применения (domain of applicability): Набор входных данных, для которых программное обеспечение должно работать установленным способом.

2.4    числовая точность (numerical accuracy): Точность числовой величины, выраженная в виде количества правильных десятичных цифр в абсолютной или относительной форме представления числа.

2.5    параметризация задачи (problem parametri2ation): Математическое описание задачи, включающее установленный набор параметров.

Примечание -Как правило, в описании использовано более одного параметра.

Пример - Уравнение прямой с двумя переменными (См. ISO/TS 28037:2010).

Прямая может быть представлена в виде Y * А» ♦ AiX и У « 8» ♦ В* (Х~ 100) (и другими способами). Вторая форма более предпочтительна, если она должна быть использована как модель линейной регрессии, где Ж - температура по Цельсию близкая к 100 °С (см. ISO/TS 28037:2010).

2.6    контрольные данные (reference data): Данные, используемые для тестирования элементов программного обеспечения при выполнении вычислений.

2.7    контрольный результат (reference resutt(s)): Результат, который должен быть получен при выполнении вычислений в соответствии с установленным алгоритмом с использованием контрольных данных.

Издание официальное

Примечай и е - Контрольный результат не зависит от тестируемого программного обеспечения и числовой точности, если она выше, чем требуемая тофюсть результатов тестируемого программного обеспечения.

2.8    результат тестирования (test resutt(s)): Результат, полученный при тестировании программного обеспечения при выполнении вычислений в соответствии с установленным алгоритмом с использованием контрольных данных.

2.9    тестируемое программное обеспечение (test software): Программное обеспечение, для которого проводят тестирование.

2.10    интервал округления (unit roundoff): Расстояние от 1.0 до самого близкого числа с плавающей запятой строго меньшего 1.0.

Примечания:

1    - См. IEEE 754:2008 <см.(1]).

2    - Числа с плавающей запятой являются частью системы вычислений, используемой для получения статистических результатов.

3    - Все значения, приведенные в настоящем стандарте, получены на компьютере, имеющем интервал округления 2.22 * 10'.

3 Прослеживаемость данных

3.1    Документ должен обеспечивать прослеживаемость до достоверных источников всех использованных числовых данных, включая графики и рисунки. Такие данные называют программными данными в отличие от источника или исходных данных.

3.2    Прослеживаемость данных обеспечивается представлением информации об исходных данных и процессах, с помощью которых получены программные данные из исходных данных. Этот процесс называют преобразованием данных.

Примечание - Прослеживаемость достоверности опубликованных денных жизненно важна для научных работ и практического применения статистических методов.

3.3    При разработке документа происхождение программных данных должно быть описано, чтобы программные данные могли быть воспроизведены и обновлены при необходимости.

Примечание-Вопросы прослеживаемости рассмотрены в ИСО 19115-1 (см. [5]). Этот стандарт разработан для географической информации в форме цифровых данных, но его принципы применимы и к другим данным. Стандарт ИСО 19115-1, как правило, применяют к задачам, требующим создания и использования крупномасштабных баз данных. Настоящий стандарт ориентирован на существенно меньшие объемы данных, но некоторые понятия ИСО 19115-1 8 этом случае также полезно использовать.

3.4    Для всех программных данных используемые исходные данные и примененные преобразования данных следует записывать достаточно подробно, что обеспечивает возможность воспроизведения программных данных. Для этого в соответствующем программном обеспечении должны быть приведены необходимые прямые ссылки.

3.5    Если программные данные представляют собой график или рисунок, прослеживаемость охватывает и необходимую разрешающую способность. Для цифровых данных прослеживаемость касается количества необходимых десятичных знаков.

Пример - Программные данные, полученные с применением MATLAB и LATbX.

Все числовые таблицы в ISO/TS 28037:2010 были получены с использованием MATLAB и LATbX для создания PDF- версии /SO TS/28037:2010. Таблица содержит данные, полученные преобразованием (с помощью MATLAB) набора данных, соответствующего точкам (источникам данных) или данным, полученным с помощью моделирования на основе информации источника данных. При разработке проекта отражены все изменения в источнике данных и преобразования, использованные для получения программных данных. Проверка ( при подготовке к изданию) показала, что никаких ошибок преобразований в числовых таблицах нет. Исходные данные и детали преобразований установлены в iSO/TS 28037:2010.

Исходные данные и преобразования приведены в iSO/TS 28037:2010.

Примечания:

1    - Разработчик программного обеспечения можег поддерживать соответствующий веб-сайт для обеспечения прослеживаемости данных и программного обеспечения.

2    - MATLAB является торговой маркой программного продукта, поставляемого MathWorks Inc.

3.6    К десятичным числам применяют правила округления, установленные в приложении В ИСО 80000-1:2009 (см.[6)).

2

4 Требования программного обеспечения

Документ должен содержать требования программного обеспечения, которые могут быть полезны при его использовании. Программное обеспечение, как правило, касается статистических вычислений. Требования программного обеспечения должны включать следующие элементы:

a)    входы програм много обеспечен ия;

b)    выходы программного обеспечения:

c)    преобразование входов в выходы;

d)    связь входов и выходов и промежуточных значений с характеристиками, использованными в документе:

e)    функционирование программного обеспечения с указанием числовой точности результатов (см. также 6.2).

Пример 1 - см. ИСО 13528:2005 «Статистические методы при экспериментальной проверке компетентности посредством межлабораторных сравнительных испытаний».

В подразделе 8.6 ИСО 13528:2005 приведен пример построения графика стандартного отклонения повторяемости для каждой лаборатории, участвующей в схеме проверки квалификации, по сравнению с соответствующим средним арифметическим по всем лабораториям. Также построена доверительная область, соответствующая уровню значимости (1 - Р) в предположении о нормальности распределения. В этом случае требования программного обеспечения имеют вид:

a)    Входные данные:

р - количество участвующих лабораторий:

п - количество повторных измерений характеристики:

х, - среднее значение характеристики для i-той лаборатории, / в fр,

S; — стандартное отклонение в пределах лаборатории для Lтой лаборатории I в 1,...,р;

Р-уровень значимости (например, 0,05).

b)    Выходные данные:

х — координата на оси X, определяющая границу доверительной области с уровнем значимости 100Р %;

s - соответствующая координата на оси Y.

c)    Выходы получены из входов с использованием:

значений х, лежащих в интервале от (X -(vfn)^m S ) до (X + (у/п)^: S), где

у v =

и значений s, соответствующих этим значениям х,

(fT*

±(2п - 2у'Р |v-[rt,/:(jr-X)/.? J J

где X * х*- робастное среднее хи ...» хР и S a s - робастное объединенное значение sf,...» sP (см. перечисление d);

d) Связь входов и выходов и соответствующих промежуточных значений: Параметры, перечисленные в а) и Ь) и их взаимосвязь описаны в подразделе 8.6.1 ИСО 13528:2005.

Значение х* вычисляют с помощью алгоритма А, приведенного е п.С.1 приложения С ИСО 13528:2005.

s в w. Значения tv* вычисляют с помощью алгоритма S, приведенного в п. С.2 приложения С ИСО 13528:2005.

Для расчета s используют формулу (41) е ИСО 13528:2005.

е) Функционирование программного обеспечения

Для входных значений, лежащих в пределах установленной области применения, стандартные отклонения и средние значения должны быть представлены в виде десятичного числа с одним и тем же установленным количеством значащих цифр (обычно 1 или 2).

В каждом конкретном случае должны быть заданы конкретные числовые значения входных параметров (р, п, хв s, и Р). Рисунок 11 в ИСО 13528:2005 является примером графика, построенного по точкам (xlt sj, i a 1, ..., p. На рисунке также приведены границы доверительных областей, соответствующих уровню значимости Р для Р в (0,001: 0,01:

0,057.

Пример 2-см. ISO/TS 28037:2010

В разделе 9 ISO/TS 28037:2010 приеедем пример получения оценок а и Ь параметров А и В линейной калибровочной функции Y * А+ВХ с переменными X и Y. Результаты измерений значений х, и yh переменных X и Y, а также соответствующая им стандартная неопределенность u(yj и ковариация соу (у* у) для каждой пары чисел (у* у), 1*1, ..., т, j * 1, ...» mt J # / известны. Предполагается, что неопределенности Xt пренебрежимо малы, как и их ковариации. Требования программного обеспечения е зтом случае следующие:

a)    входные значения для программного обеспечения: т - количество результатов измерений;

х, - значение координаты 1-ой точки по оси X, I* 1,..., т;

у< - значение координаты 1-ой точки по оси Y, I * 1,..., т;

и(у) - стандартная неопределенность у,> 1*1,..., т;

соу(уь у$ - ковариация пары чисел (у>, yj, I« 1 m,j*1,..., т,]ф1.

b)    выходные значения: а - оценка А;

Ь — оценка В;

и(а) - стандартная неопределенность оценки а; и(Ь) — стандартная неопределенность оценки Ь; cov(a, Ь) — ковариация оценок а и Ь.

c)    выходы получены из входов с использованием алгоритма, приведенного в подразделе 9.2.2 ISO/TS 28037:2010;

Примечание-Программное обеспечение может быть найдено в интернете по ссыпке http7/iso.Ofg/isorts/28037

d)    входные и выходные значения и соответствующие промежуточные значения; Параметры, перечисленные е а) и Ь) и их взаимосвязь описаны е подразделах 9.1 и 9.2

ISO/TS 28037:2010.

e)    функционирование программного обеспечения

Программное обеспечение позволяет получить результаты, имеющие необходимую числовую точность дпя практических задач калибровки за счет использования устойчивых численных методов (см. 6.2). Программное обеспечение воспроизводит программные данные (числа, графики, таблицы и другие числовые результаты) е соответствии с разделом 3 ISO/TS 28037:2010.

5 Сопровождение программного обеспечения

5.1    Сопровождение программного обеспечения

5.1.1    Разработчику следует рассмотреть все аспекты программного обеспечения, применяющегося в документе и установить категории сопровождения. Категориями сопровождения являются следующие:

0    отсутствие сопровождения;

1    программное обеспечение общего назначения, представляемое третьей стороной:

2    конкретное программное обеспечение, предоставляемое третьей стороной;

3    автономное программное обеспечение, сопровождающее документ, т.е. программное обеспечение, которое может применить польэоватепь документа:

4    текст программы, включенной в документ может быть расширен или обобщен и использован пользователем или третьей стороной для разработки собственного программного обеспечения;

5    алгоритм для разработки программного обеспечения пользователями или третьей стороной.

Категория сопровождения в каждом случае должна быть указана в документе.

Примечания:

1    - «Третья сторона» является поставщиком программного обеспечения, первая сторона - пользователь» документа, вторая сторона - организация, участвующая в подготовке документа.

2    -Требования 2 и 3 приведены в примере в 5.1.3.

5.1.2    В каждом документе должна быть приведена следующая информация:

a)    область применения программного обеспечения:

b)    числовая точность результатов при использовании программного обеспечения. Также может быть указана мера чувствительности выходов к изменениям входных значений (см. 6.2.4):

Примечай не-Числовая точность зависит от входных данных и должна быть установлена для этих данных.

c)    все результаты, которые могут быть получены с помощью программного обеспечения в дополнение к имеющимся выходам. Это могут быть результаты промежуточных вычислений;

d)    время выполнения программы и требования к памяти, необходимой для использования программного обеспечения.

Пример — Время вычисления медивмы по N входным денным сопоставимо со временем сортировки N чисел с плавающей запятой при использовании быстрого алгоритма сортировки.

Разработчик должен проанализировать, какие из пунктов а) - d) относятся к разрабатываемому документу, и определить категорию сопровождения в соответствии с 5.1.1.

Примечания:

1    - Время выполнения программы зависит от многих факторов, в том числе от аппаратных средств и языка программирования, поэтому оно может быть указано в относительных величинах.

2    - Применение программного обеспечения рассмотрено в 6.2.

5.1.3 Для каждой задачи следует установить и указать в документе требования к программному обеспечению, необходимому для ее решения:

А - может быть использовано любое программное обеспечение, пригодное для выполнения задачи:

В - требование, приведенное в перечислении А, с установленными требованиями к программному обеспечению;

С - следует использовать только программное обеспечение, реализующее установленный алгоритм:

D - может быть использовано только конкретное программное обеспечение (например, программное обеспечение, разработанное конкретной третьей стороной или программное обеспечение сопровождающее документ).

Пример 1 - Иллюстрацией категории А является ISO/TR 12845:2010.

В ISO/TR 12845:2010 (см.(9]) использовано программное средство по обработке статистических данных для анализа экспериментальных данных в шести примерах. В каждом примере программное средство помогает пониманию результатов анализа экспериментальных данных. Всего использовано четыре программных средства:

a)    JMP, торговое наименование продукта, поставляемого SAS Inc;

b)    Disign-Expert, торговое наименование продукта, поставляемого Stat-Прост, Inc;

c)    Minitab, торговое наименование продукта, поставляемого Minltab Inc;

d) R, бесплатная среда программирования для выполнения статистических вычислений, которая работает на различных платформах UNIX, Windows и MacOS.

Примечания:

1    - Эта информация приведена для удобства пользователей ISO / TR 12845:2010 и не означает одобрения указанных программных продуктов.

2    - Для анализа экспериментальных данных рассматриваемого типа существуют также другие статистические программные продукты.

3    - В отдельных случаях, особенно для критически важных применений, может быть полезно сравнить результаты, полученные с помощью нескольких программных средств. Однако следует помнить, что результаты могут отличаться по разным причинам, и пользователи не всегда могут выявить эти причины.

4    - В ISO/TR 14468:2010 (см.[10)) и ISO/TR 29901:2007 <см.(11]) для анализа экспериментальных данных также использованы программные средства JMP и Minilab.

Пример 2 - Иллюстрация категорий А — D: моделирование по данным параметров линейной модели.

Рассмотрим задачу моделирования значений xh у.> 1*1, .... т, соответствующих линейной модели, используя метод наименьших квадратов, где:

(a)    известна стандартная неопределенность u(yj установленных значений у,;

(b)    неопределенностью значений до можно пренебречь;

(c)    ковариация любой пары данных отсутствует.

Для такой задачи уровень требований А означает, что может быть использовано любое программное обеспечение, допускающее расчеты е соответствии с методом наименьших квадратов:

.....Л.)>

где f, - линейная функция с параметрами A1f ..., Ап (минимизацию выполняют по •••!

Примером уровня требований 8 является возможность использования такого же как указано выше программного обеспечения, но с реализацией численно-устойчивого алгоритма, гарантирующего, что ошибки округления с плавающей запятой не оказывают влияния на результаты вычислений. В частности программное обеспечение должно обеспечивать установленную числовую точность (6.2), по крайней мере, для всех примеров, приведенных в документе (см. пример 1 е) е разделе 4).

Уровень требований С означает, что может быть применено только программное обеспечение, специально предназначенное для решения задачи

где А и В - свободный член и угловой коэффициент прямой, соответственно (у,--А - BxJ - остаток модели (А + ВХ) е точке X*xL

Уровень требований О означает, что необходимо применить только программное обеспечение, разработанное е качестве сопровождения к разделу 6 HCO/TS 28037:2010 (см. раздел 4, пример 2).

5.1.4    Подходящими могут быть часть или части большого лакета программ. В этом случав они должны быть идентифицированы.

5.1.5    Результаты, лолученные с помощью программного обеспечения, могут зависеть от:

a)    версии программного обеспечения:

b)    вереи и среды лрограм много обеспечения:

c)    версии языка программирования:

6) версии операционной системы:

е) компьютерной техники.

Выбор элементов а) - в) должен быть сделан так. чтобы минимизировать эти влияния в максимально возможной степени. Эти аспекты также касаются сопровождения программного обеспечения (см. 6.3).

5.2 Особенности поддержки программного обеспечения

5.2.1    Программное обеспечение, поддерживающее статистические вычисления, может иметь следующую форму:

a)    свободное общедоступное программное обеспечение:

b)    коммерческое общедоступное программное обеспечение:

c)    свободное программное обеспечение закрытого источника:

d)    коммерческое программное обеспечение закрытого источника.

Примечания:

1    - Свободное общедоступное программное обеспечение представляет собой программное обеспечение, разработанное, тестированное, распространяемое и модифицируемое для общего пользования. Пользователь имеет возможность модифицировать и улучшать это программное обеспечение.

2    - Коммерческое общедоступное программное обеспечение представляет собой программное обеспечение, которое содержит элементы свободного общедоступного программного обеспечения, но часто с ограниченной функциональностью.

3    - Анализ показывает, что:

(a)    пользователи документов чаще применяют бесплатное общедоступное программное обеспечение:

(b)    общедоступное программное обеспечение открыто для контроля и привлекает больше обществемюго внимания.

5.2.2    Если наиболее важными факторами являются прозрачность и прослеживаемость, то для выбора программного обеспечения следует применять перечисления а) - d) 5.2.1.

5.2.3    Наибольшее внимание пользователи уделяют практическому функционированию программного обеспечения.

5.2.4 Следует также уделять внимание известным брендам применяемого программного обеспечения.

Примечание-Не следует указывать а требованиях применение программного обеспечения, не совместимого с платформами, используемыми большинством пользователей документа.

5.3 Языки программного обеспечения

5.3.1    При выборе языка программного обеспечения для категории 4 (см. л. 5.1.1). должно быть уделено внимание следующим аспектам:

a)    переносимости: компиляторы языков, таких как С. С ++, Java и ФОРТРАН доступны для многих различных платформ программного обеспечения:

b)    стабильности: языки, устойчивые в течение долгого времени, обладают преимуществами. Например, программы, которые удовлетворительно работали в ранних версиях ФОРТРАНа. как правило, также работают и в более свежих версиях языка:

c)    соответствию стандартам: предпочтительно использование языков, принятых е ИСО:

d)    используемости конечными пользователями: следует избегать применения языков программирования, которые не могут быть легко установлены для использования целевой аудиторией, и отдавать предпочтение языкам программирования, имеющимся у пользователей или легко устанавливаемым.

5.3.2    При необходимости следует приводить тексты программ на нескольких языках.

5.3.3    Решающим фактором является степень, в которой текст программы помогает реализации требований документа.

6 Качество

6.1 Общие положения

6.1.1 Программное обеспечение, которое поддерживает статистические вычисления, следует разрабатывать в соответствии с системой качества программного обеспечения. Модель оценки качества программного обеспечения приведена в ИСС/МЭК 25010 (см.(7)). Положения этого стандарта касаются ряда подпунктов настоящего стандарта.

Обладает ли программное обеспечение необходимыми свойствами?

Насколько легко выполнить перенос программного обеспечения в другую среду?


Функциональные

возможности


Насколько надежно программное обеспечение?


Переносимость

ИСО/МЭК

25010:2011

Надежность

Удобство

сопровождения

Удобство

использования

Эффективность

Рисунок 1 - Модель оценки качества программного обеспечения по ИСО/МЭК 25010:2011

Качество программного обеспечения следует проверять при валидации с применением контрольных данных или других сопоставимых средств.

6.1.2 Приведенный текст программы, должен соответствовать требованиям [15). 6 частности он должен:

- включать необходимые комментарии:

- использовать важные имена идентификаторов, предпочтительно с использованием терминов, применяемых в документе.

6.1.3 Требования к документации пользователя установлены в ИСО/МЭК 26514:2008.

6.2 Функционирование программного обеспечения

6.2.1    Примеры, приводимые в документа

Чтобы получить числовые результаты примера, приведенного в документе, во многих случаях достаточно использовать коммерческое программное обеспечение (например. Microsoft Excel. MATLAB. Minitab. SAS). Если проводятся статистические вычисления, которые можно выполнить с помощью одной программы (например, f-критерий или дисперсионный анализ), достаточно применить подходящее программное обеспечение. Однако нельзя предположить, что любое коммерческое программное обеспечение может обеспечить получение необходимых результатов. Вычисление, например, стандартного отклонения для набора чисел (см. страница 109 [13]] (также см. пример 1 в 6.2.4) не может быть хорошо выполнено любым доступным программным обеспечением. В таких случаях в документе следует указать элемент программного обеспечения, который необходимо использовать. В некоторых случаях, предварительная обработка данных может сделать их более подходящими для применения определенных элементов программного обеспечения. Полученные результаты в этом случае следует пересчитать к исходному состоянию.

Пример - Центрирование и масштабирование данных в регрессионном анализе.

Рассмотрим преобразование независимой переменной X в задаче регрессии, с помощью центрирования и масштабирования:

Х--£±.

S

Здесь х - исходная величина;

X' - преобразованная величина;

s - величина масштаба, выбранная таким образом, чтобы новая переменная X принимала значения в интервале /-1, 1]. Если исходные значения имеют широкий интервал изменчивости, то преобразованные данные изменяются в более узком диапазоне и облегчают вычисления.

Если переменных несколько, такое преобразование можно применить к каждой переменной. Дополнительная информация приведена в [13].

6 2.2 Контрольные данные

6.2.2.1    Для оценки пригодности программного обеспечения рекомендуется использовать контрольные данные. Изложение такого подхода приведено в [13]. Такой подход может быть использован для получения показателя согласованности программного обеспечения с положениями документа, в основном документ основан на следующих положениях:

a)    при тестировании программного обеспечения его рассматривают как «черный ящик». Таким образом, рассматривают только входные и выходные данные;

b)    правильное выполнение тестирования программного обеспечения дает результаты с требуемой числовой точностью для входных данных в пределах области применения программного обеспечения;

c)    процесс тестирования обеспечивает получение информации о степени выполнения требований, приведенных в перечислении Ь):

d)    доступен необходимый набор контрольных данных и соответствующих контрольных результатов. Набор должен соответствовать реальным входным данным, соответствующим перечислению Ь) по мере возможности;

e)    числовая точность контрольных данных должна быть выше требуемой в документе;

0 при тестировании программного обеспечения результаты тестирования для контрольных данных сравнивают с контрольными результатами.

6.2.2.2    Тестируемое программное обеспечение должно, по крайней мере, давать результаты, соответствующие результатам примеров, приведенных в документе, и воспроизводить эти результаты.

6.2.2.3    Контрольные данные и соответствующие контрольные результаты, указанные в 6.2.2.1

d). должны быть взаимно совместимыми до требуемой степени. Предположим, что тестируемое программное обеспечение должно давать для контрольных данных результаты с установленной числовой точностью. Результаты, полученные при тестировании, должны иметь такую же точность, как и контрольные результаты. Как правило, высокая числовая точность представляет собой один или

два знака после запятой.

6.2.2.4 Сопоставление, указанное в 6.2.2.1 0* предусматривает определение меры отклонения результатов тестирования от контрольных результатов. Это отклонение может быть оценено в абсолютных или относительных величинах.

Примечание-Статистические тесты NIST предоставляют справочные наборы данных с сертифицированными значениями для различных статистических методов.

6.2.3 Сопоставление результатов выполнения нескольких программ Если наборы контрольных данных недоступны, можно оценить пригодность рассматриваемого программного обеспечения, сравнивая его результаты с результатами другого аналогичного программного обеспечения для одних и тех же входных данных. Следует помнить, что такая проверка может только продемонстрировать согласованность результатов работы двух или нескольких программ, но не может подтвердить их корректность. Однако, она все же обеспечивает некоторое доверие к рассматриваемому программному обеспечению, если сравнение с другим, независимо разработанным программным обеспечением, дает благоприятный результат.

6.2.4 вопросы численного анализа

Вопросы численного анализа актуальны во многих случаях. Например, может существовать много способов описания алгоритма и много математически эквивалентных формул, но при арифметических расчетах с плавающей запятой числовые свойства результатов могут быть различны.

Пример 1 - Оценка точности среднего арифметического и стандартного отклонения.

Среднее арифметическое X и оценка стандартного отклонения s для значений х{, I * *,т имеют вид:

х =


S =


/11-1


(1)


4-1


В большинстве случаев (хотя бывают и исключения) программное обеспечение для вычисления среднего арифметического по заданным xt дают результат, относительная числовая точность которого стремится к единице округления и, следовательно, является приемлемой во всех прикладных областях. Вычисление s зависит от качества программного обеспечения.

Рассмотрим следующие значения массы (е килограммах) с номинальным весом 1 кг, полученные с помощью точных весов, таких как, например, е национальном институте метрологии:

1,000 000 008:1,000 000 012; 1,000 000 009; 1,000 000 009; 1,000 000 011.    (2)

Используя функции среднего арифметического и стандартного отклонения е Microsoft Excel 2000 (версия 9.0 6926 3) с требованием девяти знаков после запятой, получаем: х * 1, 000 000 010 кг, s * 0,000 000 021 кг.

Среднее арифметическое является корректным, a s отличается от своего целевого значения (с девятью значащими цифрами, s * 0.000 000 002 кг).

Потенциально нестабильная формула (см. [13])

s =


—(Ч>;-


тх


(3)


является математически верной, но не самой удачной для вычислений. Для наборов данных с небольшим коэффициентом вариации six эта формула дает более грубые значения стандартного отклонения*. Стандартное отклонение s е выражении (1) намного более устойчиво е таких случаях.

Пример 2 - Ситуация аналогична примеру 1, но е условиях производственной калибровочной лаборатории.

Предположим, что следующие значения массы е кг получены е производственной калибровочной лаборатории Эти значения имеют неопределенность бдльшую, чем е примере 1 (шесть знаков после запятой):

1,000 008;    1,000 012;    *,000 009;    *,000 009;    1,000 011.    (4)

За счет потери одного члена формулы (1).

Использование тех же формул Microsoft Excel для 6 знаков после запятой дает х * 1,000010 кг,    s а 0,000002 кг, которые е этом случае являются корректными.

Примечания:

1    - Данные (4) были представлены в виде (1 + 10s (х - 1)). где х - данные (2) из примера 1.

2    - Использование нестабильной формулы (3) достаточно для этих и сопоставимых данных при использовании компьютера с единицей округления 2.22 * 10** или меньше. Однако рекомендуется всегда использовать формулу (1).

Пример 3 - Угол между двумя векторами

Рассмотрим вычисление угла д между деумя еекторами а и b (см. (14)). Математическая формула О = ЛОВ для еычисления угла имеет вид (см. рисунок 2):

О = cos '(а7Ь)    (5)

Формула (S) является более простой на вид и приемлема для решения задачи. Различие формул особенно для применения е метрологии (см. ниже) тем не менее, заметно.

Предположим, что векторы почти параллельны, как е ИС010360-6:2001,

где а7Ь* 1-5,    0<6«1.

В соответствии с (5) cos О - I = оТЬ = 1-6, отсюда О =    .

2

При получении результатов для значений с плавающей запятой существует ошибка округления q (см. определение 2.10). Для стандартного формата представления чисел с плавающей запятой IEEE (1, 2), использующегося на многих компьютерах, q имеет значение

2,2 * f<T . Так как самые маленькие б отличные от нуля, для которых (1 - б) отлично от единицы, на компьютере равны q/2, самым маленьким $ при вычислении формулы (S) является yjq, который равен приблизительно 1 * Ю б рад. Таким образом, угол, менее 1 * 10 * рад не может быть обнаружен при использовании формулы (5) (если угол не равен нулю). Значения в, получаемые по формуле (6), имеют меньшую по порядку величины (степени q) относительную погрешность для любых а и Ь.

Этот пример имеет значение для реализации процедур, установленных в стандарте ИСО 10360*6:2001 и касающихся тестирования программного обеспечения для вычисления геометрических параметров на основе результатов измерений. Такие вычисления используют при производственном контроле и при применении геометрических допусков. Стандарт требует, чтобы единичный вектор, используемый в параметризации таких геометрических фигур как плоскости, цилиндры и конусы и, полученный при тестировании программного обеспечения был сопоставлен с контрольным решением, путем сравнения тестового и контрольного угла. Условием приемки в стандарте установлен угол менее 10* рад. При использовании формулы (5) этот критерий не может быть удовлетворен независимо от того, насколько близки тестовый и контрольный векторы (только если угол не равен нулю). При использовании формулы (6) такая проблема не возникает. Использование устойчивой формулы очень важно. Программное обеспечение для таких вычислений

имеет категорию уровня С из 5.1.3.

Примечание-Вычисление в по формуле (б) включает вычисление разности (Ь - а) двух почти идентичных векторов с координатами, представленными в формате чисел с плавающей запятой, которые часто получаются именно в результате выполнения арифметических операций по стандарту IEEE. Другие операции (деление на 2. получение векторной морю*, вычисление sin 1 от полученного значения, и умножение на 2) не влияют на ошибку округления и имеют относительную погрешность лоредка п

6.3 Сопровождение программного обеспечения

6.3.1    Общие положения

Программное обеспечение требует сопровождения в течение всего своего жизненного цикла. Ответственный за сопровождение программного обеспечения должен быть указан на соответствующем сайте. Информация о пересмотре программного обеспечения должна быть указана на соответствующем сайте (см. примечание к 3.5).

6.3.2    Доступность

Разработчик документа в любое время должен иметь доступ к программному обеспечению, испопьзуемому в документе.

6.3.3    Актуализация

6.3.3.1    Обычно стандарты периодически (каждые пять лет) пересматривают. Поэтому программное обеспечение следует пересматривать одновременно с документом. То же самое относится к большинству коммерческих стандартных статистических пакетов. Однако могут быть проблемы, когда в новой версии стандартного статистического пакета использован макрос, или используются новые или обновленные (пересмотренные) компиляторы. При наличии таких изменений все макросы следует проверять. Ответственность за сопровождение программного обеспечения, используемого в документации, должна быть установлена разработчиком.

6.3.3.2    При ликвидации организации, разработавшей программное обеспечение, его сопровождение должно быть закреплено за другой организацией.

7    Правовые последствия

Следует рассмотреть правовые последствия применения программного обеспечения, касающиеся следующих аспектов:

a)    в документе должны быть указаны поставщики программного обеспечения;

b)    в документе не следует давать никаких правовых рекомендаций или подразумевать их;

c)    на предоставление программного обеспечения и контрольных данных распространяется ограничение ответственности;

d)    в документ следует указывать авторские права. Целесообразно выдавать отдельную лицензию, разрешающую копирование отдельных частей документа, таких как текст отдельных частей программного средства или данные, приведенные в примерах, обеспечивающие третьим лицам возможность поддерживать общедоступную электронную копию программного средства. Соображения относительно копирования должны соответствовать политике документа.

Более подробное рассмотрение этого аспекта выходит за рамки настоящего стандарта. Ответственность за решение таких вопросов несет разработчик.

8    Пример

8.1    Общие положения

8.1.1    В данном разделе показано как использовать настоящий стандарт при разработке документа, в котором использованы методы расчета, требующие сбора и использования псевдослучайных чисел имеющих равномерное распределение.

Примечен не-Часть материала, приведенного в данном разделе, заимствована с незначительной адаптацией из [16].

8.1.2    Для иллюстрации ниже приведены соображения, используемые при поддержке категорий 2 и 5 из 5.1.1.

8.1.3    В 8.2.1 и 8.2.2 приведены некоторые типовые части документа, связанные с генерацией псевдослучайных чисел, для каждой из категорий. В обоих случаях, в эту часть документа следует включить текст, как это сделано в 8.1.4.

8.1.4 Во избежание неправильных результатов необходимо использовать генератор псевдослучайных чисел, имеющий хорошие статистические свойства. Всестороннюю проверку статистических свойств генератора осуществляют с помощью набора тестов TestUOl [17].

8.2 Примеры конкретного программного обеспечения

8.2.1    Категория поддержки 2: специальное программное обеспечение предоставляется третьей стороной.

Рекомендуется генератор Мерсенна-Твистера. прошедший набор тестов указанных в 8.1.4 [18]. Реализации программного обеспечения доступны на многих языках, включая С , С ♦ + . С #. Fortran 95 . Java. Lisp . Mathematica. MATLAB. Microsoft Excel. Perl и Python [19].

8.2.2    Категория сопровождения 5: последовательная процедура разработки программного обеспечения пользователями или третьей стороной.

8.2.2.1    Общие положения

Усовершенствованный генератор Вичмана*Хилла (л. 8.2.2.2), имеющий версии для 32-битоаых и 64-битовых компьютеров, прошедший набор тестов, указанных в 8.1.4 . имеет следующие свойства [21):

a)    компактность.

b)    его просто программировать на любом языке программирования, который поддерживает формат чисел с плавающей точкой, и не зависит от частотной манипуляции как у некоторых генераторов:

c)    структура параметров состояния (объем информации, сохраняемой в генераторе между обращениями к нему), а именно параметры. /j и и в таблице 1 немного и их легко изменить;

d)    генератор может быть использован для получения нескольких последовательностей случайных чисел, необходимых для высокопроизводительных параллельных приложений.

8.2.2.2    Процедура генерации псевдослучайных чисел, подчиняющихся равномерному распределению.

В таблице 1 приведен расширенный генератор Вичмана-Хилла для генерации псевдослучайных чисел из равномерного распределения R(0.1) в интервале (0.1). для 32-разрядного компьютера.

Таблица 1 - Расширенный генератор Вичмана-Хилла псевдослучайных чисел из распределения R(0.1) в интервале (0.1) для 32-раэрядмого компьютера._

Параметры входа-выхода

Описание

.... Ii. ь. ь. и

В качестве входных величин использованы целые числа, которые изменяются е соответствии с процедурой. Перед первым вызовом генератора определяют множество целых чисел между 1 и 2 147 463 647. Запрещается изменять входные &елич*ыы между вызовами генератора

Последующие значения обычно не зависят от пользователя. Эти параметрь образуют основу, с помощью которой генерируются случайные числа. Они могут быть представлены как глобальные переменные и. таким образом не представлены явно е качестве параметров

Константы

Описание

а, 6. с. d

Вектор целых констант размерности 1 * 4. где а - (а1. а2. аЗ. э4) и тд. задают в виде а = <11600. 47 003. 23 000. 33 000).

6 = (185 127.45 686. 93 366. 65 075).

с = (10379,10479.19423. 6123),

d = 2147 483 123 - (1. 1, 1. 1) + (456. 420. 300.0).

Запрещается изменять входные величины между вызовами генератора

Выходной параметр

Описание

г

Псевдослучайное число из R(0.1)

Вычисления

a)    Для/ = 1.....4

1)    Формируют i, = а, * (i, mod А) - с, * Ц / 6J

2)    Если 4 < 0. заменяют £ на i, ♦ 4

4щ

b) Формируют н'eXij/J, .

c)    Формируют г- w ~ LwJ

Примечания:

1    - LwJ - наибольшее целое число не превышающее w.

2    - i mod Ь; - остаток от деления ( на 6..

Библиография

IEEE 754:2008 IEEE 854-1987 ISO 10380-6:2001


ISO 13528:2005

ISO 19115-1:2014 ISO 80000-1:2009 IS O/l EC 25010:2011


ISO/1EC 26514:2008

ISO/TR 12845:2010 ISO/TR 14468:2010 ISO/TR 29901:2007 ISO/TS 28037:2010


Standard for binary floating-point arithmetic

A radix-independent standard for floating-point arithmetic

Geometrical Product Specifications (GPS). Acceptance and reveriftcation tests

for coordinate measuring machines (CMM). Part 6. Estimation of errors in

computing Gaussian associated features

Statistical methods for use in proficiency testing by intertaboratory

comparisons

Geographic information - Metadata - Part 1: Fundamentals Quantities and units — General

Systems and software engineenng - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models

Systems and software engineering - Requirements for designers and developers of user documentation

Selected illustrations of fractional factorial screening e^eriments Selected illustrations of attribute agreement analysis Selected illustrations of fuH factorial experiments with four factors Determination and use of straight-line calibration functions

Butler. B.P.. Cox. M.G.. Ellison. S.L.R. and Hardcastle. W.A., Eds. Statistics Software Qualification: Reference Data Sets. Royal Society of Chemistry, Cambridge. 1996

Cook. H.R.. Cox. M.G., Dainton, M.P. and Harris. P.M. A methodology for testing spreadsheets and other packages used in metrology. Tech. Rep. CMSC 25/99. National Physical Laboratory. Teddington. UK. 1999

Haneef. N.J. Software documentation and readability: A proposed process improvement. ACM SIGSOFT Software Engineenng Notes. 1998, 23. pp. 75-77

ISQ/1EC Guide 98-3:2008.    Uncertainty of measurement — Part 3: Guide to the expression of uncertainty

Suppl. 12008    in measurement (GUML1995) — Supplement 1: Propagation of distributions

using a Monte Carlo method

L’ecuyer. P. and Simard. R. TestUOl: A software library in ANSI C for empirical testing of random number generators,

Matsumoto, M. and Nishimura, T. Mersenne Twister: A 623-dimensionally equidistnbuted uniform pseudorandom number generator. ACM Trans. Model. Com put. Simul. 1998. 8. pp. 3-30

Mersenne Twister. Wikipedia. http://en.wikipedia.org/Wiki/Mersenne_twister/ Statistical Reference Datasets (StRD). NIST. http//

Wichm ann. B. A. and Hil, I. D. Generating good pseudo-random numbers. Comput. Stat. Data Anal. 2006. 51. pp. 1614-1622

Насколько легко модифицировать программное обеспечение?


Насколько эффективно программное обеспечение?


Насколько легко использовать программное обеспечение?


УДК 658.562.012.7:65.012.122:006.354    ОКС 03.120.30

Ключевые слова: программное обеспечение, программные данные, прослеживаемость данных, категории поддержки, тестирование, алгоритм, числовая точность, параметризация задачи, контрольные данные, результат тестирования, тестируемое программное обеспечение, интервал округления

Подписано в печать 02.03.2015. Формат 60x84 Ve.

Уел. печ. л. 2,33. Тираж 31 экз. Зак. 470.

Подготовлено на основе электронной версии, предоставленной разработчиком стандарта

ФГУП «СТАНДАРТИНФОРМ»

123995 Москва. Гранатный пер.. 4.