ГОСТ Р 58273-2018 Информационные технологии. Биометрия. Методология испытаний эксплуатационных характеристик биометрической системы на воздействие условий окружающей среды

ГОСТ Р 58273-2018

(ИСО/МЭК 29197:2015)

Группа П85

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии

БИОМЕТРИЯ

Методология испытаний эксплуатационных характеристик биометрической системы на воздействие условий окружающей среды

Information technology. Biometrics. Methodology of operational characterizistics tests of biometric system under invironment influence

ОКС 35.040

Дата введения 2019-01-01

Предисловие

1 ПОДГОТОВЛЕН Некоммерческим партнерством "Русское общество содействия развитию биометрических технологий, систем и коммуникаций" (Некоммерческое партнерство "Русское биометрическое общество") и Федеральным государственным унитарным предприятием "Всероссийский научно-исследовательский институт стандартизации и сертификации в машиностроении" (ВНИИНМАШ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 098 "Биометрия и биомониторинг"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 8 ноября 2018 г. N 945-ст

4 Настоящий стандарт является модифицированным по отношению к международному стандарту ИСО/МЭК 29197:2015* "Информационные технологии. Методология оценки воздействия окружающей среды на производительность биометрической системы" (ISO/IEC 29197:2015 "Information technology - Evaluation methodology for environmental influence in biometric system performance", MOD). При этом в него не включены ссылочные международные стандарты и библиография примененного международного стандарта, которые нецелесообразно применять в российской стандартизации в связи с наличием национальных стандартов, идентичных ссылочным международным стандартам. При этом дополнительные слова и ссылки, включенные в текст стандарта для учета потребностей национальной экономики Российской Федерации, выделены полужирным курсивом**.

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей.

** В оригинале обозначения и номера стандартов и нормативных документов в разделе "Предисловие", приложении ДА и сносках приводятся обычным шрифтом; отмеченный в разделе "Предисловие" знаком "**" выделен курсивом; остальные по тексту документа выделены полужирным курсивом. - .

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).

Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте, приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

6 Некоторые элементы настоящего стандарта могут быть объектами патентных прав. Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) не несут ответственности за установление подлинности каких-либо или всех таких патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации"**. Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Эксплуатационные характеристики биометрических систем могут изменяться в зависимости от условий окружающей среды (см., например, ГОСТ Р ИСО/МЭК 19795-1 (С.2.6), ГОСТ Р ИСО/МЭК 19795-3* (таблица 4)). Условия окружающей среды могут влиять на простоту и удобство использования системы субъектами, на биометрические характеристики субъектов, а также на устройства сбора биометрических данных.

________________

* Вероятно, ошибка оригинала. Следует читать: ГОСТ Р ИСО/МЭК ТО 19795-3-2009, здесь и далее по тексту. - .

Настоящий стандарт определяет общую методологию испытаний эксплуатационных характеристик биометрической системы на воздействие условий окружающей среды.

Примечание - Условия окружающей среды могут влиять на разные составляющие процесса биометрического распознавания. Настоящая методология не различает, какая именно составляющая подвергается воздействию, и предназначена для измерения общего воздействия условий окружающей среды на эксплуатационные характеристики биометрической системы.

В рамках настоящего стандарта под условиями окружающей среды следует понимать все атмосферные параметры (например температура, влажность) и другие физические и химические явления (например освещенность, шум), которые окружают биометрическую систему и влияют на ее эксплуатационные характеристики. Некоторые условия окружающей среды, такие как вибрация, не рассматриваются в настоящем стандарте.

Испытания в соответствии с настоящим стандартом заключаются в проведении одинаковых сквозных испытаний эксплуатационных характеристик биометрической системы в одном или нескольких предопределенных условиях окружающей среды. Условия окружающей среды могут быть реальными (естественными) или смоделированными (искусственно контролируемыми).

Сквозные испытания эксплуатационных характеристик биометрической системы должны быть сценарными или оперативными. Сценарные испытания биометрических систем проводятся в условиях окружающей среды, смоделированных с учетом реального целевого применения и целевой выборки. Данные испытания определяются как частный случай сценарных испытаний в соответствии с ГОСТ Р ИСО/МЭК 19795-2. Испытания в контролируемой среде являются воспроизводимыми, в отличие от условий эксплуатации, когда на систему могут повлиять неконтролируемые параметры. Оперативные испытания биометрических систем проводятся в реальных условиях эксплуатации на целевой выборке. Данные испытания определяются как частный случай оперативных испытаний в соответствии с ГОСТ Р ИСО/МЭК 19795-6. Оперативные испытания уступают точности сценарных испытаний (по числу градаций параметров окружающей среды), но являются более достоверными для практического использования. Настоящий стандарт определяет требования к испытаниям на воздействие условий окружающей среды для обоих видов испытаний.

Настоящая методология рассматривает испытание на воздействие нескольких условий окружающей среды; тем не менее, в испытании может быть использован один параметр окружающей среды. Оцениваемые и контролируемые испытуемые параметры окружающей среды должны быть предварительно определены участниками испытания.

Цели испытаний на воздействие условий окружающей среды включают:

- анализ и количественную оценку воздействия одного параметра или сочетания параметров окружающей среды на эксплуатационные характеристики биометрической системы;

- анализ работы биометрической системы в определенной контролируемой окружающей среде по сравнению с работой в окружающей среде базового испытания;

- анализ работы биометрической системы в реальных условиях эксплуатации по сравнению с работой в смоделированной среде, имитирующей условия эксплуатации.

Результаты испытаний могут использоваться поставщиками и пользователями биометрической системы для определения, какие ожидаемые условия окружающей среды могут повлиять на эксплуатационные характеристики биометрической системы. Результаты могут также указывать, являются ли конкретная биометрическая модальность и способ реализации подходящими для ожидаемых условий эксплуатации. Настоящая методология может быть использована для исследования параметров окружающей среды, при которых биометрические системы функционируют неэффективно.

1 Область применения

Настоящий стандарт устанавливает:

- основные требования к планированию и проведению испытаний эксплуатационных характеристик биометрических систем на воздействие условий окружающей среды на основе методологий сценарных и оперативных испытаний;

- требования к определению, установке и измерению конкретных условий окружающей среды для проведения испытания, в том числе требования к оборудованию;

- требования к определению исходных эксплуатационных характеристик для последующего сравнения воздействия параметров окружающей среды;

- спецификацию испытаний, в том числе требования к испытуемой выборке, протоколам испытаний, данным для записи и результатам испытаний;

- порядок проведения испытания.

Настоящий стандарт не определяет:

- какие параметры должны быть проанализированы для конкретной биометрической модальности (данный вопрос рассматривается в ГОСТ Р ИСО/МЭК 19795-3),

- требования к анализу уязвимости, связанной с изменением факторов окружающей среды;

- классификацию биометрических систем по производительности в различных условиях окружающей среды;

- требования к определению воздействия условий окружающей среды на функциональность компонентов аппаратного обеспечения биометрических систем (таких как коррозия, электрические помехи, отказ оборудования и т.д.).

2 Соответствие

Испытания эксплуатационных характеристик биометрической системы на воздействие условий окружающей среды должны быть сценарными или оперативными. Сценарные испытания должны удовлетворять обязательным требованиям раздела 7, оперативные испытания должны удовлетворять обязательным требованиям раздела 8.

Сценарное испытание, соответствующее настоящему стандарту, должно содержать минимум два состояния окружающей среды: для базового испытания и для целевого испытания. Оба испытания должны включать, по крайней мере, один оцениваемый параметр окружающей среды, например, температуру, влажность, освещенность и т.д. Условия окружающей среды должны быть выбраны, установлены, измерены и записаны в соответствии с разделом 6.

3 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р ИСО/МЭК 19795-1-2007 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура

ГОСТ Р ИСО/МЭК 19795-2-2008 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методы проведения технологического и сценарного испытаний

ГОСТ Р ИСО/МЭК 19795-3-2009 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 3. Особенности проведения испытаний при различных биометрических модальностях

ГОСТ Р ИСО/МЭК 19795-6-2015 Информационные технологии. Биометрия. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 6. Методология проведения оперативных испытаний

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

4 Термины и определения

В настоящем стандарте применены термины по ГОСТ Р ИСО/МЭК 19795-1, а также следующие термины с соответствующими определениями:

4.1 естественные условия; реальная окружающая среда (ambient conditions; real environment): Общие, преобладающие и неконтролируемые атмосферные и погодные условия в помещении или месте.

Примечание - Испытание с записью "проведено в естественных условиях" проведено в любых условиях, сложившихся в то время на тот день.

4.2 исходные эксплуатационные характеристики (baseline performance): Эксплуатационные характеристики биометрической системы в условиях базового испытания.

4.3 контролируемые условия (controlled conditions): Климатические и физические условия, которые ограничиваются, или регулируются, или сохраняются в определенных границах для целей испытания.

4.4 генератор условий окружающей среды (environment generator): Специальное испытательное оборудование для создания и поддержания контролируемых условий испытания.

4.5 условия окружающей среды (environmental conditions): Все атмосферные параметры (например, температура, влажность) и другие физические и химические явления (например, освещенность), которые окружают биометрическую систему и влияют на ее эксплуатационные характеристики.

Примечание - Условия окружающей среды могут быть контролируемыми или естественными.

4.6 условие испытания (evaluation condition): Условие окружающей среды, при котором проводится испытание.

4.7 конфигурация испытания (evaluation configuration): Расположение объектов окружающей среды, при котором испытывается биометрическая система, в том числе необходимого оборудования и испытательных приборов.

4.8 условия испытания (evaluation environment): Окружающая среда, в которой проводится испытание биометрической системы, с учетом условий окружающей среды и конфигурации испытания.

4.9 экстремальное условие (extreme condition): Условие с очень высокими или очень низкими значениями параметров окружающей среды, которое может быть неблагоприятным для работы системы или даже человеческой жизни.

4.10 прибор (instrument): Калиброванное оборудование для измерения и/или записи параметров окружающей среды (таких как температура, влажность, освещенность, шумы).

Примечание - В некоторых случаях функции измерения и записи параметров интегрированы в одном приборе.

4.11 точка измерения (measuring point): Конкретное значение оцениваемого параметра окружающей среды.

4.12 условия эксплуатации (operational environment): Условия окружающей среды, в которых предполагается эксплуатация биометрической системы.

Примечание - Условия эксплуатации являются совокупностью факторов окружающей среды и правил эксплуатации.

4.13 условия базового испытания (reference evaluation environment): Условия испытания, которое проводится для получения исходных эксплуатационных характеристик биометрической системы.

4.14 рабочая точка (set point): Конкретное значение контролируемого параметра окружающей среды.

4.15 условия целевого испытания (target evaluation environment): Условия испытания, в котором получают эксплуатационные характеристики биометрической системы с целью изучения воздействия определенных условий окружающей среды.

5 Общие положения

5.1 Введение

Испытание на воздействие условий окружающей среды представляет собой серию испытаний эксплуатационных характеристик одной или нескольких биометрических систем, работающих в различных условиях окружающей среды, для определения воздействия одного или нескольких условий. Испытания должны быть сценарными или оперативными. В сценарных испытаниях эксплуатационные характеристики биометрической системы определяются в моделируемых условиях окружающей среды, в оперативных испытаниях - в неконтролируемых условиях эксплуатации.

После проведения биометрических испытаний в различных условиях испытаний должен быть рассчитан ряд эксплуатационных характеристик. Эксплуатационные характеристики специфичны для каждого условия испытания.

Число условий испытания для анализа будет зависеть от следующих факторов:

- является ли окружающая среда испытания реальной или смоделированной и какова возможная изменчивость параметров окружающей среды;

- является ли целью исследование воздействия одного или нескольких параметров окружающей среды по отдельности и каково число точек измерения по каждому параметру;

- является ли целью проверка работы биометрической системы в конкретной окружающей среде.

Перечисленные факторы не являются независимыми. Решение о проведении сценарных или оперативных испытаний зависит от целей испытания на воздействие условий окружающей среды, числа оцениваемых параметров и от того, является среда реальной или смоделированной. Следующие подразделы описывают оба вида испытаний на воздействие условий окружающей среды и их основные характеристики.

5.2 Сценарные испытания

Сценарные испытания состоят из определения одного или нескольких конкретных условий испытания, условий базового испытания и проведения одного и того же сценарного испытания в каждом из них. При проведении сценарных испытаний параметры биометрической системы и параметры окружающей среды должны быть записаны в одно и то же время для определения вероятностей ошибок и пропускной способности для конкретных условий испытания. Такой подход дает представление о степени, в которой биометрические системы находятся под воздействием одного или нескольких параметров окружающей среды. Схема методологии сценарных испытаний представлена на рисунке 1.

Сценарные испытания проводятся в контролируемой среде, как правило, на испытательном оборудовании. Данные испытания применяются:

- для измерения воздействия одного или более контролируемых параметров окружающей среды;

- для анализа того, как одна или несколько биометрических систем функционируют в конкретной среде, параметры которой имеют определенные значения или значения внутри определенного диапазона.

В обоих случаях до начала испытания должны быть определены оцениваемые параметры окружающей среды, соответствующие им точки измерения или диапазоны, а также контролируемые параметры окружающей среды.

Рисунок 1 - Схема методологии сценарного испытания

5.3 Оперативные испытания

Оперативные испытания состоят из определения условий окружающей среды и выбора одного или нескольких оцениваемых параметров окружающей среды. При проведении оперативных испытаний эксплуатационные характеристики биометрической системы и оцениваемые параметры окружающей среды должны записываться в одно время. Данный подход позволяет оценить, в какой степени оцениваемые параметры среды эксплуатации влияют на эксплуатационные характеристики биометрической системы.

Оперативные испытания проводятся в неконтролируемой окружающей среде. При выполнении испытаний данного типа сложно определить отдельное воздействие параметров окружающей среды на пользователей, алгоритмы или оборудование, воздействие измеряется для системы в целом.

Условия окружающей среды должны соответствовать обычным условиям в отсутствие испытаний системы. Таким образом, при оперативном испытании допустимы различные приемы, встречаемые в эксплуатации, например, использование навесов в наборе изображений лиц, зарегистрированных вне помещений. В оперативном испытании должны быть описаны условия эксплуатации, включая расположение объектов, а также оцениваемые параметры окружающей среды.

Экспериментаторы должны указать, какие условия испытания представляют интерес. Это потребует проведения предварительного анализа условий эксплуатации для определения потенциальных значений параметров окружающей среды.

Такой анализ должен проводиться перед планированием оперативного испытания для определения:

- приборов для измерения и записи оцениваемых параметров окружающей среды;

- расположения указанных приборов;

- определения условий базового испытания.

6 Спецификация условий испытания

6.1 Введение

Биометрические системы могут быть испытаны в различных условиях испытания для анализа воздействия условий окружающей среды на их эксплуатационные характеристики. В настоящем разделе установлены требования к определению и измерению условий испытания для потенциальных испытуемых параметров окружающей среды.

6.2 Определение условий испытания

6.2.1 Описание условий испытания

Условия испытания должны быть определены с учетом двух составляющих:

- оцениваемые параметры окружающей среды: условия окружающей среды, воздействие которых должно быть изучено. Для оцениваемых параметров должно быть установлено определенное значение или узкий диапазон значений в точке измерения. Является обязательным определение минимум одного параметра;

- контролируемые параметры окружающей среды: условия окружающей среды, которые могут повлиять на эксплуатационные характеристики биометрической системы, но не являются объектом исследования. Для контролируемых параметров должно быть установлено значение в рабочей точке, равное значению рабочей точки базового испытания. Определение контролируемых параметров не является обязательным.

6.2.2 Типы параметров окружающей среды

Для спецификации испытания должно быть определено не менее одного параметра окружающей среды. Значения параметров окружающей среды должны быть выражены в единицах системы СИ.

Испытание на воздействие условий окружающей среды может включать следующие параметры окружающей среды:

a) температуру, °C;

b) влажность должна быть представлена относительной влажностью, %;

c) освещенность, лк;

d) интенсивность излучения, Вт/м;

e) шум должен быть представлен уровнем шума, дБ;

f) атмосферное давление, кПа.

6.3 Выбор условий испытания

6.3.1 Общие положения

Выбор условий испытания предусматривает два этапа. На первом этапе должны быть определены и опубликованы оцениваемые и/или контролируемые параметры в зависимости от типа биометрического испытания (например, температура, влажность). Данное решение основывается, главным образом, на биометрической модальности испытуемой системы и типе технологии устройства сбора биометрических данных. Выбор параметров должен быть осуществлен участниками испытания.

Примечание - В ГОСТ Р ИСО/МЭК 19795-3 для разных биометрических модальностей перечислены факторы окружающей среды, которые могут воздействовать на эксплуатационные характеристики.

Далее должны быть определены точки измерения и рабочие точки для выбранных оцениваемых и/или контролируемых параметров окружающей среды соответственно. При определении должны быть учтены два аспекта: тип испытания (т.е. сценарное или оперативное испытание) и этап процесса биометрического распознавания (т.е. биометрическая регистрация и биометрическая верификация).

В настоящем разделе установлены требования к выбору точек измерения и рабочих точек для обоих типов условий окружающей среды (т.е. условий целевого испытания и условий базового испытания) с учетом упомянутых выше аспектов.

Примечание - Так как в методологии сценарных испытаний базовые испытания должны проводиться отдельно от любого целевого испытания, значения точек измерения и рабочих точек должны быть определены для условий базового испытания и условий целевых испытаний.

6.3.2 Условия базового испытания в сценарных испытаниях

Условия базового испытания определяют значения или диапазоны значений различных параметров окружающей среды, при которых будут получены исходные эксплуатационные характеристики в сценарных испытаниях.

Условия испытания должны быть определены для оцениваемых и контролируемых параметров окружающей среды. Значения должны быть определены с учетом стандартных условий окружающей среды, представленных в приложении А.

Если какие-то параметры являются зависимыми, требования к параметрам должны соответствовать их зависимости.

В лабораторных испытаниях установка значений условий базового испытания должна проводиться без какого-либо дополнительного оборудования. В этом случае не происходит воздействия на конфигурацию испытания, и становится возможным получить эксплуатационные характеристики с учетом воздействия только испытуемого параметра окружающей среды, независимо от распространенных факторов воздействия на биометрические системы.

6.3.3 Условия целевого испытания

6.3.3.1 Общие положения

Данный раздел определяет выбор условий испытания при проведении биометрической регистрации и биометрической верификации в зависимости от типа биометрического испытания, а также различные цели испытания на воздействие окружающей среды.

Рекомендуется, чтобы значение или диапазон значений оцениваемых факторов окружающей среды соответствовал целевой окружающей среде (смоделированной или реальной).

6.3.3.2 Условия испытания при биометрической регистрации

Условия испытания при биометрической регистрации должны совпадать с условиями окружающей среды, в которых проводится биометрическая регистрация пользователей. Для сценарных испытаний условия испытания при биометрической регистрации должны быть выбраны участниками испытания с учетом целей испытания на воздействие условий окружающей среды. Допустим выбор из двух вариантов:

- условия базового испытания;

- условия конкретной окружающей среды.

Примечания

1 Если целевое испытание является сценарным испытанием для анализа воздействия одного параметра или набора параметров окружающей среды, условия испытания при биометрической регистрации должны соответствовать условиям базового испытания.

2 Если целевое испытание является сценарным испытанием для анализа конкретной окружающей среды, условия испытания при биометрической регистрации должны быть выбраны с учетом обоих вариантов. Наиболее подходящие условия биометрической регистрации будут зависеть от целей испытания на воздействие окружающей среды.

3 В случае сценарного испытания, проводимого для получения исходных эксплуатационных характеристик для оперативного испытания, условия испытания при биометрической регистрации должны соответствовать условиям эксплуатации, в которых будет проводиться биометрическая регистрация.

4 Если целью испытания является определение воздействия конкретных параметров окружающей среды на показатели биометрической регистрации и/или качества биометрической регистрации, данные параметры должны быть указаны в дополнение к условиям базового испытания.

Для оперативных испытаний условия испытания при биометрической регистрации должны являться условиями конкретной окружающей среды, в которых биометрическая регистрация осуществляется в ходе обычной работы.

6.3.3.3 Условия испытаний при биометрической верификации

6.3.3.3.1 Общие положения

Условия испытаний при биометрической верификации являются условиями, в которых проводятся попытки в биометрической системе. Условия испытаний при биометрической верификации различаются для сценарных и оперативных испытаний.

6.3.3.3.2 Условия сценарных испытаний

Условия сценарных испытаний зависят от трех возможных целей:

a) измерение воздействия одного параметра. В этом случае должен быть определен набор условий испытаний, каждое из которых с одной или несколькими точками измерения. Условия испытания должны быть следующими:

- оцениваемый параметр окружающей среды должен иметь определенное значение или значение в пределах узкого диапазона;

- остальные контролируемые параметры окружающей среды должны иметь значение в пределах диапазона, определенного для целевого испытания в условиях базового испытания. Диапазон может изменяться в зависимости от испытательных возможностей лаборатории и от того, могут ли параметры окружающей среды быть изолированы. Способ выбора условий базового испытания определен в 6.3.2.

Пример - Если модальностью испытуемой биометрической системы является сосудистое русло и оцениваемым параметром является освещенность, то из условий испытания набор точек измерения должен быть определен только для освещенности. Значения остальных обязательных контролируемых параметров, таких как температура, относительная влажность или шум, должны находиться в пределах диапазонов, определенных в условиях базового испытания.

Значениями оцениваемого параметра окружающей среды должны быть:

- значения, охватывающие рабочий диапазон (например, одна точка измерения для минимального значения, вторая - для максимального значения, и еще две между границами);

- экстремальные условия.

В приложении А предоставлено руководство по выбору значений рабочего диапазона и экстремальных условий;

b) измерение воздействия набора параметров. Выбор точек измерения аналогичен перечислению а), с дополнительным условием, что экспериментатор должен определить зависимости между оцениваемыми параметрами;

c) анализ работы биометрической системы или биометрических систем в конкретной окружающей среде. В этом случае параметры окружающей среды должны иметь соответствующее значение или быть в пределах диапазона, определенного для этой среды.

Пример - Если модальностью испытуемой биометрической системы является сосудистое русло и требуется определить ее эксплуатационные характеристики при температуре 35°C, относительной влажности от 40% до 60% и уровне шума 50 дБ, то значения параметров окружающей среды должны быть точно установлены: температура 35°C, относительная влажность от 40% до 60% и уровень шума 50 дБ.

6.3.3.3.3 Условия оперативных испытаний

Условия оперативных испытаний определяются условиями эксплуатации, в которой биометрическая(ие) система(ы) будет(ут) работать. Должны быть определены оцениваемые параметры окружающей среды и их ожидаемые рабочие диапазоны. Точки измерения определять не требуется, так как эти значения должны быть записаны, но не должны контролироваться.

Если целью испытаний является изучение конкретных условий эксплуатации, должны быть указаны значения или диапазоны соответствующих параметров окружающей среды. Такие диапазоны и значения должны быть в пределах, потенциально встречающихся в условиях эксплуатации.

6.4 Измерение и запись параметров окружающей среды

6.4.1 Общие положения

Для анализа воздействия условий окружающей среды на эксплуатационные характеристики, выбранные параметры окружающей среды должны быть измерены и записаны во время попыток в биометрической системе. Должны быть определены приборы и требования к выполнению этой задачи.

Примечание - В приложении B представлена дополнительная информация о приборах для измерения и записи, а также приведены примеры приборов для температуры, влажности и освещенности.

6.4.2 Приборы для измерения и записи условий окружающей среды

Оборудование для измерения параметров окружающей среды должно удовлетворять следующим требованиям:

- с помощью приборов должны измеряться максимальное и минимальное значение точек измерения оцениваемых параметров;

- разрешение приборов должно обеспечивать регистрацию изменений;

- должна быть предварительно проведена калибровка прибора.

Примечание - Во многих случаях эти приборы могут быть встроены в генератор и устройство управления (например, в климатическую камеру).

6.4.3 Требования к измерению и записи условий окружающей среды

При проведении испытания с конкретными условиями должны быть измерены и записаны параметры окружающей среды, определенные для данного испытания. Параметры окружающей среды должны быть записаны в то же самое время, что и биометрическая попытка. Когда устройство сбора биометрических данных и точка сбора биометрических данных не соотнесены, параметры должны измеряться на всех точках, возможно включающих точку получения биометрического образца и устройство сбора биометрических данных.

Существуют два способа записи параметров окружающей среды. При первом способе результаты сравнения биометрической системы должны быть записаны вместе со значением параметров окружающей среды. При втором способе результат сравнения биометрической системы и параметры окружающей среды могут быть записаны отдельно, но значения должны иметь отметки времени и даты, чтобы была возможность их сопоставления.

7 Сценарные испытания

7.1 Введение

В настоящем разделе определены требования для проведения испытаний эксплуатационных характеристик биометрической системы по типу сценарных испытаний. Сценарные испытания основаны на требованиях ГОСТ Р ИСО/МЭК 19795-1 и ГОСТ Р ИСО/МЭК 19795-2 и адаптированы для анализа воздействия условий окружающей среды.

Сценарные испытания биометрической системы должны соответствовать требованиям настоящего раздела и ГОСТ Р ИСО/МЭК 19795-2.

7.2 Определение целей испытания

Определение целей испытания должно включать:

- описание испытуемой биометрической системы, в том числе модальности системы и ее компонентов;

- справочник по работе биометрической системы для использования при проведении испытаний;

- оцениваемый(е) и контролируемый(е) параметр(ы) окружающей среды;

- спецификация условий базового и целевого испытаний и конкретные значения всех точек измерения и рабочих точек параметров.

7.3 Условия испытания

7.3.1 Условия испытания при биометрической регистрации

Биометрическая регистрация должна проводиться в условиях испытания при биометрической регистрации. Выбор условий испытаний при биометрической регистрации должен проводиться в соответствии с 6.3.3.2.

7.3.2 Создание и контроль условий испытания

7.3.2.1 Общие положения

Должны быть созданы контролируемые условия, указанные для сценарного испытания. Условия испытания должны создаваться отдельно для каждой точки измерения, в том числе для экстремальных условий окружающей среды. Изменения параметров должны проводиться под контролем, что может потребовать использования генератора условий окружающей среды.

Примечание - В приложении В представлена дополнительная информация о функциональности генераторов условий окружающей среды и приведены примеры для температуры, влажности и освещенности.

7.3.2.2 Генераторы условий окружающей среды для создания и контроля условий окружающей среды

Генераторы условий окружающей среды для создания соответствующих параметров окружающей среды должны удовлетворять следующим требованиям:

- генераторы условий окружающей среды должны быть способны создавать условия, выходящие за пределы максимального и минимального значений условий испытания. Выход за пределы позволит избежать нелинейных условий вблизи пределов;

- разрешение генераторов условий окружающей среды должно быть достаточным для создания значений условий окружающей среды;

- должна быть предварительно проведена калибровка генераторов условий окружающей среды;

- если условия окружающей среды формируются внутри генератора, то внутри генератора должно быть достаточно места для помещения устройства сбора биометрических данных и биометрической характеристики пользователя.

Примечание - Часто в генераторы условий окружающей среды интегрируются приборы для измерения и/или записи параметров (например, в климатическую камеру).

7.3.2.3 Требования к проверке создания условий испытания

Требования к точкам измерения и рабочим точкам считаются удовлетворенными, если соответствующие параметры являются стабильными. Должны быть установлены и опубликованы критерии определения стабильного состояния каждого параметра.

Примечания

1 Время, необходимое для стабилизации условий окружающей среды, зависит от параметров окружающей среды и используемых генераторов условий окружающей среды.

2 Примером критерия является "В течение минимум 30 с изменения параметра недопустимы, либо допустимы только в пределах определенного диапазона".

Во время испытаний изменения условий окружающей среды могут проходить при взаимодействии испытуемого субъекта с биометрической системой. Если при изменениях условия испытания превысили установленное значение или диапазон значений, то экспериментаторы должны ожидать, когда точки измерения и рабочие точки достигнут необходимых стабильных значений. Если испытуемые субъекты должны пройти акклиматизацию, то до возобновления испытаний должны быть проведены определенные действия для достижения акклиматизации испытуемыми.

Примечания

1 Требования к акклиматизации установлены в 7.5.

2 Важно учитывать время стабилизации параметров окружающей среды при планировании испытания. Это время может увеличить продолжительность испытаний, и, как следствие, привести к усталости и потере мотивации испытуемых субъектов.

Помещать биометрическую систему в условия окружающей среды перед созданием условий точек измерения рекомендуется постепенно, так как некоторые факторы, например, температура, при слишком быстром изменении могут привести к повреждению биометрической системы.

7.3.3 Размещение биометрической системы

Испытуемая биометрическая система должна быть расположена в предусмотренной конфигурации испытания таким образом, чтобы обеспечить взаимодействие с пользователем в соответствии с рекомендациями поставщика биометрической системы. Если рекомендациям поставщика биометрической системы невозможно следовать, размещение должно быть согласовано испытательной и пусконаладочной организациями с выявлением любых возможных воздействий на эксплуатационные характеристики из-за иного размещения.

7.4 Испытуемая выборка

7.4.1 Общие положения

Для участия в испытании эксплуатационных характеристик должно быть выбрано широкое множество пользователей. Испытуемая выборка должна быть специфичной и репрезентативной для целевой группы пользователей. Должны быть приняты во внимание такие факторы, как пол, возраст, этническое происхождение и место жительства.

7.4.2 Размер испытуемой выборки

Размер испытуемой выборки должен устанавливаться совместно пусконаладочной и испытательной организациями, основываясь на ограничениях стоимости, времени, сложности испытаний, наличия ресурсов и требуемых уровнях статистической значимости. Предопределенный размер испытуемой выборки должен быть документирован вместе с обоснованием определения значения.

Примечания

1 Число испытуемых субъектов может быть рассчитано с учетом правила трех или правила тридцати, определенных в ГОСТ Р ИСО/МЭК 19795-1.

2 После применения одного из этих правил экспериментаторы получают следующие данные:

- число испытуемых субъектов для участия. Это число может быть увеличено примерно на 10%, чтобы испытуемые субъекты могли покидать испытание до его завершения;

- число транзакций подлинного лица и "самозванца" для каждого испытуемого субъекта для обеспечения достаточного числа сравнений;

- число транзакций подлинного лица и "самозванца" для каждого испытуемого субъекта на каждую точку измерения параметра окружающей среды для обеспечения достаточного числа сравнений.

Так как каждый испытуемый субъект выполняет попытки подлинного лица и "самозванца" по каждому условию окружающей среды, испытания могут быть затратными по времени. Продолжительность испытания должна быть принята во внимание при определении размера выборки.

7.4.3 Отбор испытуемых субъектов

Испытуемые субъекты должны быть выбраны случайным образом в пределах выполненных общих требований к составу испытуемой выборки (например, возраст, пол или другие атрибуты). Испытуемые субъекты не должны принимать ранее участие во внедрении биометрической системы или в процессе обучения/настройки алгоритма.

7.4.4 Обучение и инструктаж испытуемых субъектов

7.4.4.1 Информация об испытании

Испытуемые субъекты должны получить соответствующую информацию об испытании: целях, числе посещений и правовых вопросах, связанных с их участием в испытаниях.

Примечание - Испытуемые субъекты должны быть ознакомлены и согласны с расписанием посещений и всеми соответствующими правовыми вопросами для того, чтобы избежать проблем во время проведения испытаний.

7.4.4.2 Инструкции к испытаниям

Испытуемые субъекты должны получить информацию об этапах испытания (биометрической регистрации и биометрической верификации) и о действиях испытуемого субъекта на каждом из этапов. Необходимо дать соответствующие объяснения, если согласно инструкциям испытуемые субъекты должны действовать в зависимости от условий окружающей среды.

Примечание - Для упрощения взаимодействия пользователям следует знать, как использовать устройство сбора биометрических данных внутри генератора условий окружающей среды.

7.4.4.3 Обучение

Испытуемые субъекты должны выполнять попытки взаимодействия с биометрической системой на практике. Операторы испытаний должны контролировать эти попытки и корректировать ошибки до тех пор, пока испытуемый субъект не продемонстрирует достаточный опыт при взаимодействии с биометрической системой.

7.4.4.4 Инструктаж

Инструктаж испытуемых субъектов должен проводиться во время обучения и биометрической регистрации, но во время биометрической верификации операторы испытаний должны только проверять правильность взаимодействия субъекта испытания с биометрической системой.

7.4.4.5 Обратная связь

Если в биометрической системе отображается информация, относящаяся к получению биометрического образца, и результат сравнения для каждой попытки, то они должны быть предоставлены испытуемым субъектам для улучшения их взаимодействия с системой.

Рекомендуется обеспечить минимальную обратную связь от оператора испытаний.

7.4.4.6 Уровень навыков

Посредством обучения, инструктажа и планирования испытания испытуемые субъекты должны приобрести навыки работы с испытуемыми устройствами перед проведением попыток биометрической регистрации и биометрической верификации испытаний. Если приобретение навыков невозможно, влияние изменения уровня навыков на эксплуатационные характеристики должно быть сведено к минимуму, насколько это возможно. Это может быть достигнуто путем представления во всех испытаниях пользователей с наличием и отсутствием навыков в постоянных пропорциях. Уровни навыков испытуемых субъектов должны быть занесены в протокол.

7.4.5 Посещения

Число посещений должно быть больше одного. При первом посещении испытуемые субъекты должны выполнить практические/обучающие попытки, затем пройти биометрическую регистрацию и первую сессию транзакций подлинного лица и "самозванца". Во время последующих посещений должны проводиться только транзакции подлинного лица и "самозванца".

Число транзакций для каждого испытуемого субъекта за одно посещение должно быть не менее 10 транзакций подлинного лица и не более 10 транзакций "самозванца". Все транзакции должны проводиться с "отсоединением" от устройства. Испытуемые субъекты должны выполнять движения для предоставления своей биометрической характеристики устройству сбора биометрических данных в соответствии с целевым приложением. Целью требования является исключение ситуации, когда испытуемые субъекты предоставляют свою биометрическую характеристику один раз и сохраняют ее положение на устройстве сбора биометрических данных на протяжении всех попыток и транзакций.

7.5 Акклиматизация

В зависимости от биометрической модальности и оцениваемых параметров окружающей среды должен быть определен период акклиматизации в соответствии с реальным приложением. Акклиматизация относится к субъектам, адаптируемым к целевым условиям окружающей среды.

При наличии, акклиматизация должна быть определена как часть плана испытаний. Необходимо определить следующие факторы:

- время, когда проводится акклиматизация;

- минимальная длительность периода акклиматизации;

- требования к достижению акклиматизации испытуемым субъектом;

- критерии для принятия решения о достижении акклиматизации испытуемым субъектом.

7.6 Трудозатраты и политика принятия решений

Ограничения по транзакциям биометрической регистрации и биометрической верификации, в том числе по попыткам, транзакциям и временному регламенту, должны быть сопоставимы с целевым приложением. Выбранные значения должны быть опубликованы вместе с результатами испытаний.

7.7 Протоколы обработки исключений

Во время проведения испытаний могут происходить различные ошибки. Операторы испытаний должны принимать меры, чтобы ошибки не повлияли на результаты испытаний. Следующие действия должны быть приняты для различных видов ошибок:

- ошибки биометрической системы: случаются при неправильной работе устройства сбора биометрических данных. В этом случае оператор испытаний должен остановить испытания и решить проблему. Испытания должны быть продолжены после того, как биометрическая система снова заработает правильно. Возникшие ошибки и способы их решений должны быть занесены в протокол испытания;

- ошибки условий окружающей среды: при обнаружении изменений условий окружающей среды операторы испытаний должны измерить параметры окружающей среды и проверить, находятся ли они внутри требуемого диапазона. Если какие-то параметры выходят за пределы требуемого диапазона, операторы испытания должны остановить испытание и устранить проблемы. Как только значения параметров окружающей среды станут стабильными и будут находиться внутри соответствующего диапазона, испытание должно быть возобновлено. Операторы испытаний должны занести ошибки в протокол испытаний;

- ошибки в биометрической регистрации или биометрической верификации: если операторы испытаний обнаруживают, что испытуемый субъект ввел неверный идентификатор, представил неправильную биометрическую характеристику или использует устройство в неподдерживаемом режиме, то оператор должен отменить попытку, проинформировать испытуемый субъект об ошибке и повторить транзакцию.

7.8 Данные для записи и результаты испытаний

7.8.1 Общие положения

Экспериментаторы должны контролировать и анализировать данные, записываемые при проведении испытаний, чтобы убедиться в том, что методы испытания применяются должным образом, и что испытательное оборудование работает правильно. Все данные, записываемые при проведении испытаний, должны быть сохранены.

Показатели биометрического сравнения используются экспериментаторами для расчета эксплуатационных характеристик. Эксплуатационные характеристики должны быть занесены в протокол вместе с небиометрическими данными (например, данными о пользователях и о попытках в биометрической системе) и данными об условиях окружающей среды.

Примечание - Любые персональные данные (например, биометрические данные) должны быть получены и использованы в соответствии с законами о защите персональных данных* и конфиденциальности.

________________

* В Российской Федерации действует Федеральный закон от 27 июля 2006 г. N 152-ФЗ "О персональных данных".

7.8.2 Требования к записи данных

При проведении испытания отдельного условия окружающей среды должны быть записаны измерения условий окружающей среды, данные для расчета эксплуатационных характеристик и другие данные для протоколирования.

Примечание - В 6.4.3 определены требования к записи условий окружающей среды.

Должны быть занесены в протокол ошибки биометрической регистрации и биометрической верификации, вызванные, вероятно, факторами окружающей среды (например, ошибки биометрической верификации по отпечаткам пальцев в результате чрезмерного потоотделения, вызванного высокой температурой). Указанные ошибки должны быть учтены в оценке эксплуатационных характеристик системы и удобстве использования системы.

Рекомендуется регистрировать синхронизированные по времени видеозаписи взаимодействия пользователей с испытуемой(ыми) биометрической(ими) системой(ами), предпочтительно с использованием системы видеоаналитики для проведения эффективного анализа.

Рекомендуется сбор информации от испытуемых субъектов по удобству использования биометрической системы. Информация может быть получена с помощью опросов на выходе, предоставления испытуемыми субъектами при проведении испытаний или другими методами.

7.8.3 Требования к расчетам результатов

7.8.3.1 Исходные эксплуатационные характеристики

Первое испытание исходных эксплуатационных характеристик должно проводиться при условиях базового испытания и в обычной конфигурации (т.е. не в климатической камере). Результаты первого испытания должны быть отнесены к базовому уровню условий окружающей среды. Второе испытание исходных эксплуатационных характеристик должно быть проведено при условиях базового испытания и в конфигурации для создания и контроля параметров окружающей среды, когда на испытуемую биометрическую систему потенциально влияет генератор условий окружающей среды (например, климатическая камера). Результаты второго испытания должны быть отнесены к базовому уровню условий конфигурации.

7.8.3.2 Эффекты конфигурации

Сравнение эксплуатационных характеристик базового уровня условий конфигурации с эксплуатационными характеристиками базового уровня условий окружающей среды должно определить эффект конфигурации. Поскольку оба базовых уровня определены в одинаковых условиях испытания, то изменения эксплуатационных характеристик будут вызваны наличием конфигурации для создания и контроля параметров окружающей среды.

Пример - Биометрический сканер отпечатков пальцев испытывается на воздействие температуры на показатели совпадений. Биометрический сканер устанавливается в климатическую камеру с наличием отверстия, так чтобы можно было поместить руку в камеру и активировать считыватель. Ввиду конфигурации в климатической камере меняется угол предъявления отпечатков пальцев, а также нарушается просмотр обратной связи от биометрического сканера отпечатков пальцев. Биометрический сканер, установленный в климатической камере, должен показать более высокие вероятности ложного недопуска по сравнению с характеристиками базового уровня условий окружающей среды.

7.8.3.3 Определение эффектов воздействия окружающей среды

Результаты должны быть представлены в виде эксплуатационных характеристик, определенных для конкретных условий окружающей среды, в сравнении с эксплуатационными характеристиками базового уровня условий конфигурации.

Пример - В таблице представлены результаты испытания биометрической системы распознавания отпечатков пальцев в пяти точках измерения температуры. В качестве эксплуатационных характеристик используются ВЛНС* и ВЛС** при пороге, установленном для испытания. В каждой точке измерения температуры в пределах от 0°C до 40°C выполнено одинаковое число попыток подлинного лица. Все величины выражены в процентах.

________________

* ВЛНС - Вероятность ложного несовпадения (False non-match rate (FNMR)).

** ВЛС - Вероятность ложного совпадения (False match rate (FMR)).

Таблица - Результаты испытания биометрической системы распознавания отпечатков пальцев, %

С использованием представленных в таблице данных "эффект конфигурации" рассчитывается как разность показателя при базовом уровне условий конфигурации и при базовом уровне условий окружающей среды:

- ВЛНС_эффект_конфигурации=1,0-0,5=0,5%;

- ВЛС_эффект_конфигурации=0,100-0,100=0,0%.

С использованием представленных в таблице данных "эффект температуры в целом" рассчитывается как разность среднего значения показателя по всем показателям температуры и при базовом уровне условий конфигурации:

- ВЛНС_эффект_температуры=2,4-1,0=1,4%;

- ВЛС_эффект_температуры=0,070-0,100=-0,030%.

С использованием представленных в таблице данных "эффект температуры при 40°C" рассчитывается как разность показателя при температуре 40°C и при базовом уровне условий конфигурации:

- ВЛНС_эффект_температуры_при_40°C=7,0-1,0=6,0%;

- ВЛС_эффект_температуры_при_40°C=0,050-0,100=-0,050%.

В результате анализа данных можно сделать вывод: значения температуры до 20°C не оказывают воздействия на эксплуатационные характеристики системы.

7.8.4 Требования к протоколированию результатов

7.8.4.1 Эксплуатационные характеристики

Как правило, используется несколько показателей эксплуатационных характеристик биометрической системы. Экспериментаторы должны указать в протоколе показатели для испытаний каждого условия окружающей среды, определенные в ГОСТ Р ИСО/МЭК 19795-1 и ГОСТ Р ИСО/МЭК 19795-2.

Должны быть указаны эксплуатационные характеристики базового уровня условий окружающей среды и базового уровня условий конфигурации.

7.8.4.2 Небиометрические данные

Должны быть представлены следующие небиометрические данные помимо эксплуатационных характеристик:

- участники попыток в биометрической системе: число участников, которые принимали участие в попытках, и их демографические данные;

- данные окружающей среды: данные об условиях окружающей среды, полученные в ходе испытаний. Включают показатели и/или графики контролируемых параметров окружающей среды;

- измерения параметров окружающей среды при расчете исходных эксплуатационных характеристик;

- ошибки условий окружающей среды;

- журнал ошибок: записи оператора испытания об ошибках и их решениях;

- данные об удобстве использования системы: данные, собранные при проведении испытаний об удобстве использования системы с точки зрения участников испытания;

- общие наблюдения оператора испытания.

7.9 Последовательность проведения испытаний

7.9.1 Общие положения

Результаты испытания должны обеспечивать корректное сравнение эксплуатационных характеристик биометрической системы, полученных в нескольких условиях окружающей среды. Испытания должны быть выполнены в условиях базового испытания и в одном или более дополнительных условиях окружающей среды. Операторами испытания и субъектами испытания должен выполняться непротиворечивый набор последовательных действий для каждого испытуемого состояния окружающей среды. Методология должна соответствовать требованиям ГОСТ Р ИСО/МЭК 19795-2 и настоящего стандарта.

7.9.2 Действия перед проведением испытания

Испытательная организация должна провести ряд мероприятий перед испытанием, включая следующие:

- проверка испытуемой биометрической системы и реализация актуального приложения поддержки при проведении испытания. В приложении должен быть обеспечен сбор необходимой информации, и оно должно соответствовать трудозатратам и политике принятия решений, определенным ранее;

- подготовка условий испытаний и соответствующих генераторов условий окружающей среды;

- разработка расписания испытаний и инструкции набора испытуемых субъектов;

- разработка организационно-правовых форм, форм данных и руководств для испытуемых субъектов;

- инструктаж операторов испытания по работе биометрической системы, использованию приложения испытаний, работе с генераторами условий окружающей среды и обеспечение всеми необходимыми данными для проведения испытания;

- калибровка генераторов условий окружающей среды и проверка их работы, при необходимости;

- проверка калибровки средств измерения параметров окружающей среды и повторная калибровка, при необходимости.

7.9.3 Действия во время проведения испытания

7.9.3.1 Действия до первого посещения

- группа испытуемых субъектов;

- ввод биометрической системы в условия испытания при биометрической регистрации и создание соответствующих условий окружающей среды;

- проведение анализа работоспособности системы в процессах биометрической регистрации и биометрической верификации.

7.9.3.2 Базовое испытание

Базовое испытание должно быть проведено одним из двух способов:

- во время только первого посещения;

- во время последующих посещений.

Примечание - Если предполагается, что эксплуатационные характеристики системы будут изменяться в течение периода испытаний за счет усовершенствования навыков испытуемых субъектов, то рекомендуется сбор базовых значений во время всех посещений.

7.9.3.3 Первое посещение

При первом посещении:

- ознакомьте испытуемого субъекта с инструкцией по испытанию;

- обучите испытуемого субъекта биометрической регистрации;

- проведите биометрическую регистрацию;

- установите условия окружающей среды для первого испытания. Не забудьте поместить биометрическую систему в моделируемую среду до корректировки соответствующих значений;

- подождите, пока условия окружающей среды не станут стабильными. Во время данного процесса операторы испытаний могут выполнять обучение испытуемых процессу биометрической верификации;

- проведите биометрическую верификацию испытуемого субъекта;

- проведите первую сессию попыток подлинного лица и "самозванца". Если условия окружающей среды изменяются при взаимодействии с испытуемым субъектом, важно дождаться стабилизации условий и акклиматизации биометрической системы между транзакциями;

- установите условия окружающей среды для следующего испытания и повторите два предыдущих шага для всех анализируемых условий. В случае необходимости проведите базовые испытания.

7.9.3.4 Последующие посещения

При последующих посещениях:

- напомните испытуемым субъектам инструкции по испытаниям для процесса верификации;

- установите условия окружающей среды для первого испытания. Не забудьте предварительно поместить биометрическую систему в окружающую среду;

- выполните серию транзакций биометрической верификации с биометрическим шаблоном, полученным при первом посещении, а также попытки "самозванца";

- установите условия окружающей среды для следующего испытания и повторите два предыдущих шага для всех анализируемых условий. В случае необходимости проведите базовые испытания.

7.9.4 Действия после проведения испытаний

После проведения испытаний необходимо выполнить следующие действия:

- анализ информации, собранной при проведении испытаний;

- расчет величин, графиков и показателей эксплуатационных характеристик биометрической системы;

- формирование протоколов с указанием всех обязательных данных;

- организация совещаний для подведения итогов.

8 Оперативные испытания

8.1 Введение

Испытания должны быть выполнены в соответствии с ГОСТ Р ИСО/МЭК 19795-6 с проработкой следующих аспектов:

- условия испытания;

- период испытаний;

- запись данных;

- измерение эксплуатационных характеристик;

- транзакции "самозванца";

- формирование протоколов.

Примечание - Существуют некоторые различия между сценарными и оперативными испытаниями на воздействие окружающей среды. В частности, оперативные испытания отличаются следующим:

- оперативные испытания проводятся в естественных климатических условиях окружающей среды, а не в строго контролируемых климатических условиях;

- пользователями системы могут быть реальные пользователи, специально сформированная испытуемая группа или их сочетание;

- испытание может быть дополнено контролем других параметров окружающей среды, таких как искусственное освещение, шум, возможный ветер и т.д.

8.2 Условия испытания

Условиями испытания должны быть условия эксплуатации при биометрической регистрации и биометрической верификации. В оперативных испытаниях условия окружающей среды не контролируются; однако, испытуемые параметры окружающей среды должны быть записаны. Если для записи параметров окружающей среды необходимы дополнительное испытательное оборудование, то оно должно быть расположено таким образом, чтобы как можно меньше влиять на взаимодействие пользователей с биометрической системой.

8.3 Период испытаний

Продолжительность испытаний должна быть определена с учетом оцениваемых параметров окружающей среды и целей оперативных испытаний. Для достижения желаемого уровня значимости результатов должны быть рассчитаны число транзакций для проведения в указанный период испытаний и соответствующее число испытуемых.

Испытательная организация должна контролировать оцениваемые условия окружающей среды и планировать/проводить испытания, когда условия вероятнее всего будут в целевом диапазоне. При обнаружении данных, собранных в условиях вне целевого диапазона, должен быть проведен анализ возможности их использования.

Пример - Если целью испытаний является анализ тенденций при высоких температурах, то целесообразным периодом испытаний является лето.

Примечания

1 Время суток может быть важным условием испытания, если в испытание включены солнечное освещение и угол освещения.

2 Продолжительность испытания для оперативных испытаний, скорее всего, будет увеличена ввиду изменчивости и неконтролируемого характера параметров целевой окружающей среды.

8.4 Запись данных

Методы записи данных должны включать запись оцениваемых параметров окружающей среды при проведении испытаний. Данные методы должны соответствовать требованиям 6.4.

8.5 Измерения эксплуатационных характеристик

Экспериментаторы должны заносить в протокол эксплуатационные характеристики, которые установлены в ГОСТ Р ИСО/МЭК 19795-6 для соответствующих испытаний. Также должны быть занесены в протокол небиометрические данные, такие как измерения параметров окружающей среды, демографические данные, информация об удобстве пользования системой и журналы ошибок.

8.6 Транзакции "самозванца"

Если должны быть проведены расчеты вероятностей ложного допуска, то должны быть выполнены попытки "самозванцев".

В ГОСТ Р ИСО/МЭК 19795-6 определено несколько методов проведения испытаний "самозванцев" в условиях эксплуатации. Для испытаний на воздействие условий окружающей среды испытания "самозванцев" могут проводиться при использовании биометрической системы в рабочем режиме, с использованием специальных биометрических систем или в специально выделенное время.

Примечание - Проведение испытаний "самозванцев" только в течение определенного интервала времени может исказить эксплуатационные характеристики системы, если в выбираемый период параметры окружающей среды принимают определенные значения.

8.7 Протоколирование

Измерения параметров окружающей среды должны быть занесены в протокол вместе с обязательными эксплуатационными характеристиками.

Приложение A

(справочное)

Значения параметров окружающей среды

A.1 Стандартные условия окружающей среды

Стандартные условия окружающей среды представлены в таблице А.1.

Таблица A.1 - Стандартные условия окружающей среды

В таблицах A.2 и A.3 указаны определения стандартных условий окружающей среды по другим источникам.

Таблица A.2 - Стандартные условия окружающей среды по определению соответствующих стандартов: температура, относительная влажность и атмосферное давление

Таблица A.3 - Стандартные условия окружающей среды по определению соответствующих стандартов: освещенность и шум

________________

* В Российской Федерации рекомендуется применять указанный стандарт (документ).

A.2 Выбор диапазона условий испытаний

Существуют два подхода к определению условий испытаний.

Первый подход состоит в использовании документированного рабочего диапазона биометрической системы вне зависимости от того, где она будет установлена.

Второй подход заключается в использовании условий окружающей среды согласно стандартам, приведенным в таблице A.2.

A.3 Определение условий эксплуатации

Должен быть определен рабочий диапазон, в котором может работать биометрическая система. Диапазон определяется для каждого оцениваемого параметра окружающей среды. Диапазон должен быть выражен в единицах измерения согласно 6.2.2.

Когда условия эксплуатации неизвестны, могут быть использованы:

- диапазон согласно спецификации биометрической системы;

- данные о типичных условиях окружающей среды на основе других стандартов, исследований или публикаций.

Пример - Для температуры и относительной влажности типичная среда эксплуатации может быть определена значениями для основной климатической зоны в соответствии со стандартами, указанными в таблице A.2.

A.4 Определение экстремальных условий

Должны быть определены экстремальные условия для каждого оцениваемого параметра окружающей среды. Эти условия могут выходить за пределы рабочего диапазона биометрической системы.

Когда условия эксплуатации неизвестны, экстремальные условия могут быть определены следующим образом:

- с учетом выхода за пределы диапазона согласно спецификации биометрической системы;

- на основе данных из других стандартов, исследований или публикаций.

Пример - Для температуры и относительной влажности экстремальные условия могут быть определены значениями для конкретных климатических зон в соответствии со стандартами, указанными в таблице A.2.

Экстремальные условия должны быть выражены в единицах измерения согласно 6.2.2.

Приложение B

(справочное)

Испытательное оборудование

B.1 Общие положения

Испытательное оборудование используется для выполнения следующих функций испытания:

- создание и контроль условий окружающей среды;

- измерение условий окружающей среды;

- запись измерений параметров окружающей среды и эксплуатационных характеристик биометрической системы.

В настоящем приложении представлена дополнительная информация об испытательном оборудовании и его функциональности. Приведены примеры для часто используемых параметров окружающей среды, например, температуры, влажности и освещенности.

B.2 Испытательное оборудование для создания и контроля условий окружающей среды

B.2.1 Общие рекомендации

Испытательное оборудование для создания и контроля условий окружающей среды должно работать за пределами максимальных и минимальных значений испытуемых параметров окружающей среды. Это излишнее требование позволяет избежать нелинейных условий вблизи границ рабочего диапазона.

B.2.2 Генераторы температуры и относительной влажности

Генератор температуры или относительной влажности должен создавать контролируемые температуру или влажность окружающей среды. В генераторе должно быть достаточно места для введения устройства сбора биометрических данных и биометрической характеристики пользователя (например, ладоней, рук, лица или глаз в прямой видимости). Доступ к устройству сбора биометрических данных (например, сквозные отверстия) должен обеспечивать типичное эргономичное взаимодействие с устройством сбора биометрических данных, например, положение пальца к сканеру отпечатков пальцев под типичным углом.

Пример - Климатическая камера. На рынке существует большое разнообразие климатических камер с различными объемом и параметрами для управления между несколькими диапазонами. Настоящее требование предписывает, что климатическая камера должна быть спроектирована со специальными сквозными отверстиями для взаимодействия пользователей с устройством сбора биометрических данных при сохранении стабильных условий окружающей среды.

B.2.3 Генераторы освещения

Генератор освещения должен создавать зону контролируемого освещения с учетом типа света, интенсивности и направленности освещения.

Пример - Зона контролируемого освещения - это определенное пространство или помещение, в котором должны быть размещены различные лампы накаливания и люминесцентные лампы. Лампы должны быть расположены единым способом и должны освещать непосредственно устройство сбора биометрических данных. В зависимости от требований к условиям окружающей среды и мощности излучения источников света, число ламп накаливания и/или люминесцентных ламп и их расположение могут быть изменены.

B.3 Испытательное оборудование для измерения параметров окружающей среды

B.3.1 Общие рекомендации

Испытательное оборудование для измерения параметров окружающей среды должно работать за пределами максимальных и минимальных значений испытуемых параметров окружающей среды. Оборудование должно иметь достаточную пропускную способность для хранения необходимых измерений или для подключения другого оборудования, которое обеспечивает такую способность.

B.3.2 Измерители температуры и относительной влажности

Оборудование должно обеспечивать точное измерение температуры и влажности.

Пример - Климатическая камера содержит измерители температуры и относительной влажности воздуха. Поэтому отдельные приборы не требуются до тех пор, пока измерители имеют погрешность измерения температуры не более 0,5?C и погрешность измерения относительной влажности не более 0,5%.

B.3.3 Измерители освещенности

Оборудование должно обеспечивать точное измерение освещенности.

Пример - Спектрометр позволяет измерять интенсивность в широком диапазоне светового спектра. Для проведения измерений во всех направлениях должен быть установлен специальный инструмент. Измеритель освещенности должен располагаться как можно ближе к устройству сбора биометрических данных. В случае сканера отпечатков пальцев, необходимо поместить измеритель освещенности вблизи сканера и провести измерения. При этом освещение человека не является основной задачей. В случае распознавания лица/радужной оболочки глаз измеритель освещенности должен быть размещен относительно испытуемого субъекта, а не камеры (для исключения попадания прямого света на объектив). В данном случае представляет интерес уровень освещенности субъекта.

B.4 Испытательное оборудование для записи результатов

Для записи важных данных, полученных при проведении испытаний, рекомендуется использование автоматической системы. Автоматическая система делает работу экспериментаторов проще и уменьшает число человеческих ошибок. Упрощается формирование отчетов. Автоматическая система может иметь несколько конфигураций. Для биометрических данных система может быть частью биометрического приложения. Для параметров окружающей среды система может принадлежать к приборам для измерения, независимому приложению или их комбинации. Экспериментаторы должны принять решение о предпочтительном способе записи результатов.

Приложение ДА

(справочное)

Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте

Таблица ДА.1

Библиография

Электронный текст документа

и сверен по:

, 2018