ГОСТ Р 58292-2018 Информационные технологии. Биометрия. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методы проведения технологического и сценарного испытаний

ГОСТ Р 58292-2018

(ИСО/МЭК 19795-2:2007)

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии

БИОМЕТРИЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 2

Методы проведения технологического и сценарного испытаний

Information Technology. Biometrics. Biometric performance testing and reporting. Part 2. Testing methodologies for technology and scenario evaluation

ОКС 35.240.15*

________________

* Измененная редакция, Изм. N 1.

Дата введения 2019-08-01

Предисловие

1 ПОДГОТОВЛЕН Некоммерческим партнерством "Русское общество содействия развитию биометрических технологий, систем и коммуникаций" (Некоммерческое партнерство "Русское биометрическое общество") и Федеральным государственным унитарным предприятием "Всероссийский научно-исследовательский институт стандартизации и сертификации в машиностроении" (ВНИИНМАШ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4, при консультативной поддержке Федерального государственного бюджетного образовательного учреждения высшего образования "Московский государственный технический университет имени Н.Э.Баумана (национальный исследовательский университет)" (МГТУ им. Н.Э.Баумана)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 098 "Биометрия и биомониторинг"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 30 ноября 2018 г. N 1049-ст

4 Настоящий стандарт является модифицированным по отношению к международному стандарту ИСО/МЭК 19795-2:2007* "Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методология проведения технологического и сценарного испытаний" (ISO/IEC 19795-2:2007 "Information Technology - Biometric performance testing and reporting - Part 2: Testing methodologies for technology and scenario evaluation", MOD), включая изменение Amd.1:2015, путем изменения отдельных фраз (слов, значений показателей, ссылок), которые выделены в тексте курсивом**. Внесение указанных технических отклонений направлено на учет потребностей национальной экономики Российской Федерации. Кроме того, потребности национальной экономики Российской Федерации учтены в дополнительном приложении ДА.

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей.

** В оригинале обозначения и номера стандартов и нормативных документов в разделах "Предисловие", "Введение", 3 "Нормативные ссылки" и приложении ДБ приводятся обычным шрифтом; отмеченные в разделах "Предисловие" и 3 "Нормативные ссылки" знаком "**" и остальные по тексту документа выделены курсивом. - Примечания изготовителя базы данных.

Изменение к указанному международному стандарту, принятое после его официальной публикации, внесено в текст настоящего стандарта и выделено двойной вертикальной линией, расположенной на полях напротив соответствующего текста.

Сведения о соответствии ссылочных национальных и межгосударственного стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте, приведены в дополнительном приложении ДБ.

Сопоставление структуры настоящего стандарта со структурой указанного международного стандарта приведено в дополнительном приложении ДВ

5 ВЗАМЕН ГОСТ Р ИСО/МЭК 19795-2-2008

6 Некоторые элементы настоящего стандарта могут быть объектами патентных прав. Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) не несут ответственности за установление подлинности каких-либо или всех подобных патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации"**. Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

ВНЕСЕНО Изменение N 1, утвержденное и введенное в действие приказом Федерального агентства по техническому регулированию и метрологии от 25.11.2021 N 1606-ст c 01.01.2022

Изменение N 1 внесено изготовителем базы данных по тексту ИУС N 2, 2022

Введение

В настоящем стандарте рассмотрены два основных вида эксплуатационных испытаний биометрических систем - технологическое и сценарное. Большая часть испытаний в биометрии относится к одному из этих двух видов. При технологических испытаниях оценивают алгоритмы биометрической регистрации и биометрического сравнения с помощью ранее собранных баз данных. При сценарных испытаниях оценивают датчики и алгоритмы путем обработки биометрических образцов, собранных у испытуемых субъектов в режиме реального времени. Первый вид испытаний предназначен для генерации больших объемов результатов сравнения и списков кандидатов, указывающих на основную различающую способность алгоритма. Второй вид испытаний предназначен для измерения эксплуатационных характеристик в смоделированных условиях окружающей среды, включая взаимодействие испытуемого субъекта с биометрической системой.

Настоящий стандарт основан на требованиях и передовом опыте, определенных в ГОСТ Р ИСО/МЭК 19795-1-2007, в котором рассмотрены конкретные подходы и принципы для применения в широком диапазоне условий испытаний.

Настоящий стандарт предназначен для предоставления разработчикам, производителям и конечным пользователям биометрических систем механизмов для разработки, проведения и протоколирования результатов эксплуатационных испытаний биометрических систем, что позволяет проводить различные испытания эксплуатационных характеристик биометрических систем относительно технологий, сценариев использования и условий окружающей среды.

1 Область применения

Настоящий стандарт устанавливает требования к сбору, анализу данных и протоколированию результатов двух основных видов испытаний - технологического и сценарного.

Требования настоящего стандарта распространяются:

- на разработку и полноценное описание протоколов для технологического и сценарного испытаний;

- методы проведения испытаний биометрических систем и протоколирование их результатов, отражающих параметры, присущие определенным видам биометрических испытаний;

- мультимодальные биометрические системы;

Требования настоящего стандарта не распространяются на:

- принципы и методы оценки эксплуатационных характеристик методов обнаружения атак на биометрическое предъявление;

- протоколы результатов испытаний методов обнаружения атак на биометрическое предъявление*.

________________

* Данные требования установлены в ГОСТ Р 58624.3-2019 (ИСО/МЭК 30107-3:2017) "Информационные технологии. Биометрия. Обнаружение атаки на биометрическое предъявление. Часть 3. Испытания и протоколы испытаний".

(Измененная редакция, Изм. N 1).

2 Соответствие

Методы проведения технологического и сценарного испытаний должны соответствовать требованиям настоящего стандарта.

Требования настоящего стандарта к методам проведения сценарного испытания отличаются от требований, установленных для технологического испытания. Требования настоящего стандарта к методам проведения испытания систем биометрической идентификации отличаются от требований, установленных для испытания систем биометрической верификации. Соответствие методов испытаний требованиям настоящего стандарта может быть обеспечено только в случае соответствия их требованиям, изложенным в следующих разделах настоящего стандарта (см. таблицу 1).

Таблица 1 - Требования соответствия методов испытаний типам сравнения

3 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты*:

________________

* Таблицу соответствия национальных стандартов международным см. по ссылке. - .

ГОСТ ISO/IEC 2382-37** Информационные технологии. Словарь. Часть 37. Биометрия

ГОСТ Р ИСО/МЭК 19794-2** Информационные технологии. Биометрия. Форматы обмена биометрическими данными. Часть 2. Данные изображения отпечатка пальца - контрольные точки

ГОСТ Р ИСО/МЭК 19795-1-2007 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура

ГОСТ Р ИСО/МЭК 29159-1** Информационные технологии. Биометрия. Калибровка, аугментация и объединение данных в биометрии. Часть 1. Формат объединения данных

ГОСТ Р 54411-2018/ISO/IEC TR 24722:2015** Информационные технологии. Биометрия. Мультимодальные и другие мультибиометрические технологии

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

4 Термины и определения

В настоящем стандарте применены термины по ГОСТ ISO/IEC 2382-37 и ГОСТ Р ИСО/МЭК 19795-1, а также следующие термины с соответствующими определениями.

4.1 Компоненты биометрической системы

4.1.1 блок извлечения биометрических признаков (feature extractor): Устройство, предназначенное для извлечения биометрических признаков из биометрического образца.

4.1.2 блок создания биометрического контрольного шаблона (biometric reference generator): Устройство, предназначенное для преобразования биометрического образца в биометрический контрольный шаблон.

4.2 Взаимодействие пользователя с биометрической системой

4.2.1 акклиматизация (acclimatization): Временное ухудшение биометрических характеристик в процессе испытания, которое может влиять на способность датчика обрабатывать биометрический образец.

4.2.2 уровень затрачиваемых усилий (effort level): Число предъявлений, попыток или транзакций, необходимых для успешной биометрической регистрации или успешного биометрического сравнения в биометрической системе.

4.2.3 попытка биометрической регистрации (enrollment attempt): Предоставление испытуемым субъектом одного или нескольких биометрических образцов для биометрической регистрации в биометрической системе.

Примечания

1 Для совершения транзакции биометрической регистрации может разрешаться или требоваться одна или несколько попыток биометрической регистрации. Попытка биометрической регистрации может состоять из одного или нескольких предъявлений данных для биометрической регистрации.

2 Взаимосвязь между предъявлениями, попытками и транзакциями указана в приложении А.

4.2.4 предельное число попыток биометрической регистрации (enrollment attempt limit): Максимальное число попыток (или максимальная продолжительность попытки биометрической регистрации), которое может осуществить испытуемый субъект, прежде чем транзакция биометрической регистрации будет прекращена.

4.2.5 предъявление для биометрической регистрации (enrolment presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для биометрической регистрации.

Примечание - Для совершения попытки биометрической регистрации может разрешаться или требоваться одно или несколько предъявлений для биометрической регистрации. Предъявление для биометрической регистрации может приводить или не приводить к формированию попытки биометрической регистрации.

4.2.6 предельное число предъявлений для биометрической регистрации (enrolment presentation limit): Максимальное число предъявлений (или максимальная продолжительность предъявления), которое может осуществить испытуемый субъект, прежде чем попытка биометрической регистрации будет прекращена.

4.2.7 инструкция (guidance): Указания, предоставляемые администратором биометрической системы испытуемому субъекту в процессе биометрической регистрации или биометрического распознавания.

Примечание - Инструкция не является частью звуковой или графической обратной связи, обеспечиваемой биометрической системой или устройством сбора биометрических данных в процессе биометрической регистрации или биометрического распознавания.

4.2.8 навыки (habituation): Уровень знаний испытуемого субъекта об устройстве сбора биометрических данных.

Примечание - Испытуемый субъект, обладающий знаниями об использовании устройства сбора биометрических данных, рассматривается как испытуемый субъект, обладающий навыками.

4.2.9 попытка сравнения (comparison attempt): Предоставление одного или нескольких биометрических образцов испытуемого субъекта с целью их дальнейшего сравнения в биометрической системе.

4.2.10 предельное число попыток сравнения (comparison attempt limit): Максимальное число попыток (или максимальная продолжительность попытки), которое может осуществить испытуемый субъект до того, как транзакция сравнения будет прекращена.

4.2.11 предъявление для сравнения (comparison presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для сравнения с биометрическим контрольным шаблоном.

Примечание - Для совершения попытки сравнения может разрешаться или требоваться одно или несколько предъявлений для сравнения. Предъявление для сравнения может в результате приводить или не приводить к формированию попытки сравнения.

4.2.12 предельное число предъявлений для сравнения (comparison presentation limit): Максимальное число предъявлений (или максимальная продолжительность предъявления для сравнения), которое может осуществить испытуемый субъект до того, как попытка сравнения будет прекращена.

4.3 Эксплуатационные характеристики

4.3.1 вероятность отказа обработки исходных данных; ВООИД (failure at source rate): Доля биометрических образцов, удаленных из базы данных (либо вручную, либо автоматически) до начала ее использования в технологическом испытании.

Пример - Доля изображений, собранных в процессе сбора данных лица, которые могут быть удалены в случае, если изображения лица являются дефектными.

5 Обзор технологических и сценарных испытаний

Настоящий стандарт устанавливает методы проведения двух видов испытаний - технологического и сценарного. Протокол испытания должен включать в себя информацию о виде проводимого испытания - технологического, сценарного или смешанного, которое совмещает элементы технологического и сценарного испытаний.

Технологическое испытание - это испытание одного или нескольких алгоритмов для одной биометрической модальности, проводимое в режиме отложенного задания и использующее ранее существовавшую либо специально собранную базу данных биометрических образцов. Преимущество технологического испытания заключается в его отделении от процесса взаимодействия человека сдатчиком при получении биометрических данных и процесса биометрического распознавания, что обеспечивает следующие возможности:

- возможность проведения испытания путем использования полного перекрестного сравнения. Технологическое испытание позволяет использовать всю испытуемую выборку в качестве претендентов на идентичность всем остальным субъектам (то есть "самозванцам"), что позволяет оценить вероятность ложного совпадения (ВЛС) при сравнении "один к ", а не "один к N";

- возможность проведения пробных испытаний. Технологическое испытание может быть проведено без вывода результатов в режиме реального времени, что позволяет использовать его в рамках научно-исследовательской работы. Например, проведение замкнутых циклов испытаний позволяет определить влияние модификаций алгоритмов обработки, изменений динамических параметров (таких как уровень и структура затрачиваемых усилий) и использования различных баз данных изображений;

- возможность проведения испытаний на нескольких экземплярах биометрической характеристики с применением нескольких алгоритмов. Использование типовых процедур испытаний, стандартных интерфейсов и метрик предоставляет возможность проведения серии испытаний биометрических систем с использованием нескольких экземпляров биометрической характеристики (например, три изображения лица) с применением нескольких алгоритмов (например, алгоритм А и алгоритм В) или их комбинации;

- при условии что база данных содержит подходящие биометрические образцы, технологическое испытание позволяет провести испытания всех модулей после интерфейса получения биометрических данных с помощью датчика, в том числе модуль(и) проверки качества и обратной связи, модуль(и) обработки сигнала, модуль(и) обобщения изображений (в случае работы с мультимодальными биометрическими системами или системами, использующими несколько экземпляров биометрической характеристики), модуль(и) извлечения и нормализации биометрических признаков, модуль(и) обобщения биометрических признаков, модуль(и) вычисления и обобщения результатов сравнения и модуль(и) нормализации показателей;

- какие-либо непредвиденные события, возникающие в процессе взаимодействия человека с датчиком, препятствуют воспроизводимости результатов, что усложняет проведение сравнительных испытаний биометрических систем. Устранение данного взаимодействия как фактора, влияющего на эксплуатационные характеристики, позволяет обеспечить воспроизводимость результатов испытаний. В режиме отложенного задания данное испытание можно повторять множество раз при незначительных затратах;

- если доступны данные биометрических образцов, то эксплуатационные характеристики могут быть определены по очень большим целевым выборкам с использованием биометрических образцов, собранных за длительный промежуток времени (в течение нескольких лет).

Примечания

1 Составление базы данных биометрических образцов для проведения биометрической регистрации и вычисления результатов сравнения в режиме отложенного задания позволяет точнее определять те биометрические образцы и попытки биометрической регистрации, которые будут использованы в транзакциях.

2 Технологическое испытание всегда предполагает наличие хранилища данных для их последующей обработки в режиме отложенного задания. При сценарном испытании использование транзакций в режиме реального времени может быть проще для экспериментатора, поскольку биометрическая система работает в обычном режиме и сохранение биометрических образцов не требуется, хотя и рекомендуется.

Сценарное испытание - это определение эксплуатационных характеристик биометрической системы с помощью прототипа или имитирующего приложения, осуществляемое в режиме реального времени. Преимущество проведения сценарного испытания заключается в учете процесса взаимодействия человека с датчиком при биометрической регистрации и биометрическом распознавании, что обеспечивает следующие возможности:

- возможность определения влияния дополнительных попыток или транзакций на способность биометрической системы регистрировать или распознавать испытуемых субъектов;

- возможность определения пропускной способности биометрической системы при биометрической регистрации и биометрическом распознавании с учетом продолжительности процессов предъявления и сбора биометрических образцов.

Примечания

1 При испытаниях в режиме реального времени экспериментатор может принять решение не сохранять биометрические образцы, что снижает требования к подсистеме хранения данных и в некоторых случаях обеспечивает реальные условия работы биометрической системы. Однако при испытаниях в режиме реального времени биометрические образцы рекомендуется сохранять, что впоследствии позволяет проводить испытания и дальнейший анализ в режиме отложенного задания.

2 Испытание биометрической системы включает в себя сбор изображений или сигналов, используемых для формирования биометрических контрольных шаблонов при биометрической регистрации и расчета результатов сравнения при последующих попытках. Собранные изображения и/или сигналы могут быть сразу использованы для биометрической регистрации, биометрической верификации или биометрической идентификации в режиме реального времени попытки либо могут быть сохранены для последующего проведения указанных процедур в режиме отложенного задания.

Различия между технологическим и сценарным испытаниями приведены в таблице 2.

Таблица 2 - Различия между технологическим и сценарным испытаниями

6 Технологическое испытание

6.1 Программа испытаний

6.1.1 Цель

Целью испытания является оценка характеристик биометрической системы при работе с целевым приложением в процессе биометрической регистрации, получения биометрических данных и сравнения.

6.1.2 Степень соответствия приложения действительности

Если испытание проводят с целью оценки эксплуатационных характеристик биометрической системы в рамках одного приложения или одного принципа действия, то оно должно быть разработано и проведено таким образом, чтобы имитировать функциональные (ввод/вывод) и практические (например, процессы биометрической регистрации или биометрической верификации) особенности подобного приложения или принципа действия.

Пример - Если в реальных условиях в ходе попытки регистрации для образования транзакции биометрической регистрации собираются несколько изображений, то и программа технологического испытания должна соответствовать данным условиям.

По возможности испытуемые биометрические системы должны выводить результаты сравнения после каждой попытки сравнения.

6.1.3 Определение соответствующих эксплуатационных характеристик

Экспериментаторы должны определить, какие эксплуатационные характеристики в дополнение к указанным в 6.3 могут быть проверены в процессе данного испытания.

Программа испытания должна обеспечивать, чтобы в процессе испытания все требуемые метрики были проверены.

Экспериментаторы должны определить тип(ы) сравнения, который(ые) будут применяться в ходе технологического испытания. Должны быть указаны один или несколько из следующих типов сравнения:

a) биометрическая верификация;

b) биометрическая идентификация на открытом множестве;

c) биометрическая идентификация на замкнутом множестве.

Необходимо предоставить обоснование выбора того или иного типа сравнения, применяемого в рамках технологического испытания. Испытуемое сравнение должно быть применимо к рассматриваемому алгоритму. Испытание биометрических систем, разработанных для проведения особых типов сравнения (например, биометрическая идентификация по спискам), должно обеспечивать формирование результатов соответствующего вида.

Примечание - Формулы расчета вероятностей ошибок приведены в разделе 7 ГОСТ Р ИСО/МЭК 19795-1-2007.

6.1.4 Приоритет реализации биометрической системы

Программа испытания не должна устанавливать метод(ы), с помощью которого(ых) биометрическая система реализует свои функции. Реализация биометрической системой своих функций происходит независимо. Биометрическая система, осуществляющая распознавание, должна реализовывать данную функцию своим способом.

Примечание - Разделение того, что делает биометрическая система, и того, как она это делает, является фундаментальным принципом, позволяющим проводить испытания системы в режиме отложенного задания. В первую очередь необходимо определить ответственность экспериментатора и разработчика системы и разграничить их. По возможности испытуемая система должна рассматриваться как "черный ящик", основной функцией которой является принятие решений по результатам обработки полученных биометрических образцов. Алгоритмы принятия решений могут являться объектом интеллектуальной собственности, но в любом случае экспериментатора не должна интересовать данная проблема. Подобный подход упрощает проведение испытаний любых биометрических образцов.

Примеры

1 Если разрешение изображения отпечатка пальца составляет 1000 точек/дюйм, а испытуемое устройство сбора биометрических данных способно обрабатывать изображения только с вдвое меньшим разрешением, то экспериментатор должен, во-первых, не уменьшать разрешение, так как метод уменьшения разрешения является нетривиальным, и, во-вторых, проинформировать разработчика о необходимости внедрения функции уменьшения разрешения изображения.

2 Ряд одновременно полученных нефронтальных изображений лица может обрабатываться биометрической системой или устройством сбора биометрических данных как минимум тремя способами: выбор наилучшего изображения, обобщение изображений или создание пространственной трехмерной модели. В любом случае биометрическая система или устройство сбора биометрических данных принимают решение самостоятельно.

3 Большинство автоматизированных систем биометрической идентификации по изображениям отпечатков пальцев (то есть систем, которые идентифицируют записи, содержащие несколько отпечатков пальцев) содержат в себе механизм исключительной классификации, позволяющий разделять базу данных на части в соответствии с определенным критерием (наиболее простой пример - класс Генри) и осуществлять поиск только в той части базы данных, которой соответствует категория биометрического образца пользователя или "самозванца". За счет этого повышается пропускная способность, но при этом возникает вероятность снижения точности обработки. Компромиссное решение достигается путем установки разработчиком параметров исключительной классификации, а пропускная способность и точность обработки определяются путем выполнения полномасштабных испытаний для каждой конфигурации.

4 Если требуется показать эффективность использования нескольких изображений отпечатков пальцев в биометрической системе, то экспериментатор не должен вводить в систему отдельные изображения как отдельные биометрические образцы и проводить последующее обобщение показателей, полученных для каждого отдельного изображения (см. ГОСТ Р ИСО/МЭК 19794-2). Необходимо все изображения рассматривать как единственный обобщенный биометрический образец, при этом биометрическая система должна сама проводить обобщение. Более подробно данный вопрос рассмотрен в ГОСТ Р ИСО/МЭК 19794-2.

6.1.5 Политика раскрытия информации разработчикам

Экспериментатор перед началом испытания должен сформулировать политику, в соответствии с которой определяют, какая информация должна быть предоставлена разработчику перед транспортированием, установкой и настройкой испытательного оборудования, а какая - в процессе испытания.

6.1.6 Отсутствие взаимозаменяемости между попытками биометрической идентификации и попытками биометрической верификации

Результаты сравнения, полученные в ходе биометрической идентификации при поиске "один ко многим", не должны необоснованно представляться как результаты попыток биометрической верификации.

Примечания

1 В соответствии с принципом максимального приближения испытания к реальным условиям эксплуатации характеристики биометрической системы следует рассчитывать по результатам проведенных попыток (то есть исходя из числа принятых и отклоненных попыток). Характеристики системы биометрической верификации следует оценивать по результатам последовательности запросов пользователя на проверку идентичности. Характеристики системы биометрической идентификации следует оценивать аналогичным образом при поиске "один ко многим". Даже в случае, если при поиске "один ко многим" создается полный список кандидатов, он не должен рассматриваться как результат N-го числа попыток биометрической верификации и использоваться в процессе оценки эксплуатационных характеристик системы биометрической верификации.

2 Расхождение результатов единичной попытки биометрической идентификации и N-го числа попыток биометрической верификации, в процессе которых осуществлялось сравнение "один к одному", обусловлено тем, что результаты биометрической верификации могут быть более точными, если в ходе так называемого процесса общей нормализации полученный от пользователя биометрический образец сравнивается с дополнительными скрытыми биометрическими образцами. Данный метод позволяет регулировать первичный результат сравнения с целью снижения вероятности ложного допуска (ВЛД) за счет возможности более эффективной работы с порогами, зависящими от пользователей. При использовании данного метода эксплуатационные характеристики улучшаются за счет пропускной способности, так как дополнительные сравнения означают, что биометрическая верификация в режиме "один к одному" также включает в себя сравнения в режиме "один к М", где М - число скрытых биометрических контрольных шаблонов.

3 Использование метода общей нормализации, осуществляемого самим устройством сбора биометрических данных, делает скрытым использование любой внутренне определенной зарегистрированной выборки.

6.1.7 Подтверждение моделей

Если модель, приближенный результат или прогноз эксплуатационных характеристик систем биометрической идентификации, представляется вместо или в дополнение к эмпирическим данным, то такая модель должна быть по возможности подтверждена с помощью всех имеющихся данных, а результаты проверки должны быть полностью задокументированы.

6.1.8 Последовательность использования данных

Программа испытания должна определять порядок использования данных, который должен быть применим к используемому приложению. Биометрическая система должна обрабатывать данные только в заданной последовательности.

Примечания

1 Транзакции, как правило, выполняются отдельно, поэтому биометрическая система требует завершения одной транзакции до начала другой.

2 Большинство биометрических приложений предполагает последовательное и раздельное использование биометрических систем или устройств сбора биометрических данных, то есть если пользователи являются подлинными лицами, то биометрические системы используются после прохождения биометрической регистрации.

3 Некоторые задачи по биометрической идентификации могут быть непоследовательными. Например, групповую биометрическую идентификацию всех людей в замкнутом помещении осуществить довольно просто, так как процесс биометрической идентификации представляет собой линейную задачу.

6.1.9 Процедуры, предшествующие испытанию

6.1.9.1 Установка и проверка работоспособности

Испытательная лаборатория должна проследить за тем, что все аппаратное и программное обеспечение установлено и должным образом настроено, и убедиться в том, что биометрическая система функционирует правильно.

Примечание - При установке, настройке и проверке работоспособности биометрической системы может потребоваться участие разработчика(ов).

6.1.9.2 Подготовка данных

Подготовка данных заключается в удалении из образцов персонифицированных данных об испытуемом субъекте и любых других метаданных, которые, как правило, будут недоступны биометрической системе (например, пол, возраст). В противном случае разработчик может получить истинную идентификационную информацию об испытуемых субъектах и сфальсифицировать результаты испытания.

6.1.10 Общая последовательность проведения испытания

Технологическое испытание проводят в следующей последовательности:

- зарегистрированные биометрические образцы преобразуют в биометрические контрольные шаблоны, которые могут быть сохранены в виде линейной подборки;

- биометрические образцы, используемые для биометрической идентификации и биометрической верификации, преобразуют в биометрические признаки образца;

- попытки биометрической верификации представляют собой прямое сравнение биометрических признаков образца с биометрическими контрольными шаблонами;

- попытки биометрической идентификации на замкнутом множестве представляют собой поиск аналогичного биометрического образца среди зарегистрированной выборки с целью установления идентификатора пользователя;

- попытки биометрической идентификации на открытом множестве представляют собой поиск аналогичного биометрического образца в базе данных зарегистрированных пользователей, а также:

a) установление одного или нескольких идентификаторов;

b) вывод нулевого идентификатора, указывающего на то, что испытуемый субъект не найден в базе данных зарегистрированных пользователей.

Примечания

1 Указанные выше операции могут быть реализованы как на уровне интерфейса прикладного программирования (API), так и с помощью создания скриптов для программных модулей.

2 Описание последовательности проведения основных видов технологических испытаний приведено в приложении А.

6.2 Компоновка подходящей для испытания базы данных

6.2.1 Общие положения

Технологическое испытание предназначено для оценки эксплуатационных характеристик одного или нескольких алгоритмов биометрической регистрации и сравнения. При планировании технологического испытания необходимо учитывать, какие данные должен получить экспериментатор.

6.2.2 Однозначная биометрическая регистрация

Все биометрические образцы, находящиеся в базе данных, должны соответствовать реальным людям. Программа испытания не должна включать в себя преднамеренную биометрическую регистрацию нескольких биометрических образцов одного и того же субъекта, как если бы они были получены от разных субъектов. Испытания, при которых каждая идентичность соответствует конкретному субъекту, испытательная лаборатория должна сопровождать описанием процедур, обеспечивающих выполнение данного требования.

Если структура базы данных такова, что она может содержать несколько идентичностей, соответствующих одному субъекту, то, если это целесообразно, такая база данных может быть приведена в соответствие данному требованию путем удаления идентичностей. В противном случае испытание должно проводиться с допущением, что каждая идентичность соответствует разным субъектам.

Примечания

1 Биометрические системы предназначены для однозначной биометрической идентификации субъектов. Если одному субъекту соответствуют несколько изображений или сигналов, то для биометрической регистрации и сравнения они должны быть обобщены в один биометрический образец.

2 Не допускается использовать в системе биометрической идентификации несколько биометрических образцов (одной или нескольких биометрических модальностей), соответствующих одному и тому же субъекту, и при этом рассматривать попытки биометрической регистрации с использованием данных биометрических образцов как обособленные. Это недопустимо по следующим причинам:

- при биометрической идентификации осуществляется поиск по уже зарегистрированным биометрическим образцам и формирование списка кандидатов. Когда несколько биометрических образцов проходят биометрическую регистрацию независимо друг от друга, то обобщение показателей для каждого из этих биометрических образцов предполагается с использованием критерия максимума, потому что наибольший показатель имеет преимущество. Даже если число биометрических образцов, соответствующих каждому отдельному субъекту, одинаково для всех субъектов, применять подобную практику не рекомендуется, так как обобщение биометрических образцов является задачей разработчика, который должен предоставить наилучшее по его мнению решение;

- если объем зарегистрированной выборки не будет соответствовать числу субъектов, то вероятности ошибок, которые зависят от числа зарегистрированных пользователей N, также будут неправильными.

3 В настоящем разделе не рассматривается испытание, в процессе которого оценивают влияние использования нескольких (отдельных) зарегистрированных биометрических контрольных шаблонов от каждого испытуемого субъекта, поскольку оно должно быть описано в программе и протоколе испытания.

6.2.3 Повторяемость процесса получения биометрических данных

В зависимости от уровня доступа экспериментатора к испытуемой выборке каждый испытуемый субъект может предоставлять свои данные несколько раз в нескольких сеансах. Число транзакций и сеансов может быть увеличено с целью более точной оценки эффекта старения биометрических контрольных шаблонов, а также эффектов приобретения испытуемыми субъектами навыков использования устройств.

6.2.4 Идентификация испытуемого субъекта

Экспериментатор должен предоставить информацию, относящуюся к процессу идентификации испытуемого субъекта, включая как минимум следующие данные:

a) типы идентификаторов, использовавшихся для идентификации испытуемых субъектов;

b) объем и тип собранных персональных данных.

6.2.5 Предоставление небиометрической информации

Метаданные, если таковые присутствуют в базе данных и могут быть использованы, также должны быть предоставлены испытуемой(ым) биометрической(им) системе(ам). Протокол испытания должен содержать информацию о наименованиях и типах переменных метаданных, которые в ходе испытания были доступны биометрической системе.

Пример - К таким данным относятся, например, особенности датчика (его настройки), условия окружающей среды (температура, влажность), особенности испытуемого субъекта (пол, возраст) или любая другая подобная информация.

Примечание - В рамках технологического испытания невозможно учесть все аспекты работы биометрической системы в реальных условиях, но из программы испытания не следует исключать те аспекты работы биометрической системы, которые в реальных условиях являются излишними.

6.2.6 Репрезентативность базы данных

Программа испытания должна учитывать, а протокол испытания должен включать в себя оценку данных из базы данных на предмет их пригодности для целей испытания или использования в соответствующих приложениях.

Если данные получены под контролем испытательной лаборатории, то информация о взаимодействии экспериментатора и испытуемого субъекта по вопросам акклиматизации, приобретения навыков и получения инструкций также должна быть занесена в протокол испытания.

Примечания

1 Использование технологического испытания с целью прогнозирования эксплуатационных характеристик системы основано на предположении, что биометрические образцы, собираемые в реальных условиях, будут иметь тот же формат и то же качество, что и биометрические образцы, использовавшиеся в процессе испытания.

2 В идеальном случае при сборе биометрических данных для различных модальностей уровни навыков, акклиматизации, инструктажа должны быть одинаковыми.

6.2.7 Объективность базы данных

База данных может считаться в той или иной степени необъективной, если:

a) разработчик имел доступ к базе данных;

b) разработчик предоставил оборудование, использовавшееся при создании или обработке базы данных, особенно если подобная деятельность повлияла на характер или качество базы данных (например, удаление некоторых биометрических образцов);

с) испытуемая система ранее была проверена и настроена с использованием данной базы данных.

Необходимость использования необъективной базы данных должна быть отражена в протоколе испытания.

Биометрические образцы не должны использоваться в испытании, если один или несколько разработчиков ранее имели к ним доступ. Предыдущее испытание или настройка биометрической системы с использованием базы данных (всей или ее фрагмента) должны быть отражены в протоколе испытания.

Примечания

1 Данным требованием не следует пренебрегать, поскольку эксплуатационные характеристики могут быть необоснованно улучшены (сфальсифицированы).

2 Следует иметь в виду, что, как правило, простого изменения биометрического образца недостаточно для того, чтобы обойти ограничение на его повторное использование. Необоснованное улучшение (фальсификация) результатов возможно в случае, если сохранена хотя бы одна уникальная особенность биометрических образцов, ранее использовавшихся в испытании.

6.2.8 Изъятие базы данных из использования

Биометрические образцы не должны повторно использоваться в испытании, если одна или несколько испытуемых биометрических систем были настроены на основе эксплуатационных характеристик, полученных в ходе предыдущих испытаний с использованием этих данных.

Примечания

1 Как правило, данная ситуация возникает при использовании обособленных данных.

2 При изъятии базы данных могут потребоваться дополнительные затраты, так как необходимо провести дополнительный сбор данных.

6.2.9 Проверка корректности базы данных

Проверка корректности - это процесс, с помощью которого данные испытуемых субъектов подвергаются отбору с целью удаления непригодных для испытания.

Проверка корректности может также включать в себя проверки наличия данных испытуемых субъектов, корректности формата этих данных, правильности сбора биометрических образцов и того, что определены ошибки истинной информации.

Экспериментатор должен указать в протоколе, была ли проведена проверка корректности данных испытуемых субъектов. Если проверка корректности данных была проведена, экспериментатор должен предоставить детальный протокол о примененных методах проверки. Кроме того, протокол должен включать в себя информацию об объеме удаленных данных и о критериях, в соответствии с которыми эти данные были удалены.

Примеры

1 Контроль качества базы данных может использоваться для отбора и удаления из базы данных испытуемых субъектов изображений, имеющих низкий контраст.

2 Из базы данных могут быть удалены биометрические образцы, которые не содержат изображения лица при использовании технологии распознавания по лицу (например, изображение лица отсутствует либо изображено тело целиком) или не содержат изображений отпечатков пальцев при использовании технологии распознавания по отпечаткам пальцев (например, присутствует только изображение ладони).

Примечания

1 Так как проверка корректности некоторых типов биометрических данных может быть осуществлена проще, чем других, то процесс проверки корректности данных может приводить к ошибочным результатам испытания.

2 Данные, удаленные в процессе проверки корректности базы данных, следует отличать отданных, удаленных при отказе обработки исходных данных. В некоторых случаях для определения того, являются ли исключенные данные некорректными или ошибкой обработки исходных данных, требуется воспользоваться оценкой, проводимой экспертом.

6.2.10 Условия сбора базы данных

Условия окружающей среды, в которых происходил сбор биометрических данных, могут быть известны или определены. Такой сбор биометрических данных позволяет оценить эксплуатационные характеристики биометрической системы в особых условиях по отношению к нормальным условиям. Подобный контроль может устанавливаться за температурой, освещенностью, влажностью и другими факторами, которые предположительно оказывают влияние на эксплуатационные характеристики биометрической системы.

Доступная информация об условиях окружающей среды, в которых происходит сбор базы данных, имеющая значение для различных испытуемых модальностей, должна быть включена в протокол и отражать, например, следующие факторы:

- температуру окружающей среды;

- степень внешнего воздействия условий окружающей среды на компоненты биометрической системы;

- освещение (тип, направление, интенсивность);

- фоновые шумы;

- уровень вибрации.

В случае недоступности подобной информации экспериментатор должен указать это в протоколе испытания.

Примечание - Подробная информация о внешних факторах, влияющих на эксплуатационные характеристики, приведена в ГОСТ Р ИСО/МЭК 19795-1-2007 (С.2.6).

6.2.11 Отказ обработки исходных данных

При испытаниях в режиме отложенного задания используются сохраненные биометрические образцы, полученные либо с участием, либо без участия биометрической системы в процессе получения биометрических данных. Протокол испытания должен содержать всю доступную информацию о предварительной обработке данных перед их использованием в испытании. В частности, если какие-то биометрические образцы были удалены (вручную или автоматической биометрической системой), то необходимо указывать ВООИД.

Примечания

1 Отказ обработки исходных данных может возникать из-за применяемого датчика или алгоритма оценки качества изображений, а не из-за самой испытуемой биометрической системы.

2 В некоторых случаях может потребоваться оценка эксперта. Например, если несколько ранее полученных образцов изображений будут полностью пустыми, то они обоснованно могут не учитываться при подсчете ВООИД, за исключением тех случаев, когда подобные биометрические образцы регулярно будут появляться в приложении, имитируемом в процессе испытания.

6.3 Оценка эксплуатационных характеристик

6.3.1 Биометрическая регистрация

Протокол испытания в режиме отложенного задания должен содержать информацию о ВОБР, то есть доле испытуемых субъектов, чьи предназначенные для биометрической регистрации образцы были объявлены биометрической системой непригодными для биометрической регистрации. Должен быть установлен критерий, в соответствии с которым объявляется отказ биометрической регистрации.

Примечания

1 Отказ биометрической регистрации, определяемый в ходе технологического испытания, является только частью множества отказов, возникновение которых возможно при получении биометрических образцов в реальных условиях.

2 Отказ биометрической регистрации может быть объявлен биометрической системой по любой причине. Как правило, биометрическая система (соответствующим образом настроенная на определение и обработку изображения или сигнала и имеющая определенный критерий оценки качества) не может получить необходимый сигнал из-за его низкого качества.

3 Объявление биометрической системой отказа биометрической регистрации позволяет достичь при сравнении получения лучших эксплуатационных характеристик. Такое изменение одного показателя за счет другого должно учитываться путем обобщения ВОБР и ВЛНС при расчете ОВЛНД.

Экспериментатор должен указать минимальное и максимальное допустимые числа биометрических образцов для осуществления успешной биометрической регистрации.

Для каждой испытуемой биометрической системы экспериментатор должен вычислить:

- распределение показателей качества биометрической регистрации, если это возможно;

- ВОБР для различных демографических групп, биометрических образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.

6.3.2 Отказ получения биометрических данных

Протокол испытания в режиме отложенного задания должен содержать информацию о доле попыток биометрической верификации или биометрической идентификации, входе которых биометрической системе не удалось получить или отобрать изображение или сигнал удовлетворительного качества. Данный показатель является ВОПБД.

Примечания

1 ВОПБД на этапе сравнения аналогична ВОБР на этапе биометрической регистрации, поэтому примечания 1 и 2 в 6.3.1 в данном случае также применимы.

2 ВОПБД, а также ВЛС используются для определения ВЛД.

3 В процессе технологического испытания отказ получения биометрических данных, как правило, объявляется либо блоком декодирования, либо блоком сравнения и рассматривается как отказ в процессе совершения попытки.

Экспериментатор должен указать минимальное и максимальное допустимые числа биометрических образцов для формирования биометрических признаков образца.

Формула для расчета ВОПБД приведена в ГОСТ Р ИСО/МЭК 19795-1-2007.

6.3.3 Метрики системы биометрической верификации

Для каждой испытуемой системы биометрической верификации экспериментатор должен вычислить следующее:

a) ВЛС и ВЛНС;

b) вероятность ложного недопуска (ВЛНД) и ВЛД, кроме случаев, когда в соответствии с программой испытания ВЛД и ВЛНД идентичны ВЛС и ВЛНС;

c) число сравнений, проведенных для подлинных лиц и "самозванцев";

d) для подлинных испытуемых субъектов - распределение времени, прошедшего в промежутке между биометрической регистрацией и получением биометрических признаков образца, если это возможно;

e) неопределенность результатов испытания, а также принципы и формулы для оценки неопределенности.

ВЛС и ВЛНС, а также ВЛД и ВЛНД могут быть представлены в виде кривых рабочих характеристик (РХ) или кривых компромиссного определения ошибки (КОО). Следует также определить число испытуемых субъектов и транзакций, используемых для получения данных вероятностей.

Примечание - Для систем биометрической верификации, которые возвращают решение о совпадении/несовпадении без определения результатов сравнения, эксплуатационные характеристики могут быть указаны одной рабочей точкой на кривой РХ или кривой КОО.

Для системы биометрической верификации экспериментатор также должен определить следующее:

a) распределение результатов сравнения для подлинных испытуемых субъектов и "самозванцев";

b) результаты верификации для различных демографических групп, биометрических образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.

6.3.4 Метрики системы биометрической идентификации

Для всех систем биометрической идентификации экспериментатор должен вычислить неопределенность результатов испытания, а также определить принципы и формулы для вычисления неопределенности.

Для систем биометрической идентификации на замкнутом множестве экспериментатор должен вычислить:

a) характеристики совокупного совпадения (ХСС);

b) число выполненных операций поиска.

Для систем биометрической идентификации на открытом множестве экспериментатор должен вычислить:

c) вероятности ложноположительной идентификации (ВЛПИ) и соответствующие вероятности ложноотрицательной идентификации (ВЛОИ) (предпочтительно для нескольких порогов);

d) в случае использования исключительной классификации - вероятность ошибки исключительной классификации и вероятность проникновения.

Для всех систем биометрической идентификации экспериментатор должен вычислить:

e) результаты биометрической идентификации для различных демографических групп, биометрических образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.

(Измененная редакция, Изм. N 1).

6.3.5 Обобщенные вероятности ошибок, включающие в себя отказы биометрической регистрации и отказы получения биометрических данных

6.3.5.1 Общие положения

Непосредственные результаты испытания, проведенного в режиме отложенного задания, - набор парных значений (ВЛС и ВЛНС) - должны быть обобщены с измеренными значениями ВОПБД и ВОБР.

Примечание - Поскольку биометрическая система может улучшить характеристики ложного допуска и ложного недопуска за счет отбраковки низкокачественных биометрических образцов, то для получения итоговых эксплуатационных характеристик биометрической системы необходимо обобщить ВОПБД и ВОБР с измеренными ВЛС и ВЛНС.

Если ВОПБД и ВОБР равны нулю, то это необходимо указать в протоколе испытания. В подобных случаях ОВЛД и ОВЛНД для транзакций, состоящих из одной попытки, не отличаются от обобщенных ВЛС и ВЛНС. Если ВОПБД и ВОБР не равны нулю, необходимо вычислить ВЛД и ВЛНД, что позволит отличать их от ВЛС и ВЛНС.

Примечания

1 В некоторых случаях биометрические образцы, приведшие к отказу получения биометрических данных или отказу биометрической регистрации, могут быть переданы разработчикам системы для дальнейшего изучения.

2 Для биометрических систем, которые возвращают решение о совпадении/несовпадении без определения результатов сравнения, эксплуатационные характеристики могут быть указаны в виде одной рабочей точки на кривой РХ или кривой КОО.

3 При очень большом числе отказов биометрической регистрации или отказов получения биометрических данных в результате испытания может быть получено низкое значение ОВЛД при высоком значении ОВЛНД.

6.3.5.2 Транзакции, состоящие из одной попытки

Для каждой испытуемой биометрической системы экспериментатор должен определить ОВЛД и ОВЛНД для транзакций, состоящих из одной попытки.

В случаях когда транзакции состоят из одной попытки, ОВЛД может быть рассчитана как доля "самозванцев", успешно прошедших процесс получения биометрических данных и сравнение при некотором пороге t, по следующей формуле

ОВЛД(t)=ВЛС(t)·(1-ВОПБД)·(1-ВОБР),

где ОВЛНД - это доля подлинных лиц, биометрические образцы которых не были получены или зарегистрированы, либо при некотором пороге t произошел ложный недопуск. ОВЛНД рассчитывают по следующей формуле

ОВЛНД(t)=ВОПБД+(1-ВОПБД)·ВОБР+(1-ВОПБД)·(1-ВОБР)·ВЛНС(t)

Приведенные формулы для вычисления ОВЛД и ОВЛНД справедливы только в том случае, если n=1, где n - число попыток, разрешенных в транзакции.

Примечания

1 Если биометрическая регистрация проводится выборочно, то может потребоваться использование других формул.

2 Определения отказов биометрической регистрации и отказов получения биометрических данных можно избежать, если указать, что все верификационные сравнения будут давать результат сравнения. Разработчик может выполнить данное требование путем внесения в биометрическую систему условий отказа биометрической регистрации или отказа получения биометрических данных и указания в протоколе соответствующих минимальных значений, при которых биометрические контрольные шаблоны используются для сравнения "один к одному". Данный метод позволяет включить отказы биометрической регистрации и отказы получения биометрических данных в характеристику КОО.

3 Кроме того, ОВЛД и ОВЛНД также могут быть определены путем:

- включения транзакций "самозванца" с отказом (то есть транзакций, которые не были ни приняты, ни отвергнуты), а также транзакций "самозванца" с отказом биометрической регистрации, в общее число транзакций "самозванца";

- включения транзакций подлинного лица с отказом (то есть транзакций, которые не были ни приняты, ни отвергнуты), а также транзакций подлинного лица с отказом биометрической регистрации, в общее число транзакций подлинного лица;

- рассмотрения транзакций подлинного лица с отказом (то есть транзакций, которые не были ни приняты, ни отвергнуты) и транзакций подлинного лица с отказом биометрической регистрации как ложного недопуска.

6.3.5.3 Транзакции, состоящие из нескольких попыток

В случаях когда транзакции состоят из нескольких попыток, вычислить ОВЛД и ОВЛНД сложнее. Формулы для таких испытаний должны быть составлены в соответствии со спецификой испытания.

6.3.6 Пропускная способность

6.3.6.1 Общие положения

Испытательная лаборатория может измерять пропускную способность методом, подходящим для испытуемой биометрической системы.

Если время транзакции является одной из измеряемых в процессе испытания эксплуатационных характеристик, то экспериментатор должен указать метод измерения времени транзакции, подходящий для испытуемой биометрической системы.

Примечания

1 Рекомендуется по возможности измерять время всех операций биометрической регистрации и сравнения.

2 При испытании в режиме отложенного задания учитывается пропускная способность, определяемая только вычислительными компонентами биометрической системы. Например, при биометрической регистрации в процессе испытания в режиме отложенного задания из общего процесса биометрической регистрации учитываются только процессы анализа изображения и создания биометрического контрольного шаблона, в то время как аспекты, связанные с действиями человека (например, размещение пальца на датчике или снятие очков), не учитываются. Поэтому показатели пропускной способности системы при биометрической регистрации, полученные в процессе технологического испытания, являются нижней границей рабочих показателей ее пропускной способности.

6.3.6.2 Протоколирование результатов испытания пропускной способности

При вычислении статистических показателей пропускной способности биометрической системы в протоколе необходимо указать ее среднее значение. Также могут быть указаны следующие статистические показатели:

a) минимальное значение;

b) максимальное значение;

c) медиана;

d) стандартное отклонение.

Примечание - Если при испытаниях (в частности, испытаниях системы биометрической идентификации) используются зарегистрированные выборки разного объема, то экспериментатор должен указать временные характеристики биометрической системы, позволяющие оценить функциональную зависимость пропускной способности системы от размера базы данных, например выявить линейную или квадратичную зависимость.

6.3.6.3 Протоколирование результатов испытания процесса сопоставления и пропускной способности

Пропускная способность биометрической системы является важным аспектом технологического испытания, так как в общем случае за счет снижения пропускной способности можно добиться уменьшения числа ошибок биометрического распознавания. В таких случаях полным описанием эксплуатационных характеристик является кривая КОО с дополнительной третьей осью показателя пропускной способности, с помощью которой персонал, подготавливающий систему к использованию, сможет выбрать подходящую рабочую точку. Кроме того, во многих биометрических системах изменение порога принятия решений требует предъявления либо большего, либо меньшего числа биометрических образцов, необходимых для успешного распознавания попытки биометрической регистрации подлинного лица, что также оказывает влияние на пропускную способность.

6.3.6.4 Измерение времени формирования биометрического контрольного шаблона и времени извлечения биометрических признаков образцов

В некоторых биометрических системах при формировании биометрических контрольных шаблонов и извлечении биометрических признаков для биометрической верификации и биометрической идентификации используются разные виды биометрических образцов и алгоритмов их обработки. Вследствие этого временные характеристики формирования биометрических контрольных шаблонов и извлечения биометрических признаков должны быть указаны в протоколе испытаний отдельно.

6.3.6.5 Одновременное измерение пропускной способности и вероятностей ошибок распознавания

Измерение пропускной способности может быть проведено при измерении вероятностей ошибок распознавания. В этом случае статистические данные результатов испытаний могут быть объединены.

6.3.6.6 Пропускная способность при попытках подлинных лиц и "самозванцев"

В соответствии с принципом максимальной приближенности испытания к реальным условиям пропускная способность биометрической системы может быть вычислена как для подлинных лиц, так и для "самозванцев". Полученные статистические данные могут быть указаны отдельно.

6.3.6.7 Отладка данных после регистрации

Следует иметь в виду, что после того как при испытании систем биометрической идентификации выборка пройдет регистрацию, может быть проведена отладка данных. Под отладкой данных понимается любой процесс, выполняемый биометрической системой в конце регистрации, который обычно используется для разделения векторов признаков с целью улучшения эксплуатационных характеристик.

6.3.6.8 Поиск уникальных образцов при регистрации

Регистрация выборки, проводимая в реальных условиях, как правило, включает в себя проверку уникальности биометрических образцов каждого нового регистрируемого субъекта. Это означает, что регистрация выборки, включающей в себя N субъектов, будет иметь затраты, пропорциональные квадрату объема выборки, то есть . В процессе технологического испытания уникальность биометрических образцов, как правило, изначально предполагается программой испытания, поэтому затраты на регистрацию линейно зависят от объема выборки.

Экспериментатор должен установить, является ли проверка уникальности образцов путем поиска "один ко многим" частью процесса регистрации. Это может быть установлено путем измерения продолжительности времени, затрачиваемого на регистрацию по мере увеличения объема базы данных зарегистрированных пользователей. Если увеличение времени регистрации наблюдается или известно, что оно будет происходить, экспериментатор должен указать это в протоколе испытания. Для того чтобы отделить время, необходимое для проверки уникальности образцов, от времени, затрачиваемого на регистрацию, программа испытания может потребовать отключения функции поиска дубликатов образцов.

Примечание - Допускается проведение отдельного испытания процесса регистрации с построением базы данных, начиная с нуля.

6.3.6.9 Аппаратное обеспечение

Если проводятся оценка пропускной способности только программного обеспечения, а также сравнение нескольких алгоритмов, то испытания могут проводиться на одних и тех же аппаратных средствах и в одинаковых операционных средах. При этом необходимо проводить перезагрузку биометрической системы между определением пропускной способности каждого алгоритма.

Примечание - Под операционной средой понимаются одни и те же операционные системы, компиляции и компоновки программного обеспечения, а также одинаковый набор фоновых процессов, которые не должны быть ресурсоемкими (то есть не должны загружать систему ввода/вывода, центральный процессор и так далее).

6.4 Формирование протоколов

6.4.1 Общие положения

Результаты испытания должны быть представлены в виде протокола, содержащего описание всего процесса испытания. Все требования, изложенные в 6.1-6.3, также должны быть отражены в протоколе. Если требование невыполнимо или выходит за рамки испытания, протокол должен содержать соответствующую информацию.

Пример - Для биометрических систем, не позволяющих совершать несколько попыток или транзакций с целью сравнения, в протоколе необходимо указать, что необходимые результаты оценки эксплуатационных характеристик при различном уровне затрачиваемых усилий не могут быть предоставлены.

Если требование не было выполнено по причине недоступности информации, то в протоколе должно быть указано, что необходимые данные неизвестны, и приведена причина недоступности данных.

Пример - Испытательная лаборатория может не иметь прав на сбор демографической информации по причине ее конфиденциальности. В данном случае в протоколе должно быть указано, что информация о демографических данных не была собрана из-за ее конфиденциального характера.

Протокол может быть ориентирован на разную аудиторию и предоставляться в виде отдельных частей в разное время.

6.4.2 Системная информация

6.4.2.1 Спецификации

Экспериментатор должен указать следующую информацию об испытуемых биометрических системах:

a) для устройств сбора биометрических данных: наименование предприятия-изготовителя, модель, версии устройства и программного обеспечения (ПО), если возможно. Если основные компоненты устройства сбора биометрических данных интегрированы с другими устройствами, изготовленными третьей стороной (например, если датчик отпечатков пальцев встроен в некое периферийное устройство), то достаточно указать только наименование предприятия-изготовителя, модель, версии устройства и ПО основных компонентов сбора данных;

b) для алгоритмов сравнения: разработчик, версия;

c) спецификации платформы, на которой проводятся испытания биометрической системы, в том числе операционная система, вычислительная мощность процессора, память, наименование предприятия-изготовителя, тип базы данных, размер базы данных, модель.

6.4.3 Процесс сбора данных

Экспериментатор должен указать следующую информацию, относящуюся к сбору данных:

a) методы записи данных для каждой эксплуатационной характеристики, в том числе тех, которые не записываются биометрической(ими) системой(ами);

b) процессы контроля и проверки сбора данных эксплуатационных характеристик, в том числе тех, которые не записываются биометрической(ими) системой(ами).

Экспериментатор должен привести примеры отдельных этапов сбора данных, таких как таблицы или протоколы, в виде снимков экрана ("скриншотов") или в распечатанном виде.

6.4.3.1 Архитектура

Экспериментатор должен указать следующую информацию об испытуемой биометрической системе:

a) архитектуру, лежащую в основе сбора, обработки и хранения биометрических данных;

b) алгоритмы обмена данными между компонентами системы.

6.4.3.2 Результаты

Экспериментатор должен указать следующую информацию об испытуемой биометрической системе:

a) результаты, предоставляемые системой, в том числе результаты сравнения, решения о допуске/недопуске, список кандидатов, показатели качества биометрической регистрации и качества биометрических образцов;

b) диапазон результатов сравнения, который способна выдавать биометрическая система, а также соответствующие пороги, установленные разработчиком;

c) диапазон показателей качества биометрической регистрации, который способна выдавать биометрическая система, а также соответствующие пороги, установленные разработчиком;

d) диапазон показателей качества биометрических образцов, который способна выдавать биометрическая система, а также соответствующие пороги, установленные разработчиком;

e) метод(ы), с помощью которого(ых) биометрическая система выдает результаты.

6.4.3.3 Метод реализации биометрической системы

Для каждой испытуемой биометрической системы в протоколе необходимо указать следующее:

a) способ сбора данных биометрической системой и платформой, на которой проводятся испытания биометрической системы;

b) степень вовлеченности разработчика в процесс выполнения системой своих функций.

6.4.4 Степень раскрытия информации

6.4.4.1 Предоставление протоколов сторонним организациям

Программа испытания должна содержать информацию о том, какие входные, промежуточные и выходные данные могут быть предоставлены сторонним организациям, не участвовавшим в разработке биометрической системы, в каком порядке и кому именно.

Примечания

1 Некоторые испытания могут проводиться без предоставления каких-либо результатов сторонним организациям (полностью закрытые испытания), некоторые - с предоставлением результатов определенному кругу лиц, а некоторые могут быть полностью открытыми.

2 При полностью открытой информации об испытании протокол должен содержать следующую информацию: наименование предприятия-изготовителя, его контактные данные, протоколы обмена, исходные биометрические образцы, биометрические контрольные шаблоны, исходные результаты сравнения, данные о времени осуществления транзакций, данные по сбоям биометрической системы, вероятности ошибок и окончательные выводы.

3 Проведение сравнительного испытания является важным в коммерческом плане, поэтому официальное объявление видов и типов планируемых результатов является важным аспектом.

6.4.4.2 Степень раскрытия информации о биометрических признаках образцов

В программе испытания должно быть указано, какая информация о биометрических образцах может быть предоставлена разработчику биометрической системы и в какие сроки. Данное условие может быть изменено по официальному требованию разработчика.

Примечание - Как правило, любую запрашиваемую разработчиком информацию, которая не станет известной в процессе испытания, не предоставляют. Разработчики в официальном порядке могут запрашивать информацию о целевом применении биометрической системы, так как она должна быть настроена таким образом, чтобы обеспечивалось выполнение требований, установленных экспериментатором, например общее число пользователей, число зарегистрированных пользователей, число "самозванцев", размер изображений, степень сжатия информации, продолжительность видеофрагментов и так далее.

6.4.5 Структура протокола

Протокол испытания должен содержать следующие разделы:

- основные положения;

- характеристики базы данных;

- методы испытания;

- сбор данных;

- анализ данных;

- хранение данных;

- результаты испытания;

- полную программу испытания.

7 Сценарное испытание

7.1 Разработка испытания

7.1.1 Характеристики приложения в режиме эмуляции

7.1.1.1 Принцип выполнения операций

Должно быть представлено описание приложения, моделируемого в процессе сценарного испытания.

Примечание - Приложение, моделируемое в процессе сценарного испытания, может варьироваться от базового до специального. Для базового приложения должен быть установлен ограниченный набор параметров. Примером такого приложения является испытание систем верификации, осуществляющих сравнение "один к одному" и применяемых внутри учреждения. Для специального приложения должно быть установлено множество параметров. Примером подобного приложения является испытание систем контроля доступа, осуществляющих сравнение "один к одному", основанных на маркерах доступа и применяемых внутри учреждения, где пользователи не имеют опыта работы с подобными устройствами.

7.1.1.2 Возможности сравнения

Экспериментаторы должны определить, будут ли в сценарное испытание включены процессы биометрической верификации, биометрической идентификации на открытом множестве и/или биометрической идентификации на замкнутом множестве.

Испытуемые возможности сравнения должны быть применимы для опытного образца биометрической системы или приложения в режиме эмуляции.

Должно быть предоставлено обоснование выбора того или иного типа сравнения, используемого в рамках сценарного испытания.

Примечания

1 Сценарное испытание обычно используют для испытания биометрических систем, в которых осуществляется сравнение "один к одному" и транзакция совершается на основании запроса об идентичности. Системы биометрической идентификации могут быть подвергнуты сценарному испытанию при условии, что транзакции осуществляются в режиме реального времени, а результаты предоставляются наблюдателю в течение времени, необходимого для дальнейшего взаимодействия с биометрической системой.

2 Сценарное испытание может применяться для сравнения эксплуатационных характеристик систем биометрической верификации и биометрической идентификации. Для проведения таких испытаний необходима тщательная разработка программы испытаний и протоколирования результатов, обеспечивающих объективность представления полученных данных. Например, порядок биометрической регистрации, число попыток для подлинных лиц и "самозванцев" может меняться в зависимости от типа сравнения (биометрическая идентификация или биометрическая верификация), осуществляемого биометрической системой.

7.1.1.3 Условия проведения испытания

Протокол испытания должен включать в себя следующую информацию об условиях, в которых проводится сценарное испытание:

- место проведения испытания: в помещении или на улице;

- если испытание проводят в помещении, то должен быть указан его тип;

- если испытание проводят вне помещения, то должна быть указана степень внешнего воздействия на компоненты биометрической системы.

Характеристики окружающей среды, имеющие отношение к испытуемым биометрическим системам и приложению, должны быть измерены и указаны в протоколе.

Пример - Так как температура окружающей среды и относительная влажность воздуха при проведении испытаний могут влиять на эксплуатационные характеристики некоторых датчиков отпечатков пальцев, при проведении сценарного испытания с применением технологии идентификации по отпечаткам пальцев следует проводить измерения и указывать в протоколе значения температуры и влажности.

Измерение характеристик окружающей среды следует проводить с интервалами, достаточными для временной оценки условий окружающей среды.

Примечание - Условия окружающей среды могут быть либо естественными, либо привнесенными и контролируемыми специально для целей испытания.

Примеры

1 Системы кондиционирования воздуха могут создавать фоновый шум, влияющий на эксплуатационные характеристики систем идентификации диктора.

2 Освещение из окон может влиять на эксплуатационные характеристики систем идентификации лица.

7.1.1.4 Испытательная платформа

Вычислительные мощности и параметры систем должны соответствовать требованиям выполняемого сценарного испытания.

7.1.2 Процедура испытания

7.1.2.1 Информация об испытании и общие указания

В протоколе испытания необходимо привести общую информацию об испытании и условиях его проведения, которая должна быть предоставлена испытуемым субъектам перед началом сценарного испытания.

Примечания

1 В информации об испытании должны быть отражены общая цель испытания, описание испытуемых устройств сбора биометрических данных или биометрических технологий, а также описание целевого применения биометрической системы. В общих указаниях по проведению испытания должен быть определен порядок выполнения испытания, общий для всех биометрических систем.

2 В некоторых случаях информация об испытании и общие указания по проведению испытания могут содержать информацию о способе взаимодействия испытуемых субъектов с устройствами сбора биометрических данных. Например, если испытуемые субъекты знают о том, что некоторые предъявления биометрических характеристик соответствуют попыткам "самозванцев", то они могут изменить способ предъявления биометрических характеристик.

7.1.2.2 Обучение

В протоколе необходимо привести информацию об объеме и методике обучения (приобретения навыков) испытуемого субъекта перед началом сценарного испытания.

Примечания

1 Обучение предусматривает взаимодействие испытуемого субъекта с испытуемой биометрической системой, в том числе выполнение предъявления биометрических характеристик для каждого устройства сбора биометрических данных, а также получение обратной связи и указаний от каждой биометрической системы.

2 Обучение испытуемых субъектов может быть необязательным, если отсутствие опыта взаимодействия с биометрической системой не противоречит ее целевому применению.

3 Обучение может быть проведено в виде предоставления письменных и/или устных инструкций.

4 Если способы предъявления биометрических характеристик или способы получения обратной связи от системы в процессах биометрической регистрации и биометрического распознавания отличаются, то может потребоваться проведение специального обучения по выполнению операций биометрической регистрации и биометрического распознавания.

В протоколе испытания необходимо привести информацию об использовании сценариев, инструкций и прочих средств обучения, предоставленных разработчиком.

В процессе сравнительных сценарных испытаний, предусматривающих обучение испытуемых субъектов, процесс обучения должен быть одинаковым для всех биометрических систем. Инструкторы должны обеспечить, чтобы средняя продолжительность времени между обучением испытуемых субъектов и началом использования устройства сбора биометрических данных была примерно одинаковой для всех устройств. Если испытуемый субъект приобрел опыт работы с несколькими биометрическими системами непосредственно перед началом испытания, то устройства сбора биометрических данных, с которыми испытуемый субъект будет взаимодействовать в первую очередь, могут иметь преимущество перед теми, которые будут использованы позже.

7.1.2.3 Неавтоматизированное/автоматизированное испытание

В течение всего времени участия испытуемого субъекта в процедуре испытания рекомендуется постоянное присутствие администратора и/или оператора.

Примечание - Присутствие администратора и/или оператора позволяет испытательной лаборатории своевременно обнаруживать и исправлять ошибки взаимодействия испытуемых субъектов с биометрическими системами.

7.1.2.4 Инструкции

Инструкции, получаемые испытуемыми субъектами в процессе биометрической регистрации и биометрического распознавания, должны соответствовать инструкциям целевого применения биометрической системы в процессе испытания.

Примечание - Объем инструкций, предоставляемых испытуемому субъекту в процессе сценарного испытания, может оказать существенное влияние на вероятность возникновения ошибок, в частности на ВОПБД и ВОБР, а также на показатели пропускной способности биометрической системы. Более подробные инструкции в ходе испытания способствуют снижению ВЛНС, ВОПБД и ВОБР Избыточный или недостаточный объем инструкций может привести к нерепрезентативным отказам получения биометрических данных и отказам биометрической регистрации.

Примеры

1 Сценарное испытание биометрических систем, которое не предполагает предоставления инструкций, не должно включать в себя предоставление каких-либо инструкций, так как в противном случае полученные результаты могут не отражать истинных эксплуатационных характеристик биометрической системы для целевого применения.

2 Если это допускается в целевом применении, администратор может давать испытуемому субъекту корректирующие инструкции при неправильном использовании устройства сбора биометрических данных. Инструкции могут быть предоставлены в процессе биометрической регистрации и не должны предоставляться в процессе биометрического распознавания.

При сценарных испытаниях, предусматривающих возможность предоставления испытуемым субъектам инструкций, следует задокументировать процедуру предоставления инструкций с указанием следующей информации:

- в какой(ие) момент(ы) проведения попытки биометрической регистрации или биометрического распознавания разрешены или необходимы инструкции;

- специальные инструкции, предоставляемые администратором испытуемому субъекту;

- особенности применения инструкций (если имеются), которые администратор считает нужным сообщить испытуемому субъекту.

Примечание - В процедуре предоставления инструкций может быть оговорено, что инструкции должны предоставляться только в исключительных случаях, например, если испытуемый субъект неправильно использует устройство сбора биометрических данных или если биометрическая система не смогла получить биометрические образцы даже при соблюдении порядка предъявления биометрических характеристик. В данном случае администратор должен проследить за предъявлением биометрической характеристики и/или за откликом системы и определить целесообразность предоставления инструкций. В процедуре предоставления инструкций может быть оговорено, что администратор должен предоставлять одинаковые инструкции каждому испытуемому субъекту в одних и тех же случаях, независимо от результатов предъявления биометрических характеристик.

При сценарных испытаниях, предусматривающих возможность предоставления испытуемым субъектам инструкций, они должны быть одинаковыми применительно ко всем биометрическим системам.

Примечание - Несмотря на все усилия, предпринимаемые для того, чтобы процедуры предоставления инструкций были едиными для всех испытуемых биометрических систем, отдельные системы могут оказаться в более или менее выгодных условиях в зависимости от объема предоставляемых испытуемым субъектам инструкций. Биометрическая система, отличающаяся простотой использования или обладающая способностью автоматического предоставления корректирующих инструкций в процессе использования, при предоставлении инструкций может получить меньше преимуществ, чем сложная в использовании биометрическая система или биометрическая система, в которой предоставление пользователю корректирующих инструкций в процессе использования не предусмотрено. Это относится к биометрическим системам с различными типами биометрических модальностей (например, к системам идентификации по лицу и отпечаткам пальцев), а также к разным моделям биометрических систем с определенным типом биометрической модальности.

Необходимо регистрировать все случаи, когда объем инструкций, предоставленных оператором, превышает предварительно установленный порог в рамках данного целевого применения биометрической системы, а также долю данных случаев.

7.1.2.5 Порядок проведения испытания и акклиматизация

При испытании нескольких биометрических систем необходимо выбрать оптимальный порядок взаимодействия испытуемых субъектов с биометрическими системами, обеспечивающий баланс факторов акклиматизации, уровня навыков и порядка расположения биометрических систем. Каждая биометрическая система должна подвергаться испытанию примерно одинаковое число раз сначала первой по порядку, затем второй по порядку и так далее до последней по порядку; кроме того, каждая биометрическая система должна предшествовать всем остальным биометрическим системам примерно одинаковое число раз. В протоколе испытания необходимо указать все наблюдаемые эффекты влияния порядка расположения биометрических систем на их эксплуатационные характеристики.

Примечание - При сценарном испытании нескольких биометрических систем порядок расположения устройств сбора биометрических данных является одним из важнейших факторов. Поскольку уровень навыков испытуемых субъектов предположительно может повышаться после выполнения некоторого числа операций взаимодействия с биометрическими системами, то результаты испытания первых биометрических систем с заданным типом биометрической модальности могут оказаться хуже, чем результаты испытания биометрических систем, проводимые позднее, поскольку испытуемые субъекты в процессе испытания выбирают наиболее эффективный способ взаимодействия с биометрической системой определенной модальности. Кроме того, в процессе испытания испытуемый субъект может устать, особенно если требуется писать или повторять кодовые фразы для нескольких биометрических систем.

Программой испытания должно быть сведено к минимуму наличие каких-либо непостоянных во времени условий, влияющих на биометрические характеристики и тем самым оказывающих воздействие на способность датчиков обрабатывать биометрические образцы.

Пример - Испытуемый субъект может войти в испытательное помещение с улицы, где температура заметно ниже, и сразу же начать взаимодействовать с биометрическими сканерами отпечатков пальцев. Поскольку во многих биометрических сканерах отпечатков пальцев возможность получения биометрических образцов от холодных и сухих пальцев ниже по сравнению с пальцами, имеющими комнатную температуру, то биометрические сканеры отпечатков пальцев, с которыми испытуемый субъект взаимодействует в самом начале, будут в большей степени подвержены ошибкам, чем те, с которыми пользователь будет взаимодействовать спустя некоторое время, когда температура и влажность пальцев приблизятся к нормальным значениям, характерным для помещения. Программа испытания должна предусматривать наличие времени для адаптации испытуемого субъекта к среде испытания; если это невозможно, то порядок испытания должен быть таким, чтобы эффект акклиматизации в одинаковой степени учитывался для всех испытуемых устройств сбора биометрических данных.

7.1.2.6 Идентификаторы испытуемых субъектов

При описании идентификаторов испытуемых субъектов в протоколе испытаний следует указывать:

- идентификаторы, используемые для обозначения испытуемых субъектов;

- метод запроса идентичности субъекта в системах биометрической верификации;

- метод определения идентичности субъекта в системах биометрической идентификации.

7.1.3 Уровень затрачиваемых усилий и политика принятия решений

7.1.3.1 Уровень затрачиваемых усилий и политика принятия решений при биометрической регистрации

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать уровень затрачиваемых усилий и политику принятия решений для биометрической регистрации, например:

- минимальное и максимальное числа предъявлений биометрических характеристик, попыток и транзакций, необходимых и разрешенных для биометрической регистрации;

- максимальный период времени, необходимый для каждого предъявления биометрических характеристик, попытки или транзакции во время биометрической регистрации.

Примечания

1 Биометрическая система может прекратить попытку или транзакцию биометрической регистрации по истечении установленного периода времени. Это может произойти:

1) из-за признания полученного биометрического образца непригодным из-за недостаточной различимости данных;

2) невозможности получения биометрического образца.

2 Биометрическая система может осуществить биометрическую регистрацию испытуемого субъекта после одной попытки или потребовать проведения нескольких дополнительных попыток биометрической регистрации.

3 Максимальное число или продолжительность предъявлений биометрических характеристик, попыток и транзакций в процессе биометрической регистрации называют предельным числом предъявлений для биометрической регистрации, предельным числом попыток биометрической регистрации и предельным числом транзакций биометрической регистрации соответственно.

7.1.3.2 Уровень затрачиваемых усилий и политика принятия решений при сравнении

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать уровень затрачиваемых усилий и политику принятия решений для выполнения сравнения, например:

- минимальное и максимальное числа предъявлений биометрических характеристик, попыток и транзакций, разрешенных или необходимых для выполнения сравнения;

- минимальный и максимальный допустимые периоды времени, необходимые для каждого предъявления, попытки или транзакции при сравнении.

Примечания

1 Система может прекратить попытку или транзакцию сравнения по истечении установленного периода времени. Это может произойти:

1) из-за признания полученного образца непригодным из-за недостаточной различимости данных;

2) невозможности получения биометрического образца;

3) невозможности создания биометрического шаблона из полученного биометрического образца.

2 Биометрическая система может осуществить сравнение испытуемого субъекта после одной попытки или потребовать проведения нескольких дополнительных попыток сравнения.

3 Максимальное число или продолжительность предъявлений биометрических характеристик и попыток в процессе сравнения называют предельным числом предъявлений для сравнения и предельным числом попыток для сравнения соответственно.

7.1.3.3 Адаптация биометрических контрольных шаблонов

Экспериментатор должен определить, используется ли в испытуемых системах при выполнении транзакций распознавания адаптация биометрических контрольных шаблонов. Если в биометрических системах применяется адаптация биометрических контрольных шаблонов, то в протоколе испытания необходимо указать метод выполнения такой адаптации. Если известны доли транзакций подлинных лиц и транзакций "самозванцев", в которых была осуществлена адаптация биометрических контрольных шаблонов, то эта информация также должна быть приведена в протоколе.

7.1.3.4 Обоснованность уровня затрачиваемых усилий и политики принятия решений

Уровень затрачиваемых усилий и политика принятия решений в процессе биометрической регистрации и сравнения должны соответствовать испытуемым биометрическим системам и сценарию.

Примечание - Во всех испытуемых биометрических системах процессы получения биометрических данных, биометрической регистрации и сравнения могут существенно различаться, однако предельные числа попыток и транзакций должны быть постоянными.

Пример - Биометрическая система идентификации по лицу может выдать сообщение об отказе биометрической регистрации после окончания предварительно установленного периода времени, в то время как биометрическая система идентификации по отпечаткам пальцев может выдать сообщение об отказе биометрической регистрации после проведения определенного числа попыток биометрической регистрации.

7.1.3.5 Используемые по умолчанию и настраиваемые уровни затрачиваемых усилий и политика принятия решений

Для каждой биометрической системы необходимо указывать используемые по умолчанию и настраиваемые уровни затрачиваемых усилий и политику принятия решений.

Примечание - В системе могут использоваться постоянные ненастраиваемые функции биометрической регистрации и биометрического распознавания, предусматривающие определенное число попыток или период времени, необходимый для биометрической регистрации или сравнения. Кроме того, в биометрической системе могут также использоваться настраиваемые функции биометрической регистрации и биометрического распознавания, позволяющие экспериментатору изменять число попыток или период времени, необходимый для биометрической регистрации или сравнения.

7.1.4 Многократные сессии и транзакции

Для получения максимального объема данных с целью оценки эксплуатационных характеристик биометрической системы могут использоваться многократные транзакции и сессии. В данном случае повторные транзакции должны максимально соответствовать сценарию. Это, как правило, означает, что многократные сессии являются более предпочтительными, чем многократные транзакции в течение одной сессии.

Примечание - В зависимости от уровня доступа экспериментатора к испытуемой выборке каждый испытуемый субъект может выполнить несколько транзакций в каждой сессии в процессе многократных сессий.

Необходимо рассчитать параметры распределения периода времени между биометрической регистрацией и получением биометрических признаков образца.

7.1.5 Проведение транзакций подлинных лиц и "самозванцев"

В протоколе испытания необходимо указывать методы проведения транзакций подлинных лиц и "самозванцев".

Процессы испытания и реакция биометрической системы, которые может наблюдать испытуемый субъект, для попыток и транзакций допуска и недопуска не должны отличаться.

Примечание - Основной вопрос, который необходимо решить при проведении сценарного испытания, - будут ли результаты попыток сравнения подлинных лиц и "самозванцев" сохраняться на уровне каждой транзакции в виде решений о совпадении/несовпадении, являющихся результатами N предъявлений биометрических характеристик, попыток и транзакций, или же результаты будут сохраняться в виде результатов сравнения, полученных путем сравнения с каждым биометрическим контрольным шаблоном. В протоколе сценарного испытания может быть предусмотрена запись результатов сравнения, являющихся результатом попыток подлинных лиц и "самозванцев", что, в отличие от режима реального времени, позволяет вычислять вероятности ошибок после фактического анализа результатов сравнения. Также в протоколе испытания может быть указано, что решение должно приниматься в реальном времени, что делает необходимым применение фиксированных порогов принятия решений.

7.1.6 Сбор данных

В протоколе испытаний должны быть указаны следующие методы сбора данных:

- методы записи данных для каждой эксплуатационной характеристики, в том числе тех, которые не записываются биометрической(ими) системой(ами);

- процессы контроля и проверки характеристик сбора данных, в том числе тех, которые не записываются биометрической(ими) системой(ами).

В протоколе испытаний должны быть приведены примеры отдельных этапов сбора данных, такие как таблицы или протоколы, в виде снимков экрана ("скриншотов") или в распечатанном виде.

7.2 Испытуемая группа

7.2.1 Общие положения

Испытуемая группа должна быть создана для проведения биометрической регистрации и биометрического распознавания в испытуемых системах.

7.2.2 Навыки

В протоколе испытания должен быть указан уровень ознакомления испытуемой группы с каждым испытуемым устройством сбора биометрических данных.

Если уровень навыков у испытуемых субъектов таков, что позволяет разделить испытуемую выборку на категории, соответствующие навыкам, то вероятности ошибок необходимо указывать для каждой данной категории.

Примечания

1 Уровень навыков испытуемой группы при использовании испытуемых устройств сбора биометрических данных в значительной степени влияет на вероятности ошибок и пропускную способность испытуемого устройства сбора биометрических данных. Если испытуемая группа обладает достаточными навыками, то ВЛНС, ВОПБД и ВОБР будут меньше, чем у испытуемой группы, не обладающей навыками.

2 Уровень навыков испытуемой группы может варьировать в пределах от нулевого значения (отсутствие каких-либо навыков работы с устройствами сбора биометрических данных у любого члена группы) до максимального (у всех членов группы есть большой опыт работы с устройствами сбора биометрических данных). Во избежание субъективной оценки навыков испытуемой группой данная оценка должна быть количественной и должна отражать, например, хронологию и регулярность использования устройств сбора биометрических данных.

Если испытание проводится с привлечением обладающей навыками испытуемой группы, то необходимо указать метод, с помощью которого испытуемая группа приобрела навыки работы с каждым испытуемым устройством сбора биометрических данных.

Пример - Испытуемая группа может приобрести навыки при выполнении своих прямых обязанностей или в результате практических занятий в условиях испытаний до начала их проведения.

При испытании нескольких устройств сбора биометрических данных уровень навыков испытуемой группы должен быть одинаковым для каждого испытуемого устройства сбора биометрических данных.

Примечания

1 Несмотря на то что уровень навыков определяется тем, насколько испытуемый субъект знаком с использованием того или иного устройства сбора биометрических данных, ознакомление с процедурами использования какого-либо схожего по типу устройства сбора биометрических данных может быть достаточным для того, чтобы испытуемый субъект или испытуемая группа смогли освоить работу с аналогичными устройствами сбора биометрических данных. Например, опыт использования биометрических сканеров отпечатков пальцев, в которых при предъявлении используются прокатывание и перемещение пальца, может быть полезен при использовании других устройств сбора биометрических данных, в которых применяется аналогичный метод предъявления биометрических характеристик.

2 Навыки использования устройств могут по-разному влиять на эксплуатационные характеристики, получаемые для различных испытуемых устройств сбора биометрических данных. Наличие навыков не является определяющим фактором для устройств, где предъявление биометрических характеристик выполняется пассивно, в отличие от устройств сбора биометрических данных, где для предъявления биометрических характеристик требуется точное позиционирование или участие пользователя с помощью обратной связи. Кроме того, навыки использования устройств сбора биометрических данных могут по-разному влиять на эксплуатационные характеристики, получаемые для устройств сбора биометрических данных с различными биометрическими модальностями.

В ходе сценарного испытания с целью определения эксплуатационных характеристик устройства сбора биометрических данных в приложении, в котором пользователи, какправило, обладают навыками, необходимо использовать испытуемую группу, имеющую навыки работы с испытуемыми устройствами сбора биометрических данных. В ходе сценарного испытания с целью определения эксплуатационных характеристик устройства сбора биометрических данных в приложении, в котором пользователи, как правило, не обладают навыками, необходимо использовать испытуемую группу, не имеющую навыков работы с испытуемыми устройствами сбора биометрических данных.

Примечание - Подбор испытуемой группы, имеющей навыки работы с устройствами сбора биометрических данных, может оказаться непростой задачей. Для имитирования навыков использования устройств сбора биометрических данных опытными пользователями испытуемые субъекты должны получить данные навыки до начала испытания.

7.2.3 Персональный состав группы

В протоколе испытания необходимо указать сведения о персональном составе испытуемой группы, включая распределение группы по возрасту и полу.

Примечания

1 В случае целесообразности необходимо также указать образование, род занятий и этническую принадлежность каждого испытуемого субъекта.

2 В некоторых случаях экспериментатор может позволить испытуемому субъекту отказаться от предоставления той или иной личной информации.

3 Персональный состав испытуемой группы определяется, как правило, путем подбора участников. В этом заключается отличие сценарного испытания от некоторых видов технологических испытаний, предусматривающих предварительный сбор биометрических образцов, и от некоторых видов оперативных испытаний, предусматривающих использование определенной предоставленной испытуемой выборки.

4 Хотя сценарное испытание позволяет получить различные эксплуатационные характеристики в зависимости от возраста, пола, этнической принадлежности, полученного образования, рода занятий субъектов или прочих факторов, процесс подбора испытуемой группы может оказаться сложной или дорогостоящей задачей.

7.2.4 Использование испытуемых субъектов

В протоколе испытаний при описании процессов использования испытуемых субъектов необходимо указывать следующие сведения:

- метод первичной биометрической регистрации испытуемого субъекта;

- метод обеспечения уникальности испытуемого субъекта;

- объем и тип собранных персональных данных;

- использование маркеров доступа или идентификационных карт.

7.3 Оценка эксплуатационных характеристик

7.3.1 Общие положения

Экспериментаторы должны определить типы оцениваемых при выполнении сценарного испытания эксплуатационных характеристик в дополнение к перечисленным в 7.3.2-7.3.6.

При проведении сценарного испытания в протоколе испытания необходимо указать следующее:

a) для подлинных испытуемых субъектов - распределение периода времени между биометрической регистрацией и получением биометрических признаков образца;

b) достоверность результатов испытания, определяемую на основе числа ошибок, вероятностей ошибок, испытуемой выборки и числа выполненных транзакций;

c) результаты для различных демографических групп или полученные в разных условиях окружающей среды, или для различных логических сегментов базы данных.

7.3.2 Биометрическая регистрация

Для каждой испытуемой биометрической системы необходимо вычислить ВОБР.

Необходимо вычислить число испытуемых субъектов и транзакций, используемых для расчета ВОБР.

Для биометрических систем, в которых для биометрической регистрации разрешается или требуется совершить несколько предъявлений биометрических характеристик, попыток или транзакций, ВОБР должна вычисляться для каждого уровня затрачиваемых усилий, от наименьшего до наибольшего наблюдаемого значения.

Пример - Для биометрической системы, в которой для биометрической регистрации разрешается выполнение от двух до пяти попыток, необходимо вычислить процент испытуемых субъектов, прошедших биометрическую регистрацию за две, три, четыре и пять попыток. Если для биометрической регистрации система также разрешает выполнение двух транзакций, то необходимо вычислить процент испытуемых субъектов, прошедших биометрическую регистрацию за одну и две транзакции.

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

a) процент испытуемых субъектов, не прошедших биометрическую регистрацию из-за отсутствия биометрических характеристик;

b) среднее, минимальное, максимальное значения и стандартное отклонение времени, затраченного на биометрическую регистрацию, прошедшего с момента первого предъявления первой биометрической характеристики датчику до успешной биометрической регистрации;

c) распределение показателей качества биометрической регистрации.

7.3.3 Отказ получения биометрических данных

В процессе сценарного испытания в протоколе испытания необходимо записывать информацию о доле попыток биометрической верификации или биометрической идентификации, для которых биометрической системе не удалось получить или отобрать изображение или сигнал удовлетворительного качества. Данный показатель является ВОПБД.

Необходимо вычислить число предъявлений биометрических характеристик и момент, в который произошел отказ получения биометрических данных. Необходимо указать числа испытуемых субъектов и транзакций, используемых для вычисления данной вероятности.

Примечание - В сценарном испытании ВОПБД может определяться программным обеспечением датчика или рабочей станции сбора биометрических данных либо блоком кодирования или сравнения. В данном испытании ВОСД, как правило, связана с отказом при получении или отборе изображения или сигнала, но также может быть связана с отказом при обработке (например, при извлечении признаков или сравнении с биометрическим контрольным шаблоном).

Формула для вычисления ВОПБД приведена в ГОСТ Р ИСО/МЭК 19795-1.

7.3.4 Метрики системы биометрической верификации

Для каждой испытуемой системы биометрической верификации в протоколе испытаний необходимо указать следующее:

a) ВЛНС и ВЛС в зависимости от числа попыток. Такие данные могут быть представлены в виде кривых РХ или КОО. Необходимо указать число испытуемых субъектов и попыток, используемых для вычисления данных вероятностей;

b) ВЛД и ВЛНД кроме случаев, когда в соответствии с программой испытания ВЛД и ВЛНД идентичны ВЛС и ВЛНС соответственно. Такие данные также могут быть представлены в виде кривой РХ или КОО. Необходимо вычислить число испытуемых субъектов и транзакций, используемых для расчета данных вероятностей. Для систем, в которых для сравнения разрешается или требуется совершить несколько предъявлений биометрических характеристик, попыток или транзакций, ВЛД и ВЛНД должны вычисляться для каждого уровня затрачиваемых усилий, от наименьшего до наибольшего наблюдаемого значения.

Пример - Для биометрической системы, в которой для сравнения разрешается проведение от одной до трех попыток, необходимо вычислить процент испытуемых субъектов, прошедших сравнение за одну, две и три попытки. Если для выполнения сравнения данная система разрешает выполнение двух транзакций, то необходимо вычислить процент испытуемых субъектов, успешно прошедших сравнение за одну и две транзакции.

Примечания

1 Для биометрических систем, которые возвращают решение о совпадении/несовпадении без указания результатов сравнения, эксплуатационные характеристики могут быть вычислены для одной рабочей точки на кривой РХ или КОО.

2 Более подробная информация о протоколировании результатов испытаний эксплуатационных характеристик при различном уровне затрачиваемых усилий приведена в приложении С.

Для каждой испытуемой биометрической системы в протоколе испытаний должно быть указано следующее:

c) распределение результатов сравнения для подлинных испытуемых субъектов и "самозванцев";

d) среднее, минимальное, максимальное значения и стандартное отклонение времени, затраченного на сравнение, то есть прошедшего от момента первого предъявления датчику первой биометрической характеристики до успешного завершения транзакции сравнения.

7.3.5 Метрики системы биометрической идентификации

При испытании системы биометрической идентификации на замкнутом множестве необходимо вычислить ХСС.

При испытании системы биометрической идентификации на открытом множестве в протоколе испытаний необходимо указать следующее:

a) ВЛС и ВЛНС (желательно для нескольких порогов);

b) вероятности ложноположительной и ложноотрицательной биометрических идентификаций.

Для биометрических систем, в которых для сравнения разрешается совершить несколько предъявлений биометрических характеристик, попыток или транзакций, вышеупомянутые вероятности должны быть определены для каждого уровня затрачиваемых усилий.

7.3.6 Обобщенные вероятности ошибок, включающие в себя отказы биометрической регистрации и отказы получения биометрических данных

Для каждой испытуемой биометрической системы экспериментатор должен определить ОВЛД и ОВЛНД. Данные вероятности должны учитывать:

- транзакции "самозванца" с отказом (то есть ни допуск, ни недопуск) и транзакции самозванцев, для которых произошел отказ биометрической регистрации;

- транзакции подлинного лица с отказом (то есть ни допуск, ни недопуск) и транзакции подлинных лиц, для которых произошел отказ биометрической регистрации;

- транзакции "самозванца" и транзакции подлинного лица с отказами (то есть ни допуск, ни недопуск), для которых произошел отказ биометрической регистрации, учитывающиеся как транзакции с ложным недопуском.

7.3.7 Промежуточный анализ

Анализ типичных эксплуатационных характеристик биометрической системы при биометрической регистрации и сравнении должен проводиться до составления протокола о результатах испытания. Такой промежуточный анализ должен быть достаточным для проверки процессов сбора биометрических данных и обеспечения работы биометрических систем в порядке, предусмотренном программой испытания. Необходимо указать метод проведения промежуточного анализа. Все некорректные результаты, полученные в процессе промежуточного анализа и приведшие к пересмотру процедуры испытания или изменению какого-либо элемента биометрической системы, также должны быть запротоколированы.

Примечание - Проведение в сценарном испытании промежуточного анализа необходимо из-за невозможности быстрого создания новой программы испытания, так как данное испытание связанно с участием испытуемых субъектов, а не с сохраненными данными.

7.4 Формирование протоколов

7.4.1 Общие положения

Результаты испытания должны быть указаны в протоколе испытания.

Все нормативные элементы программы испытания и измерения эксплуатационных характеристик, рассмотренные в 7.1-7.3, должны быть указаны в протоколе испытания. Если какое-либо требование 7.1, 7.2 или 7.3 не рассматривается или не применяется, то в протоколе необходимо указать, что данное положение не рассматривается или не применяется.

Пример - Если испытуемая биометрическая система не позволяет совершать несколько попыток или транзакций для выполнения сравнения, то результаты для нескольких попыток или транзакций не могут быть отражены в протоколе. В данном случае в протоколе необходимо указать, что требование о предоставлении результатов оценки эксплуатационных характеристик при разном уровне затрачиваемых усилий не применимо к данной системе.

Если требование не было выполнено из-за недостатка информации, то в протоколе должно быть указано, что требуемые данные не были доступны. Протокол должен содержать описание причины недоступности этих данных.

Пример - Испытательная лаборатория, проводящая испытание, может не иметь прав на сбор демографической информации по причине ее конфиденциальности. В протоколе должно быть указано, что демографические данные не были собраны из-за их конфиденциального характера.

7.4.2 Информация об испытуемой биометрической системе

7.4.2.1 Общие положения

Информация, собираемая экспериментатором об испытуемой биометрической системе (системах), должна быть достаточной для проведения испытания и составления протокола о результатах испытания.

Примечания

1 В отличие от технологического испытания, предполагающего использование общей аппаратной платформы для испытания нескольких компонентов биометрической системы, сценарное испытание предполагает испытание нескольких биометрических систем на различных платформах - от автономных устройств до многопроцессорных рабочих станций.

2 Сценарное испытание применяют для оценки серийно выпускаемых биометрических систем, специализированных биометрических систем или их сочетаний. Ориентация на системные требования только серийно выпускаемых биометрических систем или только специализированных биометрических систем имеет ряд преимуществ. При испытании серийно выпускаемых биометрических систем испытательная лаборатория может с большей долей вероятности полагаться на то, что полученные эксплуатационные характеристики являются характерными для доступной на рынке комбинации "датчик-алгоритм". С другой стороны, применение специализированных биометрических систем дает возможность испытательной лаборатории использовать любые комбинации "датчик - алгоритм" с учетом требований конкретного сценария испытания. Специальная настройка биометрической системы может привести к необходимости изменения порогов некоторых параметров при биометрической регистрации с учетом особенностей испытуемой выборки. Возможность специальной настройки биометрических систем для испытания обычно не рассматривается как идеальный вариант, поскольку результаты в большей степени могут отражать возможности разработчика осуществлять специальную настройку биометрической системы с учетом специфики сценария испытания, а не возможности ядра биометрической системы выполнять биометрическую регистрацию и биометрическую верификацию пользователей. Тем не менее интерес представляет именно возможность точной настройки биометрической системы с учетом специфики протокола испытания.

7.4.2.2 Технические характеристики

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

а) для устройств сбора биометрических данных: наименование предприятия-изготовителя, модель, версию и версию ПО, если возможно. Если основные компоненты устройства сбора биометрических данных интегрированы с другими устройствами, изготовленными третьей стороной (например, если датчик отпечатков пальцев встроен в некое периферийное устройство), то достаточно указать только наименование предприятия-изготовителя, модель, версию и версию ПО основных компонентов устройства получения данных;

b) для алгоритмов сравнения: наименование разработчика, версию, номер сборки;

c) если в процессе сценарного испытания будет использоваться прикладное ПО, например демонстрационное приложение или интерфейс доступа на логическом уровне, то необходимо указать наименование разработчика, название, версию и номер сборки такого приложения;

d) для биометрических систем, испытанных на персональных компьютерах, карманных персональных компьютерах (КПК) и иных вычислительных устройствах или с использованием данных устройств: платформу, операционную систему, вычислительную мощность, объем памяти, наименование предприятия-изготовителя и модель вычислительного устройства.

7.4.2.3 Архитектура

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

a) архитектуру, лежащую в основе получения, обработки и хранения биометрических данных;

b) алгоритмы обмена данными между компонентами системы.

7.4.2.4 Выходные данные

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

a) доступные выходные данные системы, например результаты сравнения, решения о допуске/недопуске, списки кандидатов, показатели качества биометрической регистрации и показатели качества биометрических образцов;

b) диапазон значений для каждого выходного значения;

c) указанные разработчиком пороги параметров и описание значений или параметров.

Пример - Результаты сравнения в биометрической системе могут варьироваться в пределах от 0 до 100, где 0 обозначает минимальное сходство, а 100 - максимальное, при этом 75 являются минимальным порогом полного сходства.

d) метод(ы) представления выходных данных биометрической системой.

Пример - Результаты сравнения могут записываться приложением или визуально представляться на графическом пользовательском интерфейсе;

7.4.3 Параметры получения биометрических данных и реализации биометрической системы

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

a) способ получения биометрических данных биометрической системой и платформой;

b) степень вовлеченности разработчика в процесс выполнения биометрической системой своих функций.

7.4.4 Физические характеристики условий проведения испытания

Необходимо указать, по крайней мере, следующие физические характеристики условий проведения испытаний:

a) размер территории, на которой проводилось сценарное испытание;

b) наличие естественного и искусственного освещения;

c) расположение устройства сбора биометрических данных;

d) местоположение каждой биометрической системы с указанием его на схеме;

e) фотографии условий места проведения испытаний, в достаточной степени иллюстрирующие местоположение устройств сбора биометрических данных и испытуемых субъектов во время испытания.

7.4.5 Структура протокола

Протокол испытания должен содержать следующие разделы:

- краткое изложение;

- описание сценария;

- особые процедуры испытания;

- сбор данных;

- метод анализа данных;

- способ хранения данных;

- результаты испытания, эксплуатационные характеристики;

- полное описание программы испытания.

8 Другие аспекты технологического и сценарного испытаний

8.1 Участники испытаний

Испытание должен проводить экспериментатор. Испытуемая биометрическая система предоставляется одним или несколькими разработчиками. Если экспериментатор и разработчик являются одной и той же организацией или они каким-либо образом связаны между собой, то это должно быть указано в протоколе испытания.

Участие разработчика в технологическом и сценарном испытаниях должно ограничиваться поставкой, установкой и настройкой программного и/или аппаратного обеспечения. Испытательная лаборатория должна проводить испытания биометрической регистрации и сравнения без участия разработчика.

Примечание - При необходимости возможно проведение испытания, в котором роли экспериментатора и разработчика будут отличаться от описанных в 8.1. В так называемых внутренних испытаниях, проводимых непосредственно разработчиком, могут использоваться биометрические образцы, предоставленные экспериментатором, но при этом разработчик сам проводит настройку и работу с биометрической системой. Экспериментатор освобождается от ответственности в том случае, если результаты испытаний будут не соответствовать действительности. Подобные испытания должны использовать принцип "клиент-сервер" (приложение D). Следует иметь в виду, что подобная схема вызывает много вопросов, связанных с затратами, возможностью фальсификации результатов и конфиденциальности биометрических образцов.

8.2 Объективность испытаний

Условия проведения сравнительного испытания должны быть одинаковы для всех разработчиков.

Примечания

1 Данное положение не относится к организациям, проводящим технологические испытания для целей собственной научно-исследовательской деятельности.

2 Как правило, после анонсирования испытания предполагаемые разработчики пытаются получить разного рода информацию (например, о формате биометрических образцов, их свойствах, качестве, интерфейсах, различных административных процедурах); если подобная информация предоставляется, то она должна быть предоставлена публично. Например, можно создать некую базу вопросов и ответов, доступную через сеть Интернет. В таком случае информация о пользователе, запрашивающем подобную информацию, будет недоступна. Уведомление о подобном решении должно быть во вводной информации к данной базе и при анонсировании самого испытания.

3 В случае проведения технологического испытания экспериментатор должен предоставить всем разработчикам некоторый типичный биометрический образец в том формате, который будет использован в процессе испытания.

Экспериментатор должен указывать в протоколе испытания любое участие испытательной лаборатории в настройке, модификации, обновлении или адаптации испытуемой биометрической системы.

Экспериментатор должен указывать в протоколе испытания любой интеллектуальный или физический вклад испытательной лаборатории, который может повлиять на результаты испытаний.

Если испытаниям подвергаются несколько биометрических компонентов или биометрических систем, то экспериментатор должен указать, испытывались ли они на одинаковых по своим аппаратным и программным средствам испытательных стендах и переустанавливалась ли операционная система перед началом каждой отдельной стадии испытания.

8.3 Основания для включения в испытания

В протоколе испытания экспериментатор должен указать основания, согласно которым алгоритмы и биометрические системы включаются в технологическое или сценарное испытание. Включение алгоритмов и биометрических систем в испытание должно основываться на:

a) непосредственной заявке на участие;

b) выборе испытательной лаборатории (в таком случае испытательная лаборатория должна указать критерий выбора);

c) положении договора с разработчиком или с третьей стороной об испытании той или иной биометрической системы.

Технологическое и сценарное испытания могут включать в себя испытание как одной биометрической системы, так и нескольких биометрических систем или их компонентов. Технологическое и сценарное испытания также могут проводиться для комбинаций нескольких биометрических систем или компонентов. Испытание нескольких биометрических систем позволяет получить диапазон эксплуатационных характеристик, с которым впоследствии могут сравниваться другие биометрические системы (приложение Е). Определение степени отклонения эксплуатационных характеристик от установленного уровня с помощью испытания одной биометрической системы может быть сложной задачей. Число биометрических систем, подвергаемых испытанию, может быть ограничено бюджетом, доступностью подходящих технологий или временем, которое требуется для получения биометрических образцов или обработки данных. Информация об испытаниях мультимодальных биометрических систем приведена в приложении F.

8.4 Использование базы вопросов и ответов

При проведении сравнительных технологических или сценарных испытаний база вопросов и ответов может использоваться как средство связи между разработчиками и испытательной лабораторией. При этом информация об авторах вопросов не должна быть опубликована.

8.5 Правовые вопросы

При составлении программы технологического или сценарного испытания, их проведении и формировании протоколов испытаний необходимо уделять должное внимание правовым вопросам. Может потребоваться заключение соглашения о конфиденциальности между разработчиками и испытательной лабораторией. В некоторых случаях может потребоваться заключение соглашения о неразглашении личной информации между испытательной лабораторией и испытуемым субъектом.

8.6 Предоставление исходной программы испытания

В некоторых случаях в зависимости от вида и целей испытания целесообразно предоставить разработчикам исходную программу испытания.

8.7 Комментарии разработчиков

В некоторых случаях в зависимости от типа и целей испытания целесообразно предоставить разработчикам возможность комментировать предварительную версию протокола испытаний в порядке, установленном испытательной лабораторией.

Приложение А*

(справочное)

_______________

* Порядок приложений в настоящем стандарте изменен относительно порядка приложений в международном стандарте ИСО/МЭК 19795-2:2007 для приведения в соответствие с ГОСТ 1.5-2001 (пункт 3.12.9).

Взаимосвязь между предъявлениями, попытками и транзакциями

На рисунке А.1 показана взаимосвязь между предъявлениями, попытками и транзакциями. Подобные взаимосвязи уровнем ниже транзакций более характерны для сценарного испытания, чем для технологического.

Рисунок А.1 - Взаимосвязь между предъявлениями, попытками и транзакциями

Приложение В

(справочное)

Этапы основных видов технологического испытания и действия, выполняемые в ходе данного испытания

В.1 Простое испытание биометрической верификации

Простое испытание биометрической верификации является основным средством оценки производительности алгоритмов биометрической системы при работе с базой данных. Данный вид испытания может проводиться многократно, например при разработке компонентов или при сравнительном испытании биометрических систем. Кроме того, данное испытание позволяет определить сложные для обработки элементы данных.

Простое испытание биометрической верификации позволяет определить ВЛНД, ВЛНС, ВЛД и ВЛС.

Пример - Данное испытание может быть репрезентативным для биометрических систем с одним зарегистрированным субъектом, например таких как КПК.

Порядок проведения испытания приведен в таблице В.1.

Таблица В.1

В.2 Испытание биометрической верификации с участием нескольких зарегистрированных пользователей

Испытание биометрической верификации с участием нескольких зарегистрированных пользователей аналогично простому испытанию биометрической верификации; отличием является испытание устройства сбора биометрических данных, способного работать с несколькими пользователями. Данный тип испытания может применяться для оценки возможностей усовершенствованной биометрической верификации с использованием других зарегистрированных биометрических контрольных шаблонов, например путем общей нормализации. Испытание биометрической верификации с участием нескольких зарегистрированных пользователей влечет за собой большее число запросов на идентичность в линейной зарегистрированной выборке. Испытуемый алгоритм может использовать данные других зарегистрированных пользователей для того, чтобы сформировать зависимости между биометрическими контрольными шаблонами или провести нормализацию.

Испытание биометрической верификации с участием нескольких зарегистрированных пользователей позволяет определить ВЛНД, ВЛНС, ВЛД и ВЛС.

Пример - Биометрическая верификация в системе контроля доступа при входе в здание.

Порядок проведения испытания приведен в таблице В.2.

Таблица В.2

В.3 Испытание биометрической верификации с участием нескольких зарегистрированных пользователей и истинных "самозванцев"

Испытание биометрической верификации с участием нескольких зарегистрированных пользователей и истинных "самозванцев" добавляет в испытания параметр зависимости биометрических контрольных шаблонов путем включения незарегистрированных пользователей в качестве "самозванцев".

Испытание биометрической верификации с участием нескольких зарегистрированных пользователей и истинных "самозванцев" позволяет определить ВЛНД, ВЛНС, ВЛД и ВЛС.

Порядок проведения испытания приведен в таблице В.3.

Таблица В.3

В.4 Испытание биометрической верификации с выдачей решения "да/нет"

Испытание биометрической верификации с выдачей решения "да/нет" представляет собой испытание алгоритма, который выдает только окончательные решения. Данный тип испытания применим при отсутствии возможности изменения программного обеспечения с целью получения результатов сравнения. Испытание проводят путем наблюдения результатов биометрической верификации, осуществляемого в "пакетном" режиме.

Испытание биометрической верификации биометрической системы с выдачей решения "да/нет" позволяет определить пару значений (ВЛНС/ВЛС) в одной рабочей точке.

ВЛС определяют как число транзакций "самозванцев" с выданным решение о допуске, разделенное на общее число транзакций "самозванцев".

ВЛНС определяют как число транзакций подлинных лиц с выданным решением о недопуске, разделенное на общее число транзакций подлинных лиц.

В.5 Простое испытание биометрической идентификации на замкнутом множестве

Простое испытание биометрической идентификации на замкнутом множестве проводят с целью определения эксплуатационных характеристик биометрической системы в случаях, когда заранее известно, что каждый пользователь имеет совпадающий зарегистрированный биометрический образец. Данное испытание не позволяет определить ВЛС. Испытание проводят путем выполнения полного числа сравнений "один ко многим".

Простое испытание биометрической идентификации на замкнутом множестве позволяет вычислить ХСС.

Пример - Круизный лайнер, на борту которого установлена система распознавания по лицу. Регистрация пользователей происходит при посадке, а сбор биометрических данных (возможно, скрытый) осуществляется позднее.

Порядок проведения испытания приведен в таблице В.4.

Таблица В.4

В.6 Простое испытание биометрической идентификации на открытом множестве

Простое испытание биометрической идентификации на открытом множестве проводят с целью определения эксплуатационных характеристик биометрической системы в случаях, когда субъекты могут являться "самозванцами" (то есть не иметь совпадающих зарегистрированных биометрических образцов). Данный тип испытания подразумевает проведение сравнений "один ко многим" с дальнейшей оценкой ВЛОИ по всем субъектам, а также вычислением ВЛПИ с привлечением истинных "самозванцев". Результаты сравнения "один к одному" в данном случае не используют.

Простое испытание биометрической идентификации на открытом множестве позволяет получить ХСС и построить эмпирические кривые КОО для сравнения "один ко многим".

Порядок проведения испытания приведен в таблице В.5.

(Измененная редакция, Изм. N 1).

Таблица В.5

Таблица В.5 (Измененная редакция, Изм. N 1).

Приложение С

(справочное)

Протоколирование результатов испытаний при различном уровне затрачиваемых усилий

С.1 Уровень затрачиваемых усилий при сравнении

На рисунке С.1 показана примерная зависимость эксплуатационных характеристик при различном уровне затрачиваемых усилий (временных усилий и усилий, определяемых числом предъявлений). Данная диаграмма позволяет определить точку, в которой эксплуатационные характеристики (при малых значениях ВЛС и ВЛНС) и число предъявлений сбалансированы. В идеальном случае биометрическая система должна иметь нулевую ВЛНС при единственном предъявлении и нулевую ВЛС при максимальном числе предъявлений. Однако, как правило, ВЛНС растет при уменьшении числа предъявлений, в то время как ВЛС увеличивается по мере увеличения числа предъявлений.

На рисунке С.1 показано, что для некой условной биометрической системы единственное предъявление влечет за собой неприемлемо большую ВЛНС, а при числе предъявлений больше четырех ВЛНС снижается весьма незначительно (при незначительном увеличении ВЛС). Следует обратить внимание на то, что для биометрических систем, в которых затрачиваемые усилия обусловлены не числом предъявлений, а временем, отведенным на их выполнение (продолжительность взаимодействия пользователя с биометрической системой для выполнения биометрической регистрации или сравнения), ось "предъявления" может быть обозначена как "период времени", что более логично.

Рисунок С.1 - Зависимость вероятностей ошибок от числа предъявлений

С.2 Уровень усилий, затрачиваемых при биометрической регистрации

Уровень усилий, затрачиваемых при биометрической регистрации, может быть представлен в зависимости от процента пользователей, успешно прошедших биометрическую регистрацию в биометрической системе. На рисунке С.2 показан метод представления уровня усилий, затрачиваемых при биометрической регистрации, и возможностей биометрической системы при биометрической регистрации для трех условных биометрических систем А, В и С.

Рисунок C.2 - Зависимость процента успешно зарегистрировавшихся от числа предъявлений

Приложение D

(справочное)

Испытание по схеме "клиент-сервер"

D.1 Общие положения

В случае если разработчик намерен провести внутренние испытания, то для получения достоверных результатов и для имитации последующей реальной работы биометрической системы рекомендуется использовать схему "клиент - сервер". Возможны несколько путей реализации данного подхода, но рекомендуется использовать такой протокол передачи данных, который позволяет отправлять биометрические образцы и получать результат по обычной гигабитной сети. Для этих целей может подойти протокол HTTP (протокол передачи гипертекстовых документов), так как он поддерживает передачу файлов, обладает большими возможностями, очень широко распространен, поддерживает работу с несколькими клиентами, обеспечивает шифрование данных и известен почти всем системным администраторам. При определении пропускной способности необходимо также учитывать пропускную способность сети и ее латентность. Клиент не должен заранее располагать информацией о числе пользователей и должен работать независимо. Эксплуатационные характеристики системы могут быть определены на некотором подмножестве биометрических образцов, которое составляется всеми разработчиками. Порядок совершения транзакций подлинных лиц и "самозванцев" должен быть случайным.

D.2 Процедура измерения времени биометрической идентификации "один ко многим"

В настоящем разделе приведен общий обзор процедуры этого испытания. Данное испытание является последовательностью испытаний. Каждое испытание представляет собой последовательность транзакций Р пользователей. Одно подобное испытание состоит из следующих этапов:

1) клиент запрашивает биометрические контрольные шаблоны;

2) сервер принимает и подтверждает запрос, фиксирует время, начинает загрузку ряда изображений;

3) клиент получает и обрабатывает биометрические образцы, создает регистрационную базу данных;

4) клиент запрашивает первое изображение пользователя:

a) сервер фиксирует время и отправляет либо изображение, либо признак завершения испытания;

b) клиент либо прекращает запросы после завершения испытания, либо осуществляет поиск "один ко многим", отправляет список кандидатов серверу и запрашивает следующего пользователя;

c) сервер прибавляет значение счетчика обработанных пользователей;

d) процедура повторяется, начиная с перечисления а).

Для реализации подобной процедуры может быть использована улучшенная версия BioAPI. Испытание, как правило, состоит из заранее неизвестного числа подобных сессий и не предполагает простоя биометрической системы. Время может фиксироваться также самим клиентом.

D.3 Процедура измерения времени биометрической верификации "один к одному"

В настоящем разделе приведен общий обзор процедуры этого испытания. Данное испытание является последовательностью испытаний. Каждое испытание представляет собой последовательность транзакций Р пользователей. Одно подобное испытание состоит из следующих этапов:

1) клиент запрашивает регистрационные биометрические образцы;

2) сервер принимает и подтверждает запрос, фиксирует время, начинает загрузку биометрических образцов на клиента;

3) клиент получает и обрабатывает биометрические образцы, создает регистрационную базу данных и запрашивает биометрический образец первого пользователя:

a) сервер фиксирует время и отправляет либо изображение, либо признак завершения испытания;

b) клиент либо прекращает запросы после завершения испытания, либо осуществляет поиск "один ко многим", отправляет список кандидатов серверу и запрашивает следующего пользователя;

c) сервер прибавляет значение счетчика обработанных пользователей;

d) процедура повторяется, начиная с перечисления а).

Для реализации подобной процедуры может быть использована улучшенная версия BioAPI. Испытание, как правило, состоит из заранее неизвестного числа подобных сессий и не предполагает простоя биометрической системы.

Примечание - Необходимо провести оценку влияния служебных данных, передаваемых по сети.

Приложение Е

(справочное)

Сравнение результатов испытаний нескольких биометрических систем

Е.1 Общие положения

Результаты испытаний нескольких биометрических систем указывают на возможность испытуемых субъектов проходить процедуру биометрической регистрации или сравнения на различных биометрических системах. В протоколе также может быть указана информация, касающаяся невозможности для некоторых субъектов проведения биометрической регистрации или сравнения на нескольких системах, а также чувствительности систем к сравнению "самозванцев". Подобные результаты могут быть указаны только в случае испытания нескольких биометрических систем.

В зависимости от объема испытаний и числа ошибок данные о возможностях нескольких биометрических систем при биометрической регистрации и сравнении могут быть представлены в виде таблиц.

Е.2 Биометрическая регистрация

При испытании процесса биометрической регистрации на нескольких биометрических системах в протоколе испытания может быть указана следующая информация:

- биометрические системы, на которых каждый испытуемый субъект не смог зарегистрироваться;

- график зависимости показателей качества биометрической регистрации испытуемых субъектов для каждой биометрической системы, на которой испытуемые субъекты не смогли зарегистрироваться, от показателей качества других испытуемых субъектов для каждой биометрической системы.

Е.3 Испытания с участием подлинных лиц

При испытании нескольких биометрических систем с участием подлинных лиц в протоколе испытания рекомендуется приводить следующую информацию:

- биометрические системы, в которых для каждого испытуемого субъекта произошел ложный недопуск или ложное несовпадение;

- биометрические системы, в которых в процессе испытаний биометрической идентификации испытуемым субъектам был возвращен неверный идентификатор;

- биометрические системы, в которых случаи недопуска или несовпадения были отнесены к отказам получения биометрических данных;

- график зависимости результатов сравнения испытуемых субъектов для каждой биометрической системы от результатов сравнения других испытуемых субъектов для каждой биометрической системы.

Е.4 Испытания с участием "самозванцев"

При испытании нескольких биометрических систем с участием "самозванцев" в протоколе испытания рекомендуется приводить следующую информацию:

- биометрические системы, в которых для испытуемых субъектов произошел ложный допуск или ложное совпадение, в том числе случаи, когда определенные биометрические образцы были ошибочно признаны совпадающими на нескольких биометрических системах;

- биометрические системы, в которых для ряда испытуемых субъектов произошел ложный допуск или ложное совпадение, в том числе случаи, когда определенные пробные биометрические образцы были ошибочно признаны совпадающими с рядом испытуемых субъектов на нескольких биометрических системах;

- график зависимости результатов сравнения испытуемых субъектов для каждой биометрической системы от результатов сравнения других испытуемых субъектов для каждой биометрической системы.

Приложение ДА

(справочное)

Программное обеспечение для проведения технологических испытаний и подготовки протоколов испытаний

ДА.1 Программное обеспечение для проведения простого испытания биометрической верификации и оценки производительности различных алгоритмов

API* для проведения простого испытания биометрической верификации для:

_______________

* API - прикладной программный интерфейс (application programming interface).

- алгоритмов распознавания по изображению различных биометрических характеристик и руководство пользователя находятся по ссылке: https://github.com/rusbiometrics/IRPV;

- алгоритмов распознавания по голосу и руководство пользователя находятся по ссылке: https://github.com/rusbiometrics/SRPV.

ДА.2 Программное обеспечение для проведения простого испытания биометрической идентификации и оценки производительности различных алгоритмов

API для проведения простого испытания биометрической идентификации для:

- алгоритмов распознавания по изображению различных биометрических характеристик и руководство пользователя находятся по ссылке: https://github.com/rusbiometrics/IRPI;

- алгоритмов распознавания по голосу и руководство пользователя находятся по ссылке: https://github.com/ rusbiometrics/SRPI.

ДА.3 Программное обеспечение для подготовки протоколов технологических испытаний

Существуют отечественные программные продукты, которые автоматически подготавливают протоколы технологических испытаний в соответствии с требованиями настоящего стандарта. На рисунке ДА.1 приведен пример графического интерфейса пользователя программного обеспечения подготовки протоколов технологических испытаний.

Рисунок ДА.1 - Пример графического интерфейса пользователя программного обеспечения подготовки протоколов технологических испытаний

Приложение ДБ

(справочное)

Сведения о соответствии ссылочных национальных и межгосударственного стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте

Таблица ДБ.1

Приложение ДВ

(справочное)

Сопоставление структуры настоящего стандарта со структурой примененного в нем международного стандарта

Таблица ДВ.1

(Измененная редакция, Изм. N 1).

Редакция документа с учетом
изменений и дополнений подготовлена