ГОСТ Р ИСО/МЭК 19795-4-2011 Информационные технологии. Биометрия. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 4. Испытания на совместимость

ГОСТ Р ИСО/МЭК 19795-4-2011

Группа П85

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

БИОМЕТРИЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 4

Испытания на совместимость

Information technologies. Biometrics. Biometric performance testing and reporting. Part 4. Interoperability performance testing

ОКС 35.040

Дата введения 2012-07-01

Предисловие

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. N 184-ФЗ "О техническом регулировании", а правила применения национальных стандартов Российской Федерации - ГОСТ Р 1.0-2004 "Стандартизация в Российской Федерации. Основные положения"

Сведения о стандарте

1 ПОДГОТОВЛЕН Научно-исследовательским и испытательным центром биометрической техники Московского государственного технического университета имени Н.Э.Баумана (НИИЦ БТ МГТУ им. Н.Э.Баумана) на основе собственного аутентичного перевода на русский язык стандарта, указанного в пункте 4, при консультативной поддержке Ассоциации автоматической идентификации "ЮНИСКАН/ГС1 РУС"

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 355 "Технологии автоматической идентификации и сбора данных и биометрия"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 21 сентября 2011 г. N 327-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 19795-4:2008* "Информационные технологии. Биометрия. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 4. Испытания на совместимость" (ISO/IEC 19795-4:2008 "Information technology - Biometric performance testing and reporting - Part 4: Interoperability performance testing").
________________
* Доступ к международным и зарубежным документам, упомянутым здесь и далее по тексту, можно получить, перейдя по ссылке. - .

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2004 (подраздел 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ


Информация об изменениях к настоящему стандарту публикуется в ежегодно издаваемом информационном указателе "Национальные стандарты", а текст изменений и поправок - в ежемесячно издаваемых информационных указателях "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии

Введение

Настоящий стандарт входит в комплекс стандартов и технических отчетов, которые были разработаны подкомитетом ИСО/МЭК СТК1/ПК37 с целью установления требований к автоматической идентификации на основе биометрических характеристик.

Настоящий стандарт устанавливает общие требования к проведению испытаний для оценки степени совместимости, степени достаточности и абсолютных и относительных эксплуатационных характеристик разнородных биометрических систем, использующих соответствующие утвержденным стандартам (в частности, стандартам ИСО/МЭК 19794) форматы обмена биометрическими данными.

Настоящий стандарт рекомендуется использовать вместе с другими стандартами комплексов "Идентификация биометрическая" и "Биометрия".

1 Область применения

1 Область применения

Настоящий стандарт устанавливает методы проведения технологического и сценарного испытаний биометрических систем, имеющих в составе компоненты нескольких поставщиков и использующих биометрические данные, соответствующие стандартам формата обмена биометрическими данными.

Настоящий стандарт устанавливает требования к оценке:

- эксплуатационных характеристик биометрических систем при работе с образцами, соответствующими стандартному формату обмена данными (СФОД);

- эксплуатационных характеристик биометрических систем при обмене образцами, соответствующими СФОД;

- эксплуатационных характеристик биометрических систем при работе с образцами, соответствующими СФОД, и их сравнении с эксплуатационными характеристиками биометрических систем при работе с образцами в фирменных форматах данных;

- совместимости СФОД путем измерения эксплуатационных характеристик разнородной биометрической системы относительно эксплуатационных характеристик однородной биометрической системы;

- эксплуатационных характеристик биометрической системы при использовании мультиобразцовых и мультимодальных данных, соответствующих одному или более СФОД;

- степени совместимости биометрических устройств получения данных.

Настоящий стандарт также:

- включает в себя описание процедур определения множества совместимых продуктов;

- устанавливает процедуры испытаний на совместимость с ранее определенными множествами совместимых продуктов;

- дает описание процедуры измерения эксплуатационных характеристик разнородных биометрических систем.

Настоящий стандарт не устанавливает:

- процедуры испытаний на соответствие стандартам форматов обмена биометрическими данными;

- процедуры сбора данных в режиме реального времени.

2 Соответствие

Испытания на совместимость соответствуют настоящему стандарту, если они удовлетворяют требованиям, установленным в разделах 6, 7, 8 и 9 настоящего стандарта, и требованиям, установленным в разделах стандарта ИСО/МЭК 19795-2, указанных в таблице 1.


Таблица 1 - Совместимость со стандартом ИСО/МЭК 19795-2

3 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты*, которые необходимо учитывать при использовании настоящего стандарта. В случае ссылок на документы, у которых указана дата утверждения, необходимо пользоваться только указанной редакцией. В случае, когда дата утверждения не приведена, следует пользоваться последней редакцией ссылочных документов, включая любые поправки и изменения к ним:
_______________
* Таблицу соответствия национальных (межгосударственных) стандартов международным см. по ссылке. - .

ИСО/МЭК 19795-1 Информационные технологии - Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура

ИСО/МЭК 19795-2 Информационные технологии - Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методы проведения технологического и сценарного испытаний

4 Термины и определения

В настоящем стандарте применены термины и определения, установленные в ИСО/МЭК 19795-1, ИСО/МЭК 19795-2, а также следующие термины с соответствующими определениями:

4.1 совместимость (basic interoperability): Способность подсистемы формирования блока биометрических данных (ББД) одного поставщика создавать ББД, которые могут быть обработаны подсистемой сравнения другого поставщика, и способность подсистемы сравнения одного поставщика обрабатывать ББД, созданные подсистемой формирования ББД другого поставщика.

4.2 устройство получения биометрических данных; УПБД (biometric capture device): Устройство, осуществляющее регистрацию биометрической характеристики и преобразование ее в биометрический образец.

Примечание - Устройством может быть любое аппаратное устройство, программное обеспечение и аппаратно-программное обеспечение (встроенные микропрограммы в постоянных запоминающих устройствах).

4.3 блок биометрических данных; ББД (biometric data block): Блок данных определенного формата, содержащий один или несколько биометрических образцов или биометрических шаблонов.

4.4 полученный блок биометрических данных; ПББД (captured biometric data block): Блок однозначно определенных, возможно стандартизованных, данных об изображении или сигнале, сформированных устройством получения биометрических данных.

Примечание - ПББД по определению является СББД. ПББД приведен на рисунках 1-5 для демонстрации того, что практически все выходные данные устройства получения биометрических данных являются обработанными.


Пример - Полутоновое растровое изображение, полученное от сканера отпечатка пальца.

4.5 подсистема сравнения ББД (comparison subsystem): Подсистема, осуществляющая сравнение стандартизованных или фирменных ББД.

Примечание 1 - В процессе проведения испытаний СФОД, содержащих изображения, подсистема сравнения ББД для верификации сравнивает два изображения (как правило, путем создания и затем сравнения внутри себя двух фирменных и несовместимых с другими продуктами шаблонов). Поскольку оба входных образца будут применяться снова, более эффективным с вычислительной точки зрения будет сохранение фирменных шаблонов в рамках функции сравнения. Рассмотрение внутренних операций программного обеспечения каждого поставщика находится за рамками настоящего стандарта, однако для вычисления пропускной способности может понадобиться определить производительность отдельно для "первичных" и "вторичных" (то есть с использованием уже сохраненного шаблона) сравнений.

Примечание 2 - Под данное определение попадают также системы, которые в целях верификации обоснованно осуществляют более чем одно сравнение один к одному. Например, при использовании определенных методик нормализации выборки в целях улучшения эксплуатационных характеристик осуществляются дополнительные внутренние сравнения. Подобная подсистема сравнения ББД, с точки зрения испытателя, является объектом с неизвестными свойствами ("черным ящиком"), который принимает два экземпляра биометрической характеристики и выдает степень их схожести.

4.6 вероятность отказа сбора данных; ВОСД (failure to acquire rate): Доля образцов для распознавания, для которых подсистема формирования ББД не может сформировать ББД, пригодный для сравнения.

Примечание - В тех случаях, когда для каждого субъекта используется один образец, вероятность отказа сбора образца равна вероятности отказа при совершении попытки, и данное определение соответствует определению, установленному в ИСО/МЭК 19795-1 и ИСО/МЭК 19795-2.

4.7 вероятность отказа регистрации; ВОР (failure to enrol rate): Доля образцов для регистрации, для которых подсистема формирования ББД не может сформировать ББД, пригодный для сравнения.

Примечание - В тех случаях, когда для каждого субъекта используется один образец, вероятность отказа сбора образца равна вероятности отказа регистрации субъекта, и данное определение соответствует определению, установленному в ИСО/МЭК 19795-1 и ИСО/МЭК 19795-2.

4.8 подсистема формирования ББД (generator): Подсистема, осуществляющая формирование стандартизованных или фирменных ББД.

Примечание 1 - В соответствии с данным определением устройство получения биометрических данных может являться подсистемой формирования ББД.

Примечание 2 - Подсистема формирования ББД может быть реализована в виде программного и/или аппаратного обеспечения.

Примечание 3 - В соответствии с ИСО/МЭК 19785-1 (спецификация элементов данных единой структуры форматов обмена биометрическими данными (ЕСФОБД)) подсистема формирования ББД преобразовывает исходный ББД в целевой ББД.

4.9 эксплуатационные характеристики разнородной биометрической системы* (interoperable performance): Эксплуатационные характеристики биометрической системы при использовании подсистем формирования и сравнения ББД, предоставленных разными поставщиками.
_______________
* Под разнородной биометрической системой в настоящем стандарте понимается биометрическая система, в которой используются подсистема формирования ББД и подсистема сравнения ББД, предоставленные разными поставщиками.

4.10 эксплуатационные характеристики однородной биометрической системы* (native performance): Эксплуатационные характеристики биометрической системы при использовании подсистем формирования и сравнения ББД, предоставленных одним поставщиком.
_______________
* Под однородной биометрической системой в настоящем стандарте понимается биометрическая система, в которой используются подсистема формирования ББД и подсистема сравнения ББД, предоставленные одним и тем же поставщиком.

4.11 степень совместимости (performance interoperability): Мера соответствия эксплуатационных характеристик разнородной биометрической системы предъявленным требованиям.

Примечание - Степень совместимости отражает способность биометрических подсистем, предоставленных разными производителями, формировать и сравнивать образцы, а также соответствовать абсолютным значениям эксплуатационных характеристик или значениям вероятностей ошибок в рамках некоторых относительных (т.е. неабсолютных) предельных значений.

4.12 фирменный формат; ФФ (proprietary format): Формат, разработанный поставщиком и определенный в конфиденциальной спецификации формата биометрических данных.

4.13 фирменный блок биометрических данных; ФББД (proprietary biometric data block): Блок биометрических данных, соответствующий фирменному формату.

4.14 эксплуатационные характеристики фирменной продукции (proprietary performance): Эксплуатационные характеристики при использовании фирменных подсистем формирования и сравнения ББД.

4.15 стандартизованный блок биометрических данных; СББД (standardized biometric data block): Блок данных стандартизованного формата, содержащий один или более биометрических образцов или биометрических шаблонов.

Примечание - В настоящем стандарте под биометрическим образцом понимается набор из одного или более экземпляров полученных биометрических данных. Под данное определение попадают также мультиобразцовые и мультимодальные биометрические данные. Определение контейнеров мультимодальных биометрических данных, за исключением мультиэкземплярных данных, в стандартах ИСО/МЭК 19794 не дается. Включение в область применения настоящего стандарта мультиобразцовых и мультимодальных биометрических данных основывается на том, что подсистемы формирования и сравнения ББД рассматриваются в настоящем стандарте как блоки с неизвестными свойствами (так называемые "черные ящики").


Пример 1 - СББД может содержать соответствующий стандарту ИСО/МЭК 19794-2 шаблон минуций отпечатка пальца.

Пример 2 - СББД может содержать три соответствующих стандарту ИСО/МЭК 19794-5 условных фронтальных изображения лица, полученных от субъекта в трех различных случаях.

Пример 3 - СББД может содержать соответствующее стандарту ИСО/МЭК 19794-6 изображение радужной оболочки глаза и соответствующие стандарту ИСО/МЭК 19794-10 данные геометрии контура кисти руки, объединенные в ЕСФОБД, соответствующую стандарту ИСО/МЭК 19785-1.

4.16 стандартный формат обмена данными; СФОД (standard interchange format): Формат, установленный в стандарте ИСО/МЭК 19794 или в любой другой общедоступной спецификации форматов биометрических данных.

4.17 достаточность (sufficiency): Мера соответствия эксплуатационных характеристик однородной биометрической системы при использовании стандартного формата обмена данными предъявленным требованиям.

Примечание 1 - Достаточность может быть определена относительно эксплуатационных характеристик фирменной продукции или каких-либо конкретных значений эксплуатационных характеристик, например "стандартный формат обмена данными достаточен для достижения вероятности равных ошибок* менее 2%" или "стандартный формат обмена данными достаточен для достижения вероятности равных ошибок не более чем в 1,5 раза больше, чем в случае использования фирменных форматов".
_______________
* Под вероятностью равных ошибок понимается вероятность ошибок биометрической системы, при которой ВЛД и ВЛНД равны.


Примечание 2 - Оценка достаточности проводится с целью определения, содержит ли стандарт обмена данными достаточно информации для достижения биометрической системой эксплуатационных характеристик, сопоставимых с эксплуатационными характеристиками при использовании существующих фирменных форматов.

Примечание 3 - Достаточность стандартного формата обмена данными зависит от предполагаемого приложения. Формат обмена данными, являющийся достаточным для высококачественных изображений или для получения вероятности равных ошибок 1%, может быть недостаточен для изображений низкого качества или при более строгих требованиях к точности работы биометрической системы. Тем не менее любой случай обнаружения недостаточности указывает на то, что либо СФОД был неспособен описать те же данные, что были описаны с помощью фирменного формата, либо СФОД не был использован для получения наилучших эксплуатационных характеристик.

4.18 поставщик (supplier): Исследователь, коммерческое предприятие, организация или учреждение, предоставляющее устройство получения биометрических данных, подсистему формирования или сравнения ББД.

5 Обозначения и сокращения

В настоящем стандарте применены следующие обозначения и сокращения:

ПИП (API) - программный интерфейс приложения;

УПБД (BCD) - устройство получения биометрических данных;

ББД (BDB) - блок биометрических данных;

ЕСФОБД (CBEFF) - единая структура форматов обмена биометрическими данными (согласно ИСО/МЭК 19785);

СФОД (SIF) - стандартизованный формат обмена данными;

ПББД (cBDB) - полученный блок биометрических данных;

СББД (sBDB) - стандартизованный блок биометрических данных;

ФФ (PF) - фирменный формат;

ФББД (pBDB) - фирменный блок биометрических данных;

ВЛД (FAR) - вероятность ложного допуска;

ВЛНД (FRR) - вероятность ложного недопуска;

ВЛС (FMR) - вероятность ложного совпадения;

ВЛНС (FNMR) - вероятность ложного несовпадения;

ВОСД (FTA) - вероятность отказа сбора данных;

ВОР (FTE) - вероятность отказа регистрации;

ВЛОИ (FNIR) - вероятность ложноотрицательной идентификации;

ВЛПИ (FPIR) - вероятность ложноположительной идентификации;

ОВЛН (GFAR) - обобщенная вероятность ложного допуска;

ОВЛНД (GFRR) - обобщенная вероятность ложного недопуска.

Примечание 1 - В случае испытаний на совместимость шаблона отпечатка пальца, возможно, удобнее заменить термин СББД термином "стандартный экземпляр шаблона". Термин СББД введен для того, чтобы настоящий стандарт был применим в общем случае для любых стандартизованных сигналов, изображений и шаблонов.

Примечание 2 - Определения для ВЛД, ВЛНД, ВЛС, ВЛНС, ВОСД, ВОР, ВЛОИ и ВЛПИ приведены в разделе 4 стандарта ИСО/МЭК 19795-1. Определения для ОВЛН и ОВЛНД приведены там же в пункте 8.3.4.

6 Задачи

6.1 Предел совместимости

Программа и методика испытаний, протокол испытаний должны содержать сведения о конкретных исследованных аспектах совместимости.

Протокол испытаний должен включать в себя число поставщиков, предоставивших различные компоненты, необходимые для целевого приложения. В ходе испытаний должна быть определена достаточность, совместимость или обе характеристики одновременно. В программе и методике испытаний и протоколе испытаний должны быть определены цели испытаний в соответствии со следующим обзором.

Пример - Шесть поставщиков предоставили подсистемы формирования ББД изображений лица условного фронтального типа, соответствующие стандарту ИСО/МЭК 19794-5. Каждый поставщик объединился с поставщиком алгоритма сжатия изображений JPEG 2000, соответствующего стандарту ИСО/МЭК 15444. Четыре поставщика подсистемы формирования ББД применили алгоритм сжатия изображений поставщика А, другие два поставщика применили алгоритм сжатия изображений поставщика В. Во всех случаях изображение лица было получено с помощью устройства получения биометрических данных поставщика X. Полученные изображения были сохранены без применения алгоритмов сжатия. Подсистемы формирования ББД шести поставщиков были использованы для получения изображений лиц условного фронтального типа, представляющих собой образцы для регистрации. Подсистемы сравнения ББД тех же шести поставщиков были использованы для сравнения изображений лица условного фронтального типа, созданных подсистемами формирования ББД, с исходными полученными изображениями, представляющими собой образцы для распознавания.

Рисунок 1 - Обобщенная схема реализации совместимости биометрических систем

Примечание 1 - Блоки СББД на рисунке 1 могут быть заменены блоками ФББД, за исключением тех случаев, когда ФББД не включены в испытания на совместимость формата данных ни на этапе регистрации, ни на этапе верификации или идентификации. В случае использования ФББД пересекающиеся стрелки, изображающие процесс обмена данными, будут отсутствовать.

Примечание 2 - Для систем идентификации блок "Степень схожести" может быть заменен блоком "Список кандидатов".

Примечание 3 - Как указано в пункте 7.2.2, каждому устройству или компоненту (показанных на рисунках в виде блоков светло-серого цвета) в общем случае будет свойственна соответствующая вероятность ошибки обработки.

Примечание 4 - На рисунке 1 и последующих рисунках устройства получения биометрических данных показаны в качестве устройств формирования полученных СББД (которыми обычно являются необработанные изображения), которые благодаря совместимости могут быть использованы всеми подсистемами формирования ББД. На рисунке 2 показан один из вариантов данной конфигурации, когда УПБД и подсистема формирования ББД объединены только посредством внутреннего нестандартизованного потока данных.

Рисунок 1 - Обобщенная схема реализации совместимости биометрических систем

Рисунок 1 демонстрирует основные вопросы совместимости биометрических систем: для получения данных применяются различных устройств получения биометрических данных, эти данные преобразуются в СББД и регистрируются подсистемами формирования ББД и в дальнейшем передаются в подсистем сравнения. Эти СББД сравниваются с СББД для верификации или идентификации, собранными устройствами получения биометрических данных и преобразованными в СББД подсистемами формирования ББД.

Рисунок 2 - Особая схема реализации совместимости биометрических систем: ББД для регистрации является стандартизованным

Примечание - В некоторых приложениях устройство получения биометрических данных и подсистема формирования ББД могут быть объединены. Это возможно в случае, если нет необходимости хранить полученные образцы. Поставщик устройства получения биометрических данных может объединиться с одним или более поставщиками подсистем формирования ББД или наоборот. Если подсистема формирования ББД спроектирована или настроена для работы с конкретным устройством получения биометрических данных, то при таком объединении возможно улучшение ее эксплуатационных характеристик; в данном случае объединение является предпочтительнее использования всех возможных устройств получения биометрических данных.

Рисунок 2 - Особая схема реализации совместимости биометрических систем: ББД для регистрации является стандартизованным

Некоторые особые варианты реализации совместимости, отличные от изображенной на рисунке 1, рассмотрены ниже.

Типичная схема реализации совместимости в случае биометрической системы коммерческого применения показана на рисунке 2: компоненты верификации или идентификации формируют ФББД, который сравнивается с СББД, использованным при регистрации. Аналогично происходит в случае хранения идентификационной информации в виде СББД для осуществления верификации вне смарт-карты (т.е. внешним алгоритмом, не интегрированным в микросхему смарт-карты, пример см. в [1]).

Также возможна противоположная ситуация, когда ФББД, использованный при регистрации, сравнивается с СББД, например, для осуществления верификации внутри смарт-карты (т.е. внутренним алгоритмом, интегрированным в микросхему смарт-карты). Данная ситуация показана на рисунке 3.

Рисунок 3 - Особая схема реализации совместимости биометрических систем: ББД для регистрации является фирменным

Рисунок 3 - Особая схема реализации совместимости биометрических систем: ББД для регистрации является фирменным

При испытаниях в режиме отложенного задания (пример см. [2]) или в случае, если сбор данных происходит отдельно от остальных этапов, применима схема, показанная на рисунке 4. Необходимо отметить, что ББД регистрации или ББД верификации (но не оба одновременно) могут быть ФББД.

Рисунок 4 - Испытания на совместимость в режиме отложенного задания

Примечание 1 - Совместимость устройств получения данных может быть испытана в том случае, если образцы из базы данных образцов для верификации или идентификации получены от другого устройства получения данных, в отличие от образцов из базы данных образцов для регистрации.

Примечание 2 - На рисунке 4 на одном из этапов (но не на обоих одновременно) вместо СББД могут быть использованы ФББД (как показано на рисунке 3). Если ФББД использовались на обоих этапах, то это случай обычных технологических испытаний одного из типов, описанных в стандарте ИСО/МЭК 19795-2 в разделе 6.

Рисунок 4 - Испытания на совместимость в режиме отложенного задания

В случае, если целью испытаний является оценка влияния устройства получения биометрических данных на эксплуатационные характеристики всей биометрической системы (пример см. [3]), может быть использована единственная подсистема формирования ББД и подсистема сравнения ББД, как показано на рисунке 5. Несмотря на то, что такой вид испытаний совместимости устройства получения биометрических данных может не включать в себя обмен СББД, он соответствует определению степени совместимости, данному в подразделе 4.11, и это важно, поскольку оценка эксплуатационных характеристик устройства получения биометрических данных происходит с точки зрения вероятностей ошибки распознавания, а не характеристик формирования изображений.

Рисунок 5 - Схема реализации совместимости устройств получения биометрических данных

Примечание - На рисунке 5 представлен частный случай схемы реализации совместимости устройств получения биометрических данных, так как на нем изображена единственная подсистема сравнения ББД, что является минимальным требованием при сравнении устройств получения биометрических данных. На практике в испытания может быть включено больше подсистем сравнения ББД, и тогда данная схема будет похожа на схему, изображенную на рисунке 1.

Рисунок 5 - Схема реализации совместимости устройств получения биометрических данных

6.2 Целевое приложение

6.2.1 Биометрическое приложение

6.2.1.1 Определение транзакции

В программе и методике испытаний и протоколе испытаний должны быть описаны испытания верификации или идентификации, осуществляемые для имитации одного или более целевых приложений.

В программе и методике испытаний и протоколе испытаний должно быть определено, что собой представляет транзакция. Для транзакции в режиме реального времени данная информация определяет, каким образом происходит взаимодействие пользователя с устройством получения биометрических данных, сколько пользователю доступно попыток, предоставляется ли пользователю обратная связь и вид этой обратной связи и становится ли пользователю известно решение, выдаваемое какой-либо подключенной подсистемой сравнения ББД.

Для транзакции в режиме отложенного задания данная информация должна устанавливать число образцов, служащих в качестве входных данных для испытуемых компонентов, порядок их предоставления и любые непредвиденные обстоятельства, связанные с их предоставлением.

Примечание 1 - Стандарт ИСО/МЭК 19795-1 определяет термин "транзакция" в разделе 4.

Примечание 2 - При проведении испытаний в режиме отложенного задания порядок действий, составляющих транзакцию в режиме реального времени на этапе, предшествующем этапу сбора данных, может быть изменен, что может помочь при оценке эксплуатационных характеристик на практике в режиме отложенного задания.

Примечание 3 - Аналогично большинству эксплуатационных испытаний в биометрии в процессе испытаний совместимости, при которых разрешены множественные попытки, как правило, наблюдается меньшая вероятность ложного недопуска, чем при испытаниях, при которых разрешена только единственная попытка, поскольку в этом случае в испытаниях задействовано большее число образцов. При испытаниях совместимости множественные попытки могут скрывать основную проблему совместимости.


Пример 1 - В процессе испытаний в режиме реального времени транзакция может быть определена таким образом, что пользователи могут сделать не больше трех попыток с предоставлением решения о доступе (да/нет) после каждой попытки.

Пример 2 - В процессе испытаний в режиме отложенного задания модулю распознавания лица может быть предоставлено не более трех изображений пользователя. Каждое из них может быть использовано при попытке идентификации. Предоставление второго и третьего изображения происходит только после получения запроса от испытуемого модуля.

Пример 3 - Пример испытаний на совместимость для целевого приложения приведен в приложении В.

6.2.1.2 Протоколирование результатов испытаний для систем идентификации

Некоторые биометрические системы могут использовать для регистрации ББД, сформированные более чем одним поставщиком. Это может произойти, например, в том случае, если процесс формирования СББД отделен от функционирования базы данных регистрационных образцов. В подобных случаях в процессе идентификационного поиска обрабатываются ББД из различных источников, что может усложнить процесс анализа. Поэтому программа и методика испытаний и протокол испытаний должны включать в себя сведения о том, подготовлены ли образцы для регистрации продукцией одного поставщика или нескольких. В протоколе испытаний должна быть указана доля ББД для регистрации от каждой подсистемы формирования ББД и общее их число.

Примечание - Некоторые идентификационные приложения могут в действительности использовать для регистрации СББД из разных источников. Для таких приложений требуются анализ и методы испытаний, выходящие за рамки содержания настоящего стандарта (и в частности процедур, описанных в пункте 8.8.1.3).

6.2.2 Приложение, использующее разнородную биометрическую систему

6.2.2.1 Определение предела совместимости

Программа и методика испытаний и протокол испытаний должны однозначно устанавливать пределы оцениваемой совместимости.

Пример 1 - Приложение биометрического контроля при пересечении границы включает в себя сравнение регистрационного СББД из паспорта той страны, которая его выдала, с верификационным образцом, полученным в точке въезда в принимающую страну. Страна использует единственное устройство получения биометрических данных и подсистему сравнения ББД. В целях определения лучшего поставщика проводятся испытания продуктов нескольких поставщиков. В процессе испытаний размерность пространства совместимости равна двум, после внедрения системы - единице.

Определение предела совместимости может быть следующим: "В процессе данных испытаний будут определены эксплуатационные характеристики верификации при помощи данных, полученных от следующих источников:

1) набора из одной или более объединенных камер и подсистем формирования СББД, настроенных для осуществления регистрации;

2) набора из одной или более объединенных камер, подсистем формирования ФББД и подсистем сравнения ББД, настроенных на получение данных в режиме реального времени в кабине иммиграционного контроля. Вторая система сравнивает зарегистрированный СББД с данными образца, полученными в режиме реального времени, и выносит решение".

Пример 2 - Две компании финансовых услуг объединяются, каждая из них сохраняет свою систему установленных устройств получения изображений отпечатков пальцев и подсистему сравнения ББД, которые используются для логического доступа. После объединения все оборудование сохраняется, но программное обеспечение для формирования ФББД заменяется на программное обеспечение для формирования СББД. Новая объединенная компания проводит испытания, направленные на выявление каких-либо ухудшений эксплуатационных характеристик. Подходящей матрицей совместимости является матрица размером 2х2х2. Определение области применения может быть следующим: "В процессе данных испытаний будут определены эксплуатационные характеристики верификации при помощи данных, полученных от следующих источников:

1) набора из двух объединенных устройств получения биометрических данных и устройств извлечения данных о минуциях, создающего из изображений шаблоны для регистрации;

2) того же набора из двух объединенных устройств получения биометрических данных и устройств извлечения данных о минуциях, создающего шаблоны для верификации;

3) набора из двух подсистем сравнения ББД, производящих сравнение регистрационных и верификационных шаблонов".

6.2.2.2 Размерность пространства совместимости

Как описано в подразделе 6.1, приложение, использующее разнородную биометрическую систему, включает в себя обмен данными между комбинациями продуктов разных поставщиков. Проблема совместимости, продемонстрированная на рисунке 1, может быть рассмотрена как пятимерная. Результаты испытаний на совместимость можно рассматривать как занимающие пространство совместимости такой размерности, сколько в целевом приложении существует классов устройств и компонентов, которые одновременно не имеют одного источника, не являются фирменными и совместимость которых неизвестна. Пример пространства совместимости приведен на рисунке 6.

Рисунок 6 - Пример пространства совместимости

Рисунок 6 - Пример пространства совместимости

На практике в процесс испытаний можно исключать или добавлять различные совместимые компоненты для должного воспроизведения целевого приложения. Размерность пространства совместимости должна быть записана в протоколе испытаний.

Пример 1 - Размерность пространства совместимости на рисунке 1 равна пяти. Каждый поставщик группы А производит устройство получения биометрических данных десяти пальцев для регистрации, каждый поставщик группы В формирует регистрационные шаблоны в соответствии со стандартом ИСО/МЭК 19794-8, каждый поставщик группы С сравнивает их с верификационными шаблонами, предоставленными каждым поставщиком группы D, сформированными из изображений, полученных каждым поставщиком устройства получения биометрических данных одного пальца группы Е.

Пример 2 - Размерность пространства совместимости на рисунке 2 равна трем. Каждый поставщик группы А производит камеру для получения изображения лица, чьи выходные данные каждым поставщиком группы В преобразуются в условные фронтальные изображения лица в соответствии со стандартом ИСО/МЭК 19794-5, которые в дальнейшем каждый поставщик подсистемы сравнения ББД группы С сравнивает с ФББД, полученными с помощью устройства, объединяющего камеру и блок извлечения признаков и предоставленного поставщиком группы С.

Пример 3 - Размерность пространства совместимости на рисунке 3 равна трем. Каждый поставщик устройства получения биометрических данных отпечатка пальца группы А объединяется с каждым поставщиком подсистемы формирования фирменного шаблона группы В для занесения информации в смарт-карту, владелец смарт-карты может быть верифицирован путем сравнения данного шаблона поставщиком подсистемы сравнения ББД внутри смарт-карты группы В с шаблоном минуций, полученным от каждого поставщика подсистемы формирования шаблонов группы С в соответствии со стандартом ИСО/МЭК 19794-2.

Пример 4 - Размерность пространства совместимости на рисунке 4 в случае, указанном в примечании 2, равна двум. Каждый поставщик группы А преобразует изображения радужной оболочки глаза из базы данных в шаблоны радужной оболочки глаза в полярных координатах, соответствующие стандарту ИСО/МЭК 19794-6, каждый поставщик группы В может их сравнить с фирменными шаблонами, которые он сформировал из других хранимых изображений.

Пример 5 - Размерность пространства совместимости на рисунке 5 равна двум. Каждый поставщик группы А получает изображения радужной оболочки глаза для регистрации, которые затем преобразуются в шаблоны радужной оболочки глаза для регистрации, каждый поставщик группы В регистрирует изображения радужной оболочки глаза для распознавания, которые затем преобразуются в шаблоны радужной оболочки глаза для распознавания и сравниваются с помощью одной подсистемы сравнения ББД*
_______________
* В оригинале ИСО/МЭК 19795-4 для рисунка 5 ошибочно приведен пример для рисунка 4.

Пример 6 - Наиболее распространенный случай совмещения в коммерческих биометрических системах, когда производители подсистем формирования ББД объединяются с производителями устройств получения биометрических данных для поставки законченного продукта. Поскольку каждый поставщик групп А и В производит продукты регистрации и верификации, то, соответственно, в этом случае размерность пространства совместимости равна двум.

6.2.2.3 Число продуктов

Для каждого измерения пространства совместимости в приложении с использованием разнородной биометрической системы в испытаниях может принять участие множество поставщиков. Число поставщиков и число предоставленных ими продуктов должно быть указано в протоколе испытаний.

Пример 1 - Для испытаний предоставлено два устройства получения биометрических данных отпечатков пальцев для регистрации, пять подсистем формирования шаблонов-остовов в соответствии со стандартом ИСО/МЭК 19794-8, три подсистемы сравнения ББД и шесть устройств получения биометрических данных одного пальца для верификации. В соответствии с рисунком 1 число продуктов равно: 2, 5, 3 и 6.

Пример 2 - В режиме отложенного задания проводятся испытания шаблона минуций отпечатка пальца, соответствующего стандарту ИСО/МЭК 19794-2. Для создания базы данных образцов использовано единственное универсальное устройство получения биометрических данных. Целью испытаний является оценка базовой совместимости подсистем сравнения ББД при помощи только СББД. Два поставщика предоставляют подсистемы формирования шаблонов для регистрации, четыре поставщика предоставляют подсистемы формирования шаблонов для верификации, а три поставщика предоставляют подсистемы сравнения ББД. Число продуктов равно: 2, 4, 3, 1, поскольку совместимость устройства получения биометрических данных гарантирована соответствием техническим требованиям к получению изображений.

6.3 Назначение испытаний

6.3.1 Испытания на совместимость

Испытания на совместимость проводят для численного определения или сравнения эксплуатационных характеристик при обмене стандартизованными данными в случае, когда устройства получения биометрических данных применяются по очереди, или в случае, когда ФББД сравниваются с СББД.

Целями испытаний могут являться:

a) получение оценки степени совместимости;

b) развитие нормативно-технической базы и стандартов форматов обмена биометрическими данными, в рамках которого разрабатываются стандарты форматов обмена биометрическими данными, производятся и испытываются подсистемы формирования и сравнения ББД и достигается единое мнение по вопросу о необходимости модификации стандартов, после чего стандарты обновляются. Каждый этап таких испытаний включает в себя испытания типа а);

c) сертификация группы продуктов как совместимых путем использования оценки эксплуатационных характеристик разнородных биометрических систем, полученных в процессе испытаний типа а);

d) определение эксплуатационных характеристик при работе с одной или несколькими подсистемами, которые ранее по результатам испытаний типа с) были признаны совместимыми. Данные испытания проводят в том случае, если один или более продуктов необходимо оценить в целях включения их в перечень продуктов с подтвержденной совместимостью;

e) прогнозирование реальных эксплуатационных характеристик;

f) оценка технической возможности замены компонентов биометрической системы одного поставщика компонентами другого поставщика.

Тип испытаний должен быть указан в протоколе испытаний. Указанные типы испытаний на совместимость описаны в последующих разделах настоящего стандарта.

Примечание 1 - Наиболее подходящими для оценки эксплуатационных характеристик разнородной биометрической системы при практическом применении являются сценарные и оперативные испытания. Испытания типа е) должны, таким образом, проводиться с использованием выборки субъектов, совершающих попытки верификации или идентификации так, как это определено в стандарте ИСО/МЭК 19795-2 для сценарных испытаний. Однако объем выборки при сценарных испытаниях часто ограничен наличием средств, поэтому следует ожидать соответствующего увеличения степени неопределенности измеренных эксплуатационных характеристик. В этом случае возможно проведение испытаний типа е), которые осуществляются полностью в режиме отложенного задания посредством использования существующей базы данных образцов. Точность прогноза эксплуатационных характеристик при проведении подобных испытаний зависит от степени репрезентативности используемых данных для конкретного приложения.

Примечание 2 - В том случае, если СФОД подвергся значительным поправкам, то более подходящими являются испытания типа а), b) и с). Поправки вносят в стандарт в том случае, если существующие степень совместимости, достаточность совместимости, совместимые продукты, перечни продуктов с подтвержденной совместимостью и действующие СББД становятся устаревшими. При таких обстоятельствах проведение испытаний типа d) нецелесообразно.

Примечание 3 - Необходимость в проведении испытаний типа f) может возникнуть по таким причинам, как, например, прекращение предоставления некоторого компонента поставщиком, по причине недопустимости значений эксплуатационных характеристик, наблюдаемых при практическом применении, или по причине того, что стоимость эксплуатации системы стала слишком высокой. Целью испытаний является оценка эксплуатационных характеристик системы до и после замены компонента. Данная цель может предполагать асимметрию в задачах испытаний: эксплуатационные характеристики компонента поставщика группы В при работе с данными поставщика группы А представляют интерес, в то время как эксплуатационные характеристики компонента поставщика группы А при работе с данными поставщика группа В - нет.

6.3.2 Испытания на достаточность

Достаточность является мерой эксплуатационных характеристик продуктов, использующих стандартизованные технологии (СФОД, СББД и т.п.), по сравнению с эксплуатационными характеристиками полностью фирменных реализаций продуктов (использующих ФББД и т.п.). Испытания на достаточность могут быть проведены в том случае, если стандарт обмена данными был заново разработан или подвергся значительным поправкам (для шаблонов отпечатков пальцев см. [2]). Для проведения испытаний на достаточность требуется по крайней мере одна подсистема формирования ФББД и одна подсистема сравнения ФББД. Для сравнения фирменных и стандартизованных форматов требуется, чтобы данные ФББД и СББД были сформированы из общих ПББД. Испытания, таким образом, должны включать в себя этап проведения сравнений в режиме отложенного задания.

Примечание 1 - Данные испытания могут быть проведены при участии единственного поставщика. Подобные испытания позволят оценить только достаточность СФОД путем оценки эксплуатационных характеристик при использовании СФОД по отношению к эксплуатационным характеристикам при использовании фирменных компонентов. Несмотря на то, что получение результатов испытаний на достаточность при участии единственного поставщика формально согласуется с настоящим стандартом, в случае участия в испытаниях множества поставщиков результаты испытаний будут более надежными и устойчивыми к ошибкам.

Примечание 2 - На рисунке 7 не показан обмен СББД между подсистемами формирования и сравнения ББД, поскольку для испытаний на достаточность необходимо осуществление сравнений только для однородных компонентов (т.е. компонентов, предоставленных одним поставщиком). В данном случае .

Рисунок 7 - Испытания на достаточность: сравнение фирменных и стандартных форматов обмена данными

Рисунок 7 - Испытания на достаточность: сравнение фирменных и стандартных форматов обмена данными

7 Система показателей

7.1 Общие сведения

В программе и методике испытаний и протоколе испытаний должна быть указана цель испытаний: испытания на совместимость, испытания на достаточность или испытания обеих характеристик. В случае испытаний на совместимость в протоколе испытаний должны быть указаны значения стандартизованных эксплуатационных характеристик для всех ячеек пространства совместимости, находящихся в установленных пределах совместимости.

Примечание - Информация о соответствии испытаний требованиям настоящего стандарта со ссылкой на стандарт ИСО/МЭК 19795-2 представлена в разделе 2 настоящего стандарта.

7.2 Показатели качества

7.2.1 Показатели качества распознавания

Значения эксплуатационных характеристик для определения совместимости и достаточности должны быть определены с точки зрения одного или более основных показателей качества. Данные показатели должны быть выбраны таким образом, чтобы они были значимыми для эксплуатации системы и адекватно представляли ее эксплуатационные характеристики.

Примерами показателей качества являются:

- для верификации - ОВЛНД при установленной ОВЛД - обязательные показатели, см. ниже;

- для верификации: ВЛНД при установленной ВЛД;

- для верификации: ВЛД при установленной ВЛНД;

- для верификации: ОВЛД при установленной ОВЛНД;

- для верификации: вероятность равных ошибок;

- для верификации: ВЛД и ВЛНД для установленного порога принятия решения подсистемы сравнения ББД;

- для идентификации: ВЛОИ при установленной ВЛПИ;

- для идентификации: ВЛПИ при установленной ВЛОИ.

При испытаниях на совместимость систем верификации ОВЛНД при установленной ОВЛД является одним из обязательных показателей качества вследствие того, что продукты разных поставщиков могут выдать ошибку на различных стадиях обработки, и в целях сравнения необходимо включить все источники ошибок обработки в показатели эксплуатационных характеристик.

Пример 1 - Удовлетворяющим требованиям показателем качества для системы распознавания по лицу является ВЛНД при ВЛД=0,01.

Примечание 1 - Число подсистем, соответствующих конкретному критерию совместимости, может измениться в зависимости от настроек порога принятия решения. Этого можно избежать путем проведения испытаний с учетом требований к эксплуатационным характеристикам, как, например, ВЛД=0,01, что будет иметь эффект фиксирования порога принятия решения. В случае отсутствия подобных данных в протоколе испытаний должны быть указаны показатели совместимости для нескольких эксплуатационных режимов (рабочих точек).


Пример 2 - В протоколе испытаний указывают ВЛНД при ВЛН=0,0001, 0,001 и 0,01.

Примечание 2 - Результаты испытаний на совместимость (с получением либо абсолютных, либо относительных значений эксплуатационных характеристик) необязательно отражают степень совместимости для других приложений или при других условиях эксплуатации.

Примечание 3 - Показатели, указанные выше, соответствуют одиночным точкам на кривой компромиссного определения ошибки (КОО) и могут быть использованы на практике в том случае, если в подсистеме сравнения ББД можно предварительно настроить соответствующий порог принятия решения. Более общие статистические характеристики, такие как площадь области под кривой рабочей характеристики (РХ) (один минус площадь области под кривой КОО) и статистика d', не могут быть использованы на практике, так как вычисляются независимо от используемого порога принятия решения. Такие характеристики могут быть использованы в двух случаях: в первом случае в качестве показателя потенциальных возможностей биометрической характеристики, связанного с биометрическими признаками, соответствующими образцами и алгоритмом, применяемым для их обработки; во втором случае - когда степень, до которой система способна к совместимости (см. подраздел 7.3), считается зависимой от порога принятия решения, а ее итоговое значение может быть использовано в качестве характерного (т.е. не зависящего от приложения) статистического показателя эксплуатационных характеристик.

Примечание 4 - Для испытаний на совместимость массовых коммерческих биометрических продуктов, которые не предоставляют степеней схожести и не имеют возможности настройки порога принятия решения, может потребоваться показатель качества, который принимает во внимание и ОВЛНД, и то, находится ли ОВЛД в рамках диапазона приемлемых значений; например, показатель качества :

Примечание 5 - При испытаниях систем идентификации может оказаться целесообразным исследование и построение кривой КОО в координатах (время обработки, размер ББД).

Примечание 6 - Показатели систем идентификации, такие как доля совпадений подлинных лиц с рангом ниже или равном (в соответствии с кривой характеристики совокупной схожести), также удовлетворяют требованиям и могут быть включены в качестве дополнения в перечень показателей качества, приведенный выше.

Примечание 7 - Дополнительные вероятности ошибок (например, вероятность истинного допуска ВИД=1-ВЛНД) не включены в перечень показателей качества по той причине, что описание в разделах, в которых используются термины, обозначающие неравенство (например, "менее чем"), необходимо будет исправить на противоположное (например, на "более чем") и данная операция является тривиальной.

Методы интерпретации и анализа подобных показателей качества (например, количественно выражающих степень совместимости) определены в разделе 9 настоящего стандарта.

7.2.2 Оценка ошибок на уровне компонент

В общем случае любой компонент биометрической системы может выдать ошибку в процессе выполнения своей функции. Такие вероятности ошибок на уровне компонента должны быть оценены и указаны в протоколе испытаний в дополнение к обобщенным вероятностям ошибок при выполнении транзакций. Ошибка на уровне компонента может произойти на многих стадиях обработки, например, в процессе:

- получения изображения или сигнала,

- его обработки,

- контроля качества,

- приведения данных в соответствие со стандартами,

- кодирования шаблона,

- сравнения.

Данные стадии обработки не обязательно осуществляются отдельно друг от друга. Например, контроль качества может быть объединен со стадией обработки изображения или может быть побочным результатом стадии кодирования шаблона. Приведенные примеры соответствуют стадиям, указанным выше.

Пример 1 - Пользователь в перчатке пытается воспользоваться системой получения изображения сосудистого русла. Пользовательский интерфейс системы не предоставляет пользователю инструкций, система не обнаруживает проблему и не инициирует обратную связь.

Пример 2 - Алгоритм определения положения лица не может обнаружить лицо на изображении. Результатом является ошибка создания шаблона для верификации.

Пример 3 - Подсистема получения изображений радужной оболочки глаза получает изображение пользователя, выделяет на нем радужную оболочку левого глаза, производит вычисление ее площади и выдает ошибку, так как полученная площадь радужной оболочки глаза составляет 0,18 см, что меньше установленного в системе порогового значения.

Пример 4 - Подсистема формирования остова отпечатка пальца в соответствии со стандартом ИСО/МЭК 19794-8, разработанная для обработки изображений отпечатков пальцев, соответствующих стандарту ИСО/МЭК 19794-4, выдает ошибку в том случае, если в качестве входных данных поступает запись ANSI-NIST типа 4. Это ошибка вследствие синтаксического несоответствия.

Пример 5 - Блок извлечения минуций может возвратить код ошибки и не создать шаблон, соответствующий стандарту ИСО/МЭК 19794-2, в том случае, если невозможно найти во входном изображении более трех минуций.

Пример 6 - Подсистема сравнения ББД условных фронтальных изображений лиц, соответствующих стандарту ИСО/МЭК 19794-5, может выдать ошибку в том случае, если глаза на изображении не располагаются ни в одной из тех позиций, которые установлены в стандарте для изображений лица условного фронтального типа (то есть ошибка вследствие семантического несоответствия).

Ошибка компонента может произойти вследствие ошибки пользователя (как в примере 1), неправильной работы (как в примере 2), получения несоответствующих настройкам данных (как в примере 3) или неправильной работы предыдущего компонента (как в примере 4). Возникновение ошибок может зависеть от параметров входного изображения (как в примере 5). Некоторые ошибки могут остаться незамеченными (как в примере 6, где неверное расположение глаза может не воспрепятствовать вычислению результата сравнения, но может привести к выдаче заниженной степени схожести или решению о недопуске). Причина ошибки может остаться неизвестной, если компоненты в процессе испытаний рассматриваются как объекты с неизвестными свойствами ("черные ящики"), за исключением случаев, когда компонент указывает на ошибку при помощи соответствующего и документированного кода, сообщения или сигнала.

В процессе испытаний должны быть определены вероятности ошибки на уровне компонентов, результаты должны быть указаны в протоколе испытаний в дополнение к обобщенным вероятностям ошибок при выполнении транзакций.

Примечание 1 - Требование об испытаниях на соответствие всех СББД в пункте 8.3.2 необходимо по той причине, что подсистема сравнения ББД может обоснованно отказывать в обработке СББД, не соответствующего стандарту.

Примечание 2 - В процессе многих испытаний биометрических систем вычисляют только вероятности отказа регистрации и отказа сбора данных. В случае проведения испытаний на совместимость, при которых выходные данные одного поставщика используются в качестве входных данных для другого поставщика, для правильного понимания вероятностей ошибок требуется оценка ошибок на уровне компонентов.

Примечание 3 - Обобщенные вероятности ошибок при выполнении транзакции включают в себя все последствия ошибок на уровне компонентов. Обобщенные вероятности ошибок служат для того, чтобы биометрические системы, в которых ошибки происходят на разных стадиях обработки, могли быть объективно сопоставлены.

7.3 Матрицы совместимости

7.3.1 Общие сведения

Для каждой ячейки пространства совместимости, описанного в пункте 6.2.2.2, должна быть проведена оценка эксплуатационных характеристик и показателей качества разнородной биометрической системы в соответствии с разделом 8. Результатом данных испытаний будет являться одна или несколько матриц совместимости, которые должны быть включены в протокол испытаний. Методы обобщения и интерпретации матриц совместимости приведены в разделе 9.

7.3.2 Трехсторонняя совместимость с подсистемами формирования СББД

В случае, если испытания включают в себя сравнение ББД, создаваемых подсистемами формирования ББД различных поставщиков, протокол испытаний для каждой подсистемы сравнения ББД должен содержать матрицу в форме, представленной на рисунке 8. Элемент является показателем качества для подсистемы сравнения ББД , работающей с СББД для регистрации, предоставленным поставщиком , и СББД для верификации, предоставленным поставщиком .

Рисунок 8 - Матрица эксплуатационных характеристик различных подсистем формирования ББД для подсистемы сравнения ББД k

Рисунок 8 - Матрица эксплуатационных характеристик различных подсистем формирования ББД для подсистемы сравнения ББД

Примечание 1 - Индексы и обозначают подсистемы формирования СББД, индекс обозначает подсистему сравнения ББД.

Примечание 2 - Индексы 1, 2 и 3 обозначают отдельные продукты без упоминания поставщика. Множество поставщиков подсистем формирования ББД и множество поставщиков подсистем сравнения ББД могут не пересекаться. Матрица в общем случае будет прямоугольной и асимметричной.

Примечание 3 - В том особом случае, если поставщик подсистемы формирования ББД является также поставщиком и подсистемы сравнения ББД, элемент матрицы отражает эксплуатационные характеристики использования СББД от одного и того же поставщика. Интерпретацию результатов испытаний можно упростить, если данным объектам присвоить индексы строк и столбцов таким образом, чтобы они являлись диагональными элементами матрицы совместимости.

Примечание 4 - На рисунке 8 показан "вертикальный" слой второго ранга пространства совместимости третьего ранга, изображенного на рисунке 6. На нем также приведены показатели качества эксплуатационных характеристик для -й подсистемы сравнения ББД при работе с различными подсистемами формирования ББД.

Примечание 5 - Указание информации подобного типа для шаблонов отпечатков пальцев в случае каждого из четырнадцати поставщиков подсистем сравнения отпечатков пальцев описано в [2].

Примечание 6 - В том случае, если доступна "эталонная" подсистема сравнения ББД, то может быть составлена единственная таблица, включающая в себя эксплуатационные характеристики для различных комбинаций подсистем формирования СББД.

7.3.3 Двусторонняя совместимость с подсистемами формирования СББД

В процессе испытаний должны быть определены и указаны все показатели качества для всех пар подсистем формирования СББД и подсистем сравнения ББД. Для любого показателя качества должен быть использован символ , обозначающий эксплуатационные характеристики подсистемы сравнения ББД поставщика при работе с СББД поставщика , данные значения должны быть указаны в виде матрицы совместимости, изображенной на рисунке 9. В случае если поставщики должны предоставить объединенные подсистемы формирования сравнения ББД, то матрица совместимости будет квадратной, в противном случае матрица совместимости будет прямоугольной, а ее элементы будут иметь в качестве подписи разные индексы.

Рисунок 9 - Пример матрицы эксплуатационных характеристик

Примечание 1 - Элемент обозначает показатель качества подсистемы сравнения ББД при работе с ББД, полученными от подсистемы формирования ББД . Двойная обозначает, что в продукте реализовано как формирование, так и сравнение ББД.

Примечание 2 - Как указано в подразделе 6.1 в отношении рисунка 2 и рисунка 3, подсистема формирования ББД может создавать СББД или ФББД. Таким же образом подсистема сравнения ББД может сравнивать их с СББД или ФББД, но с ограничением, что один ФББД не может быть сравнен с другим ФББД.

Примечание 3 - Индексы 1, 2 и 3 обозначают отдельные продукты без упоминания поставщика. Множество поставщиков подсистем формирования ББД и множество поставщиков подсистем сравнения ББД могут не пересекаться. Матрица в общем случае будет прямоугольной.

Примечание 4 - В том особом случае, если поставщик подсистемы формирования ББД является также поставщиком и подсистемы сравнения ББД, то элемент матрицы отражает эксплуатационные характеристики однородной биометрической системы. Интерпретацию результатов испытаний можно упростить, если данным объектам присвоить индексы строк и столбцов таким образом, чтобы они являлись диагональными элементами матрицы совместимости.

Примечание 5 - Эксплуатационные характеристики однородной биометрической системы при использовании СФОД сравниваются с эксплуатационными характеристиками в случае применения полностью фирменной продукции для количественного определения достаточности, см. пункт 6.3.2.

Рисунок 9 - Пример матрицы эксплуатационных характеристик

7.3.4 Совместимость при различном пороге принятия решения

Матрицы эксплуатационных характеристик, показанные на рисунке 9, устанавливают показатели качества для подсистем сравнения поставщика А, работающих с экземплярами СББД, предоставленными поставщиками А, В, С и т.д. В случае верификации показателем качества может быть ВЛНД при установленной ВЛД. Однако если подсистема сравнения ББД поставщика А настроена для работы с фиксированным порогом принятия решения, то значения как ВЛД, так и ВЛНД будут варьироваться в зависимости от источника А, В, С экземпляров СББД. Реальная биометрическая система либо будет использовать фиксированный порог принятия решения для всех входных СББД, либо специально будет подстраивать порог принятия решения в зависимости от источника. Во втором случае ББД для регистрации должен быть связан со своим источником - подсистемой формирования ББД и должна быть доступна калибровка с указанием того, как должен быть настроен порог принятия решения. Для этого необходимо, чтобы в программе и методике испытаний на совместимость и в протоколе испытаний была изложена политика в отношении порога принятия решения для целевого приложения. В случае если приложение включает в себя пороги принятия решения, зависящие от источника, то матрицы эксплуатационных характеристик, показанной на рисунке 9, будет достаточно для описания эксплуатационных характеристик. В случае фиксированного порога принятия решения в протоколе испытаний должны быть указаны связанные с эксплуатационными характеристиками переменные при значении порога принятия решения, дающем установленное значение показателя качества для каждой конкретной системы.

Пример - Если поставщик X может сравнивать собственные СББД со значением ВЛНС=0,02 при установленном значении ВЛС=0,01, то в протоколе испытаний необходимо также указать значения ВЛНС и ВЛС для СББД поставщика Y. Как правило, оба эти значения будут отличаться от значений, полученных для однородной биометрической системы поставщика X, поэтому ВЛНС может быть равна 0,022, а ВЛС - 0,008.

7.3.5 Протоколирование ошибок подсистем формирования СББД

В том случае если подсистема формирования ББД не может создать СББД из входного образца, то результатом является отказ регистрации или отказ сбора данных. Данные ошибки необходимо обрабатывать в соответствии с требованиями, установленными в 7.2.3. Необходимо отметить, что в случае испытаний на совместимость результатом отказа регистрации станут изменения таких вероятностей ошибок, как ВЛНД и ВЛОИ для всех подсистем сравнения ББД. Вероятности отказа регистрации для каждой подсистемы формирования БДД должны быть указаны в протоколе испытаний.

Пример - Предположим, что подсистема формирования ББД не может или по каким-то причинам решает не преобразовывать 4% полученных изображений радужной оболочки глаза в экземпляры в полярных координатах, соответствующие стандарту ИСО/МЭК 19794-6. Даже в том случае, если подсистемы сравнения ББД смогут безошибочно выдать решение о недопуске для всех "самозванцев" и решение о допуске для всех истинных пользователей, то вероятность ложного недопуска все равно будет составлять 4%.

7.4 Эксплуатационные характеристики фирменной однородной биометрической системы

При испытаниях, в которых поставщик формирует и сравнивает собственные (возможно, не соответствующие стандарту) изображения, сигналы или шаблоны, должны быть рассчитаны все показатели качества. Для каждого показателя качества должен использоваться символ , обозначающий эксплуатационные характеристики подсистемы сравнения ББД поставщика при работе с собственными ФББД. Данные диагональные элементы матрицы эксплуатационных характеристик необходимы в том случае, если в процессе испытаний необходимо количественно определить достаточность; также они могут отражать максимально возможные эксплуатационные характеристики продуктов данного поставщика, полученные на использованной базе данных. Все данные значения должны быть указаны в протоколе испытаний в виде матрицы эксплуатационных характеристик фирменной однородной биометрической системы, показанной на рисунке 10.

Рисунок 10 - Матрица эксплуатационных характеристик фирменной однородной биометрической системы

Рисунок 10 - Матрица эксплуатационных характеристик фирменной однородной биометрической системы

Недиагональные элементы матрицы эксплуатационных характеристик фирменной однородной биометрической системы обычно отсутствуют, так как ФББД в общем случае являются несовместимыми. Оценить пределы совместимости таких фирменных продуктов можно, например, путем исследования фирменных экземпляров или посредством оценки результатов работы различных подсистем сравнения ББД с ФББД.

Примечание - Любые различия между эксплуатационными характеристиками при использовании ФББД и эксплуатационными характеристиками при использовании СББД могут быть следствием различий в вычислительных ресурсах, необходимых для подготовки данных экземпляров или для их сравнения (см. пункт 8.6.4).

8 Проведение испытаний

8.1 Структура испытаний

При испытаниях выполняются транзакции подлинных лиц и "самозванцев", которые могут осуществляться как в режиме реального времени, так и в режиме отложенного задания. Проверка достаточности должна быть основана на осуществлении транзакций в режиме отложенного задания. Испытания должны проводиться одним из следующих методов:

- полностью в режиме реального времени (с процессами получения данных и транзакциями верификации или идентификации как неотъемлемыми частями испытаний);

- гибридным методом, при котором процесс получения образцов является отдельной стадией перед стадией проведения транзакций верификации или идентификации;

- полностью в режиме отложенного задания (с использованием хранимых образцов).

В программе и методике испытаний и протоколе испытаний должна быть указана информация о том, какой из вышеуказанных методов применяется.

8.2 Данные образцов

8.2.1 Сбор данных

8.2.1.1 Общие сведения

Данные образцов для испытаний на совместимость могут быть собраны в режиме реального времени или могут быть уже доступны в режиме отложенного задания. Специальный сбор данных в режиме реального времени позволяет наилучшим образом собрать данные в условиях, типичных для приложения, и методом, типичным для протокола (например, три попытки). Сбор данных в режиме реального времени, как правило, является наилучшим способом для формирования базы данных для проведения испытаний, которые способны обеспечить наилучшее прогнозирование эксплуатационных характеристик системы при ее практическом применении. Данные, доступные в режиме отложенного задания, состоят из хранимых образцов данных, собранных ранее, возможно, при практическом применении. Они могут быть доступны в очень большом количестве.

Примечание - Испытания в режиме отложенного задания являются целесообразными в том случае, если в задачи испытаний входят исследование случаев низкого уровня совместимости, анализ пределов применимости СФОД или сравнение функциональных характеристик алгоритмов. Испытания в режиме отложенного задания можно повторять, они могут применяться для очень больших выборок и осуществляться с проверенными или обработанными лабораторными данными.

8.2.1.2 Сбор данных в режиме отложенного задания

Данные, доступные в режиме отложенного задания и используемые в испытаниях на совместимость, могут быть получены в процессе сбора данных, не имеющем отношения к данному испытанию, или могут быть собраны специально для испытаний. Доступные в режиме отложенного задания данные, для которых устройство получения биометрических данных неизвестно, не должны использоваться в процессе испытаний, проводимых с целью сравнения устройств получения биометрических данных или с целью испытаний устройств получения биометрических данных на совместимость.

Если некоторые образцы данных были исключены из выборки после сбора данных и до передачи выборки испытательной организации, то испытания должны проводиться только в том случае, если доля отбракованных таким образом образцов известна, указана и может быть использована в расчетах, приведенных в пункте 7.2.2.

Пример - Некоторые устройства получения биометрических данных включают в себя алгоритмы оценки качества, предоставленные поставщиком, и отбраковывают (не могут получить) образцы по причине того, что они не подходят для последующего сравнения.

8.2.1.3 Сбор данных в режиме реального времени

Если в процессе испытаний необходимо получать образцы в режиме реального времени, то сбор данных должен соответствовать требованиям стандарта ИСО/МЭК 19795-2 к процессу сбора данных в режиме реального времени. Однако процесс сбора данных не должен включать в себя процессы биометрической верификации или идентификации в том случае, если транзакции верификации или идентификации будут осуществлены позднее в режиме отложенного задания. Реализация указанного подхода называется гибридными испытаниями.

Примечание - В разделе 7 стандарта ИСО/МЭК 19795-1 установлены требования и дано руководство по сбору данных.

8.2.1.4 Гибридный сбор данных

Подробное описание внешних условий и обстоятельств, при которых осуществляется сбор данных в режиме реального времени, должно включаться в протокол испытаний. Данная информация обеспечит возможность "повтора" в режиме отложенного задания последовательности действий, производимых во время попыток регистрации, верификации или идентификации. Это важно при испытаниях на совместимость для гарантии того, что проведенные испытания подсистем формирования СББД и подсистем сравнения ББД каждого поставщика со всеми образцами являются объективными и повторяемыми. В программе и методике испытаний должны быть установлены процедуры и форматы данных, которые необходимы для осуществления транзакций. В них должны входить форматы и метки для фиксирования временной последовательности действий пользователя (например, прикладывание пальца), ответов устройства получения биометрических данных (например, результаты обратной связи при распознавании), хранения образцов и признаков.

8.2.1.5 Испытания эксплуатационных характеристик устройства получения биометрических данных

Сбор данных в режиме реального времени должен производиться в том случае, если цели испытания включают в себя испытания совместимости компонента устройства получения биометрических данных. Данному требованию не обязательно соответствовать, если существует доступная в режиме отложенного задания база данных и известно устройство получения этих биометрических данных.

8.2.2 Репрезентативность данных

При испытаниях в режиме отложенного задания должна использоваться база данных образцов, содержащая, как правило, два образца от каждого субъекта, являющихся репрезентативными для заданного приложения. Ценность результатов испытаний может быть увеличена, если в испытаниях используются данные из других источников, не включенных в целевое приложение. Это особенно верно в случае недавно стандартизованных форматов, для которых ограниченно проводились общедоступные испытания. Испытательная организация может повторить испытания, установленные в данном стандарте, используя специализированные наборы данных, связанные с конкретным приложением, и отчитаться по каждому случаю повторения (см. также 8.6.4).

8.2.3 Сбор дополнительных данных

Если организация, осуществляющая испытания, может выделить такие дополнительные переменные, как возраст субъекта или условия, при которых осуществлялся сбор данных, и при этом их влияние на совместимость либо заранее известно, либо прогнозируемо, либо необходимо определить, то в испытания необходимо включить дополнительные тесты и исследования.

При разработке испытаний в обязательном порядке необходимо установить те дополнительные переменные, информацию о которых необходимо получить до сбора данных, так как после проведения сбора данных восстановить эту информацию будет либо невозможно, либо крайне затруднительно. К примеру, данные о факторах окружающей среды (например, влажности) могут быть полностью недоступны, а информацию о физиологических характеристиках (например, о цвете глаз) можно будет получить только у тех людей из испытуемой выборки, с которыми можно связаться после процедуры сбора данных.

Примечание - База данных может быть сформирована с определенными целями (см. пример 1 ниже) или может представлять собой набор хранимых изображений, собранных в течение многих лет, возможно, без намерения применять какие-либо методы автоматического биометрического распознавания (см. пример 2).


Пример 1 - В случае логического или физического контроля доступа по отпечаткам пальцев, в котором используется определенное устройство получения биометрических данных, наиболее репрезентативными данными для испытаний будут те данные, которые получены при помощи устройства получения биометрических данных на месте, где устройство применяется. В противном случае подходящими могут оказаться изображения, полученные при помощи того же устройства получения биометрических данных в другом месте.

Пример 2 - Изображения лица в паспортах 1960-х годов.

8.2.4 Объем базы данных

В процессе испытаний, задачей которых является количественная оценка как совместимости, так и достаточности возникает вопрос, значительно ли СФОД уступает фирменным форматам. Разработчик испытаний должен гарантировать доступность базы данных достаточно большого объема для того, чтобы обнаружить даже небольшие различия для выбранных показателей качества. При испытаниях возможно использование всех имеющихся данных или не всех, в зависимости от полученных значений эксплуатационных характеристик или их доверительных интервалов.

8.2.5 Удаление метаданных, связанных с субъектом

В процессе испытаний из полученных образцов должна быть удалена информация, которая каким-либо образом определяет личность субъекта. Это относится к любым биографическим данным, например, к дате рождения, которая может указывать на то, принадлежат ли два образца одному субъекту или разным субъектам.

8.2.6 Удаление нерепрезентативных метаданных

В процессе испытаний из полученных образцов должна быть удалена любая информация, которая не будет доступна системе в рамках намеченного приложения.

Пример - Координаты расположения глаз на изображении лица могут присутствовать в заголовке экземпляра, соответствующего стандарту ИСО/МЭК 19794-5, но часто недоступны приложению.

8.2.7 Источник образцов

В протоколе испытаний должен быть указан источник использованных в испытаниях образцов, должно быть указано по крайней мере число образцов и субъектов и в тех случаях, когда это возможно, информация об использованном устройстве получения биометрических данных и любые сопутствующие физические характеристики образца (степень сжатия, частота дискретизации, разрешение, цветовое пространство и т.д.).

Примечание - В целях обеспечения однородности базы данных предпочтительно, чтобы образцы были получены при помощи одного и того же устройства получения биометрических данных и в одних и тех же условиях.

8.2.8 Объективность образцов

Собранные образцы, использованные в процессе испытаний, не должны быть заранее обработаны, фильтрованы, восстановлены или улучшены каким-либо поставщиком, принимающим участие в испытаниях. Испытатель должен убедиться, что ни один из исходных образцов не был исключен из базы данных поставщиком, принимающим участие в испытаниях, до его предоставления испытателю.

8.2.9 Разделение данных

В случае испытаний в режиме отложенного задания или гибридных испытаний целесообразно предоставить поставщикам - участникам испытаний несколько образцов данных с целью содействия разработке. Однако в процессе самих испытаний в качестве образцов должна использоваться та часть базы данных, которая не должна предоставляться участникам до завершения испытаний.

8.3 Испытания на соответствие

8.3.1 Соответствие

Протокол испытаний на соответствие должен включать в себя описание СФОД с указанием его названия, источников информации, основных характеристик, происхождения, времени разработки, степени завершенности и совместимости. В протоколе испытаний должны быть указаны ссылки на документы об имеющих значение предыдущих испытаниях на соответствие и о любых известных совместимых реализациях, а также упоминания о любых подтверждениях способности СФОД к реализации. Данное требование может не касаться тех испытаний, в которых не принимают участие СББД (например, испытаний на совместимость устройств получения биометрических данных с использованием только ФББД).

Примечание 1 - Соответствие стандарту формата обмена биометрическими данными не обязательно гарантирует совместимость, поскольку эксплуатационные характеристики сравнения существенно зависят от таких нестандартизованных факторов, как характеристики алгоритмов, устройств получения биометрических данных, условий окружающей среды и т.д.

Примечание 2 - Задача эксплуатационных испытаний может быть не выполнена, если какой-либо из основополагающих стандартов является некачественным, либо некачественно реализованным. Для получения показательных результатов эксплуатационных испытаний необходимым условием является совместимость данных на низком уровне.

8.3.2 Проведение испытаний на соответствие

Испытания на совместимость СФОД или достаточность СФОД могут оказаться неудачными и дать ошибочные результаты, если экземпляры СББД не совместимы с основным СФОД. Это может произойти из-за того, что необходимым условием способности СББД к обмену является набор однозначно понимаемых и реализованных определений. Таким образом, при испытаниях на совместимость или достаточность должно оцениваться соответствие всех СББД, сформированных в процессе испытаний. Данное требование может не касаться тех испытаний, которые не включают СББД (например, испытаний совместимости устройств получения биометрических данных с использованием только ФББД). Данное требование может не касаться тех СББД, которые не используются при вычислении показателей качества.

Примечание 1 - Требование проведения испытаний на соответствие всех СББД (вместо только исходного образца) необходимо из-за того, что проблемы, связанные с соответствием, зависят от данных и могут возникнуть в том случае, если некоторые, возможно редкие, образцы являются входными данными подсистемы формирования ББД.

Примечание 2 - В процессе проведения испытаний часто является целесообразным включение этапа предварительных испытаний на соответствие. Продукты поставщиков, возможно представленные на рассмотрение в недоработанной форме, могут быть использованы для формирования СББД из специальных тестовых баз данных, предназначенных для устранения недостатков. В них могут содержаться пустые или низкокачественные изображения или в случае режима реального времени нарочито дефектное представление. Кроме того, в процессе испытаний соответствие может оцениваться путем получения и исследования образцов СББД, предоставленных потенциальными участниками испытаний. Данный метод предоставляет возможность быстро обнаружить очевидные затруднения при испытаниях эксплуатационных характеристик.

8.3.3 Протоколирование результатов испытаний

В протоколе испытаний на совместимость должны быть приведены сведения об испытаниях подсистем формирования ББД на соответствие стандарту формата обмена данными.

8.4 Ограничения, накладываемые на СББД

8.4.1 Дополнительные кодировки

В том случае если формат обмена является стандартизованным, но дополнительным или имеет стандартизованные дополнительные параметры, то в программе и методике испытаний должны быть установлены допустимые, недопустимые, неопределенные, необходимые или дополнительные значения для каждого дополнения.

Пример 1 - Для испытаний формата обмена данными изображения лица может потребоваться, чтобы СББД соответствовали только полностью фронтальным или условным фронтальным изображениям лица.

Пример 2 - Минуции отпечатка пальца могут быть записаны в обычном или компактном формате. Это также относится к форматам шаблона отпечатка пальца в виде спектральных данных и в виде остова.

Пример 3 - Для испытаний изображения отпечатка пальца может потребоваться, чтобы изображения были сжаты в соответствии со стандартом ИСО/МЭК 15444, части 1-10 (стандарт JPEG 2000).

8.4.2 Дополнительные кодировки профильных стандартов

В программе и методике испытаний должно быть указано, содержат ли существующие профильные стандарты подходящие спецификации дополнительного содержания формата обмена данными.

Примечание - Целесообразно уделить внимание стандартам ИСО/МЭК 24713-х (х2), которые предоставляют исчерпывающие данные о значениях дополнительных параметров в стандартах ИСО/МЭК 19794.


Пример - Записи минуций с точками бифуркации борозд остова изображения отпечатка пальца не должны сравниваться с записями минуций с конечными точками гребней остова изображения отпечатка пальца, несмотря на то, что все эти параметры согласуются со стандартом ИСО/МЭК 19794-2.

8.4.3 Отступление от основного стандарта

В программе и методике испытаний должны быть описаны любые допустимые отступления от СФОД. Отступления разрешаются только для полей заголовка и не допускаются для функциональных данных. Испытатель может принимать решения об отступлении на основании задач испытаний на совместимость.

Пример 1 - Может оказаться необходимым удалить поля Создатель и Идентификатор Процесса, установленные стандартом ИСО/МЭК 19785-1 (ЕСФОБД).

Пример 2 - Применение кодирования несжатых данных изображений не разрешено для типов изображения лица, установленных в стандарте ИСО/МЭК 19794-5. Испытания на совместимость, в которых несмотря на несоответствие основному стандарту изображения используются такие данные, могут оказаться необходимыми в том случае, если, например, сжатие данных могут вызвать проблемы совместимости.

8.4.4 Формирование пакетов данных

В программе и методике испытаний должно быть приведено описание представления данных полученных образцов и СББД. От испытателя может потребоваться создать, опубликовать и прокомментировать исчерпывающие сведения о различных форматах.

Пример 1 - Форматом представления данных полученных образцов могут являться обычные файлы стандартизованного формата, как, например JPEG (ИСО/МЭК 10918,части 1-4). СББД могут тоже быть обычными файлами.

Пример 2 - Поскольку СББД в стандартах ИСО/МЭК 19794-х определяются на уровне ББД в ЕСФОБД, то они могут применяться в том виде, в котором есть. Они могут быть объединены с блоками заголовка и подписи в обычную структуру записи биометрической информации ЕСФОБД.

Примечание - ББД может состоять из одного или более биометрических образцов или шаблонов. Кроме того, комплексная ЕСФОБД (ИСО/МЭК 19785-1) позволяет записи содержать множество ББД, каждый с собственным стандартным биометрическим заголовком (СБЗ), и дополнительные СБЗ, в которых отражена взаимосвязь между ББД. В связи с этим комплексная запись биометрических данных может содержать десять отпечатков пальцев, соответствующие им СББД о минуциях, несколько шаблонов радужных оболочек глаза или какие-то произвольно выбранные комбинации мультимодальных мультиобразцовых биометрических данных. Настоящий стандарт может быть использован для испытаний любых подобных комплексных экземпляров.

8.5 Компоненты

8.5.1 Компоненты для испытаний на достаточность

Организация, осуществляющая испытания на совместимость, должна указать, требуется ли, чтобы участник испытаний предоставил и подсистему формирования ББД, чьи выходные данные могут сравниваться посредством компонентов других поставщиков, и подсистему сравнения ББД, которая может работать с входными данными компонентов других поставщиков, или достаточно предоставления компонентов только одного типа. Данный вопрос относится исключительно к коммерческой области. Если рынок подсистем формирования СББД никак не связан с рынком подсистем сравнения СББД, то поставщик может работать только на одном из них. В подобных случаях анализ матриц совместимости предусматривает .

8.5.2 Предъявление требований к модульному исполнению

В программе и методике испытаний должен быть установлен уровень, на котором объект с неизвестными свойствами, называемый "черным ящиком", разделяется на отдельные внутренние "черные ящики". Это зависит от целей проведения испытаний на совместимость.

Пример - "Черный ящик" может состоять из объединенных вместе подсистемы получения данных геометрии контура кисти руки и подсистемы формирования СББД в соответствии со стандартом ИСО/МЭК 19794-10. Так же эти две функции могут быть разделены между двумя "черными ящиками", при этом на выходе сканера присутствуют необработанные изображения, являющиеся входными данными подсистемы формирования СББД. Оба данных представления функционально равносильны, но во втором случае вероятности ошибок могут быть определены отдельно для каждого блока. В случае разнородной биометрической системы выходные данные устройства получения данных могут быть введены в несколько подсистем формирования ББД (например, в режиме отложенного задания), и данное разделение окажется крайне важным при определении эксплуатационных характеристик компонентов.

8.5.3 Компоненты для испытаний на совместимость

В том случае, если задачей испытаний является оценка совместимости, в программе и методике испытаний должно быть указано, какие из следующих компонентов должны быть предоставлены поставщиками:

- подсистема формирования СББД для регистрации;

- подсистема формирования СББД для верификации;

- подсистема сравнения СББД.

Примечание - Подсистемы формирования СББД для регистрации и верификации могут быть функционально идентичны и аналогично активизироваться.

8.5.4 Основные алгоритмы

Задача испытаний может заключаться в оценке при помощи одних и тех же основных алгоритмов сравнения ухудшения эксплуатационных характеристик, связанного только с различием СФОД и ФФ (оценка достаточности). В данном случае в программе и методике испытаний и протоколе испытаний должны быть указаны действия, произведенные для подтверждения того, что каждый поставщик действительно внедрил одни и те же основные алгоритмы сравнения. Это могут быть письменные требования или инструкции, исследование исходного или скомпилированного кода, анализ временных соотношений и результатов. Подобные ограничения эффективны в случае сравнения всего двух форматов данных. Однако поставщику может не удаться выполнить в срочном порядке данные требования. Кроме этого, следует учитывать, что испытательная организация может не обнаружить отклонения от требований, касающихся аналогичности алгоритмов, вследствие того, что многие реализации алгоритмов по своей сути являются "черными ящиками". В том случае если подсистемы сравнения СББД и ФББД не применяют один и тот же основной алгоритм, то может оказаться невозможным объяснить отсутствие достаточности использованием определенного формата обмена данными.

Примечание - Настоящий стандарт также регламентирует использование нескольких алгоритмов, поскольку объединенные вместе, они представляют собой подсистему сравнения ББД в виде "черного ящика", которая внутри производит объединение данных. Оценка эффективности функционирования одного отдельного компонента подобной подсистемы сравнения ББД требует содействия поставщика.

8.5.5 Пользовательские интерфейсы устройств получения данных

Пользовательский интерфейс является важным элементом при сборе данных и может содействовать улучшению эксплуатационных характеристик. Если в процессе испытаний на совместимость две подсистемы сбора данных, включающие в себя идентичное аппаратное обеспечение и разные пользовательские интерфейсы, демонстрируют разные эксплуатационные характеристики, то это также следует относить к проблемам совместимости. В протоколе испытаний должны быть указаны различия в пользовательских интерфейсах и любые сведения об их влиянии на совместимость.

8.5.6 Мультимодальные компоненты

Результатом испытаний мультимодальных СББД может являться вывод о том, что совместимость может быть достигнута. Данный вывод может оказаться ошибочным, так как отсутствие совместимости при одном или более режимах работы (модальностях) может быть не обнаружено в силу того, что подсистемы сравнения ББД являются по своей сути "черными ящиками". Поэтому в программе и методике испытаний и протоколе испытаний мультимодальных СББД должны быть указаны действия, произведенные для подтверждения того, что совместимость наблюдается в каждом режиме работы (модальности). Проведение подобных испытаний может потребовать от подсистем формирования ББД и подсистем сравнения ББД способности создавать и принимать одномодальные образцы в дополнение к исходному мультимодальному образцу. В соответствии с положениями настоящего стандарта они могут быть испытаны по отдельности.

8.5.7 Возможность изменений в работе компонента

Эксплуатационные характеристики одинаковых биометрических систем, используемых в нескольких различных местах, несмотря на идентичность настроек, могут различаться. Подобные различия являются результатом влияния множества факторов. Среди них могут быть факторы окружающей среды (например, освещение внутри помещения по отношению к наружному освещению), популяционные факторы (привычки, демография и т.д.), технологическая вариативность (например, устройство получения биометрических данных с камерой с зарядовой связью), калибровка (линейность характеристики зависимости выходного сигнала от температуры в инфракрасном устройстве), изменения конфигурации (например, разные программные драйверы) или ошибки (например, рабочий порог принятия решения или полоса пропускания полосового фильтра). Измерение эксплуатационных характеристик само по себе может вызвать изменения в работе компонентов, если процедуры испытаний не являются унифицированными. Результаты испытаний могут быть более надежными и устойчивыми, если провести испытания множества копий компонента. Разработчик испытаний должен учитывать техническую возможность увеличения числа копий компонента. Также необходимо учитывать такие факторы, как трудовые и финансовые затраты. В протоколе испытаний должны быть указаны известные источники изменений в работе компонентов, любые попытки оценить их и любые попытки снизить их влияние.

Пример - В процессе испытаний может быть оценена совместимость одного компонента с его идентичной копией. Учитывая схему совместимости устройств получения биометрических данных, изображенную на рисунке 5, две копии одной модели устройства получения биометрических данных отпечатка пальца могут быть использованы для получения изображений у выборки субъектов. В режиме отложенного задания эти изображения могут быть сравнены между собой и сопоставлены получающиеся вероятности ошибок. Любые значительные отличия эксплуатационных характеристик для различных копий устройства укажут на неустойчивость характеристик устройства получения биометрических данных.

8.5.8 Требования к протоколу испытаний компонентов

В процесс испытаний на совместимость может быть включено несколько копий компонентов, предоставленных разными поставщиками, причем каждый компонент может иметь свои определенные настройки. Применение результатов испытаний в дальнейшем зависит от полноты описания испытуемых компонентов. В протоколе испытаний должны быть указаны:

- используемые компоненты.

Под компонентом понимают устройства получения данных, программное обеспечение для обработки, устройства кодирования или подсистемы формирования ББД, или подсистемы сравнения ББД, а также любые другие элементы, которые имеют или предположительно имеют непосредственное влияние на эксплуатационные характеристики или участвуют в обмене данных, обеспечивающем совместимость;

- полная информация о каждом компоненте.

Она должна включать название производителя, номер модели, номер версии, номер редакции или серийный номер, версию аппаратно-программного обеспечения или номера сборки, версии драйверов и данные о конфигурации персонального компьютера, на котором установлен компонент;

- число экземпляров каждого компонента.

Если в процессе испытаний испытываются продукты, чьи поставщики должны оставаться анонимными, то любой опубликованный протокол испытаний должен включать в себя по крайней мере число экземпляров продукта и такие спецификации, которые не позволяют его однозначно идентифицировать.

8.6 Планирование испытаний

8.6.1 Вычислительные ресурсы

В случае испытаний выборки из субъектов программа и методика испытаний должна включать оценку времени обработки, требуемого для осуществления испытаний. В целях определения ограничений на общее время, издержки, объем выборки и доступные ресурсы при проведении испытаний необходимо установить общее число операций формирования СББД или ФББД и число транзакций верификации или идентификации. Возможно, также потребуется провести оценку времени, необходимого для того, чтобы:

- сформировать СББД для регистрации (для каждого субъекта первый образец является, как правило, образцом для регистрации) при помощи каждой подсистемы формирования СББД для регистрации;

- сформировать СББД для верификации (оставшиеся образцы являются образцами для верификации) при помощи каждой подсистемы формирования СББД для верификации;

- осуществить верификационные сравнения для всех возможных пар поставщиков подсистем формирования ББД при помощи каждой подсистемы сравнения ББД;

- при помощи каждой подсистемы сравнения ББД осуществить идентификационный поиск по выборке, созданной каждой подсистемой формирования ББД для регистрации, с использованием пользовательских экземпляров, предоставленных каждой подсистемой формирования СББД для верификации;

- сформировать ФББД для регистрации при помощи каждой подсистемы формирования ФББД для регистрации;

- сформировать ФББД для верификации при помощи каждой подсистемы формирования ФББД для верификации;

- осуществить верификационные сравнения для каждого поставщика ФББД;

- осуществить идентификационный поиск для каждого поставщика ФББД.

Примечание - Испытательная организация может запросить у участников испытаний данные об уровне пропускной способности их продукции. Участникам для оценки этих характеристик может потребоваться информация об образцах и других обрабатываемых данных. Также испытательной организацией могут быть запрошены данные о более сложных моделях пропускной способности с информацией об их необходимых коэффициентах.

8.6.2 Число поставщиков для участия в испытаниях

Если число подсистем формирования СББД для регистрации равно , число подсистем формирования СББД для верификации - , а число подсистем сравнения - , то

- для испытаний на совместимость подсистем сравнения СББД необходимо, чтобы каждая подсистема сравнения ББД обработала СББД из более чем одного источника, таким образом 2, 2 и 1,

- для испытаний на совместимость подсистем формирования СББД необходимо, чтобы выходные данные подсистемы формирования ББД были успешно обработаны более чем одной подсистемой сравнения ББД, таким образом 1, 1 и 2.

8.6.3 Предоставление образцов данных поставщикам

В программе и методике испытаний должно быть установлено, будут ли образцы данных предоставлены поставщикам для разработки или нет. Поставщикам не должны предоставляться данные, которые будут использованы непосредственно в процессе испытаний. Испытательная организация может предоставить примеры данных (например, СББД, ФББД, или образцы) участникам испытаний с целью содействия разработке совместимых компонентов. Испытательная организация должна проконсультироваться с владельцами таких данных по вопросу их предоставления поставщикам.

8.6.4 Эквивалентность ресурсов, выделяемых подсистемам формирования ББД

В программе и методике испытаний должны быть установлены верхние и нижние предельные значения по крайней мере для следующих показателей:

- объема памяти для хранения СББД (в оперативной памяти и/или на жестком диске),

- периода времени, необходимого для формирования СББД,

- периода времени, необходимого для сравнения СББД.

В качестве предельных значений могут быть указаны как наихудшие возможные значения (например, размер никогда не будет превышать 257 байт), так и усредненные значения (например, средний размер всегда будет меньше, чем 200 байт). Для объемов данных значительно проще реализовать, соблюсти и оценить верхние предельные значения. Ограничения по среднему значению эксплуатационных характеристик чаще всего целесообразны для времени обработки данных. Однако для всех величин и их предельных значений должно быть указано, распространяются ли ограничения на средние значения, минимальные или максимальные значения или на какие-то другие статистические показатели.

Примечание 1 - В процессе испытаний к периоду времени могут быть предъявлены достаточно свободные требования, но при этом они все же должны соответствовать данному пункту, то есть нижнее и верхнее предельные значения могут равняться нулю или бесконечности.

Примечание 2 - В том случае если поставщику разрешено выделять значительно больше (или меньше) ресурсов на формирование экземпляров своего фирменного формата, чем на формирование СББД, то соответствующие результаты оценки эксплуатационных характеристик могут иметь специальное применение.

Примечание 3 - В самом простом случае подсистемы формирования ФББД и СББД будут отличаться друг от друга только своими выходными данными и, соответственно, крайне незначительно потребностями в ресурсах.

8.6.5 Нарушение требований испытаний

В программе и методике испытаний должны быть установлены правила и соответствующие штрафные санкции за использование подсистем формирования ББД и подсистем сравнения ББД, которые нарушают ограничения на выделяемые ресурсы, определенные в 8.6.4.

8.6.6 Формат выходных данных подсистем сравнения ББД

В программе и методике испытаний должен быть установлен формат представления выходных данных подсистем сравнения ББД. Для верификации в спецификации выходных данных должна быть указана по крайней мере степень схожести. Для идентификации в спецификации выходных данных должен быть указан хотя бы список кандидатов.

8.6.7 Основные требования к подсистеме формирования ББД

8.6.7.1 Функциональные параметры

В процессе испытаний необходимо рассматривать:

- подсистему формирования СББД - как "черный ящик", который преобразует полученные биометрические данные в экземпляры СББД,

- подсистему формирования ФББД - как "черный ящик", который преобразует полученные биометрические данные в экземпляры ФББД.

8.6.7.2 Реализация подсистемы формирования ББД

Испытания на совместимость должны осуществляться на одном (или более) из следующих уровней:

- на исполняемом уровне - компилированное приложение, способное принимать собранные биометрические образцы и записывать СББД или ФББД в файл. При масштабных испытаниях для вызова исполняемого приложения следует использовать язык сценариев;

- на уровне ПИП - библиотеки, предоставляющей подходящие экземпляры классов (функций), создаваемых (вызываемых) из (при помощи) произвольно выбранных образцов полученных биометрических данных и применяемых для формирования отдельного СББД.

Примечание - Соображения по поводу выбора уровней рассматриваются в различных частях 8.7.2, посвященного обманным манипуляциям.

8.6.7.3 Ошибки подсистемы формирования ББД

В программе и методике испытаний должен быть установлен механизм, в соответствии с которым подсистема формирования ББД должна объявлять об ошибках при обработке входных данных. Для этого может потребоваться документально зафиксированный обмен информацией с поставщиками до проведения испытаний. На стадии проведения испытаний могут также произойти ошибки из-за каких-либо событий. Испытательная организация должна оценить такие события и сообщить о них, включив в протокол испытаний информацию о характере этих событий.

Примечание - Полный аварийный отказ или ошибка компонента чаще всего неприемлемы, и поставщик должен предоставить компонент, с которым возникла подобная проблема, повторно.


Пример - В программе и методике испытаний могут быть определены ненулевые коды ошибок, которые должны быть возвращены подсистемой формирования СББД. В том случае, если это происходит, процесс сравнения может быть продолжен с использованием пустого СББД (если это допускается СФОД).

8.6.7.4 Запись ошибок подсистемы формирования ББД

Число ошибок или отказов подсистемы формирования ББД при создании выходных данных должно быть подсчитано и использовано в вычислениях вероятности отказа регистрации или вероятности отказа сбора данных. Однако подсистема формирования ББД может выдать выходные данные с указанием на то, что в процессе обработки возникли проблемы. В программе и методике испытаний должен быть установлен механизм, в соответствии с которым подсистема формирования ББД должна сообщать о проблемах, возникших при обработке полученного образца.

Примечание - В процессе испытаний может допускаться возвращение кода ошибки; смысл различных значений должен быть определен на этапе планирования испытаний. Число различных ошибок может иметь значение при определении проблем реализации СФОД.

8.6.8 Основные требования к подсистеме сравнения ББД

8.6.8.1 Функциональные требования

В процессе испытаний необходимо рассматривать:

- подсистему сравнения ББД для приложения верификации - как "черный ящик", который сравнивает СББД для верификации с СББД для регистрации и выдает степень схожести;

- подсистему сравнения ББД для приложения идентификации - как "черный ящик", который сравнивает СББД пользователя с множеством СББД для регистрации и выдает список кандидатов.

8.6.8.2 Реализация подсистемы сравнения ББД

Испытания на совместимость должны осуществляться на одном (или более) из следующих уровней:

- на исполняемом уровне - компилированное приложение, способное принимать два произвольно выбранных экземпляра СББД, хранящихся в виде отдельных файлов;

- на уровне ПИП - библиотеки, предоставляющей подходящие экземпляры классов (функций), создаваемых (вызываемых) из (при помощи) двух произвольно выбранных СББД и применяемых для выдачи степени схожести.

Примечание - Соображения по поводу выбора уровней рассматриваются в различных частях 8.7.2, посвященного обманным манипуляциям.

8.6.8.3 Ошибки подсистемы сравнения ББД

В программе и методике испытаний должен быть установлен механизм, в соответствии с которым подсистема сравнения ББД должна объявлять об ошибках при обработке входных данных.

Примечание 1 - Полный аварийный отказ или ошибка компонента чаще всего неприемлемы, и поставщик должен предоставить компонент, с которым возникла подобная проблема, повторно.

Примечание 2 - В процессе испытаний может допускаться возвращение кода ошибки; смысл различных значений должен быть определен на этапе планирования испытаний.

8.6.9 Общие требования к реализации программного обеспечения

8.6.9.1 Вызов программного обеспечения

Для соответствия концепции совместимости и воспроизведения логического разделения трех функций (регистрация, создание шаблона пользователя, сравнение) компоненты программного обеспечения должны быть разделены. На практике такое разделение позволяет осуществлять испытания в режиме отложенного задания с использованием модульного принципа и возможностью гибкого планирования действий, хранения СББД и оценки совместимости.

При проведении испытаний на совместимость подсистемы формирования СББД и подсистемы сравнения СББД должны быть отделены друг от друга, вызываться отдельно и быть полностью независимыми друг от друга.

8.6.9.2 Побочные эффекты

Подсистема формирования ББД и подсистема сравнения ББД не должны оказывать влияния на свою операционную среду каким-либо образом, за исключением тех случаев, когда это разрешено.

8.6.9.3 Доступ к памяти

Вызываемые компоненты не должны обращаться к ячейкам памяти, которые не указаны вызываемым программным обеспечением. Подобные действия могут быть свидетельством использований манипуляционных стратегий. В случае нехватки памяти стабильность системы может значительно снизиться.

Компоненты должны обращаться только к той области системной памяти, которую данный компонент выделил сам или которая соответствует предоставленным входным данным.

8.6.9.4 Передача информации

Компоненты не должны обмениваться данными с внешними процессами, устройствами или компьютерами, за исключением тех случаев, когда это разрешено в программе и методике испытаний. Для корректного функционирования компонентов не требуется ни получение информации из иных источников, ни передача информации другим источникам. Настоящий стандарт устанавливает данное требование в связи с тем, что при подобном обмене информацией возможно получение улучшенных эксплуатационных характеристик, не соответствующих действительности.

8.7 Обнаружение и предотвращение обманных манипуляций

8.7.1 Общие аспекты

8.7.1.1 Общие сведения

В процессе разработки и проведения испытаний на совместимость должны быть использованы надлежащие способы обнаружения, предотвращения и устранения любых действий, посредством которых один или несколько поставщиков могут в процессе испытаний получить преимущество для себя, поставить в невыгодное положение других поставщиков или исказить имеющиеся эксплуатационные характеристики.

8.7.1.2 Оценка риска обманных манипуляций

Уровень затрачиваемых усилий испытателя для обнаружения или предотвращения обманных манипуляций может быть определен путем оценки соотношения риска и преимущества для поставщика и вероятного способа действия. Риски обманных манипуляций должны быть оценены в испытательной лаборатории и документально оформлены.

При разработке испытаний должны быть учтены преимущества, которые может получить поставщик, если ему удастся реализовать какие-либо стратегии обманных манипуляций.

Пример - На СФОД может негативно сказаться то, что статистические данные, касающиеся достаточности, подвергаются манипуляциям в сторону ее уменьшения.

8.7.2 Типы обманных манипуляций

8.7.2.1 Общие сведения

В программе и методике испытаний должны быть определены этапы рассмотрения рисков обманных манипуляций, описанные в 8.7.2.

Необходимо отметить, что методы обманных манипуляций могут использоваться выборочно (то есть для доли образцов или транзакций) и, несмотря на это, быть эффективными. Если применяются какие-либо способы обнаружения обманных манипуляций, то их необходимо применять ко всем образцам, экземплярам, поставщикам и испытаниям.

Примечание - Данное требование соответствует требованиям к испытанию на соответствие всех СББД, установленным в 8.3.2.

8.7.2.2 Сговор поставщиков

Возможна ситуация, когда несколько поставщиков объединятся с целью поставить в невыгодное положение одного или более поставщиков. Подобное сотрудничество является сговором поставщиков. В процессе испытаний необходимо предпринимать надлежащие действия для обнаружения признаков сговора поставщиков.

8.7.2.3 Использование условий проведения испытаний с целью изменения эксплуатационных характеристик

При проведении испытаний на исполняемом уровне или уровне ПИП необходимо обращать пристальное внимание на сокрытие информации и предотвращение эвристических попыток получить информацию о совпадении или несовпадении. Проведение испытаний на уровне ПИП представляет опасность: например, если совпадающие пары СББД хранились в памяти рядом, то библиотека может использовать стратегию обманных манипуляций, при которой близость адресов ячеек памяти двух ББД используется в качестве фактора (возможно, вспомогательного) при выдаче высоких или низких степеней схожести. Использование подобной стратегии может быть исключено при тщательном перемешивании расположений адресов памяти ББД и последовательности их вызовов.

8.7.2.4 Непосредственное использование собранных биометрических данных

Если в процессе испытаний используется структура данных (класс в объектно-ориентированном смысле), которая содержит СББД, то необходимо провести надлежащие проверки с целью обнаружить, не хранятся ли полученные данные внутри СББД в том виде, в котором они были получены. Подобная обманная манипуляция позволяет осуществить сравнение полностью минуя СББД. Программа и методика испытаний должны быть написаны таким образом, чтобы класс СББД можно было создать, изучить и прочитать в режиме отложенного задания до его применения.

Пример - Компонент поставщика присоединяет исходное изображение отпечатка пальца к концу СББД минуций, который во всем остальном полностью соответствует стандарту ИСО/МЭК 19795-2.

8.7.2.5 Непосредственное использование фирменных данных

В процессе испытаний должны быть проведены проверки по обнаружению случаев, когда подсистема формирования ББД присоединяет или, наоборот, скрывает собственные фирменные данные поставщика внутри СББД. Подобные действия позволяют подсистеме сравнения ББД обращаться к своей, предположительно более хорошей, подсистеме сравнения ФББД, тем самым демонстрируя лучшие эксплуатационные характеристики.

Примечание - Некоторые форматы обмена данными включают в себя дополнительные структуры для фирменных и недокументированных данных. Очевидно, что такие данные могут способствовать улучшению эксплуатационных характеристик только тех поставщиков, которые способны их обработать, и могут исказить результаты испытаний на совместимость. Вследствие этого при разработке испытаний необходимо установить ограничения на наличие и/или содержание подобных структур (см. также 8.2.5).

8.7.2.6 Испорченные СББД

При испытаниях на совместимость необходимо проводить проверки для обнаружения неверных или подложных данных в выходных СББД подсистемы формирования ББД.

Пример - В процессе испытаний подсистем извлечения и сравнения минуций отпечатка пальца необходимо проводить проверки для обнаружения случаев, когда подсистема формирования ББД включает в свои СББД, содержащие данные о минуциях, заведомо ложные минуции. Если местоположение таких минуций закодировано постоянным, то подсистема сравнения ББД может пропускать их при проведении сравнения.

8.7.2.7 Неполные СББД

При испытаниях на совместимость необходимо проводить проверки, которые позволят выяснить, не исключает ли подсистема формирования ББД из своих выходных СББД обычно содержащуюся там информацию. Это может способствовать улучшению эксплуатационных характеристик подсистемы сравнения ББД.

Пример - Одна из стратегий обманных манипуляций поставщиков биометрических систем распознавания отпечатков пальцев может заключаться во внесении в СББД меньшего числа минуций, чем обнаружено на самом деле. Данная стратегия может быть эффективна в том случае, если подсистема сравнения ББД поставщика демонстрирует лучшие эксплуатационные характеристики при обработке шаблонов с меньшим числом минуций.

Примечание - При установке критерия, по которому описанным в данном пункте действиям можно дать окончательную оценку, возможно, потребуется экспертная оценка.

8.7.2.8 Информация о поставщике

Во многих СББД присутствует поле для информации о поставщике продукта, который их сформировал. Например, некоторые стандартные форматы обмена данными (ИСО/МЭК 19794) включают в себя поле-идентификатор устройства получения данных. Информация в данном поле будет давать преимущество для:

- подсистем формирования ББД, которые задают параметры своего процесса обработки в зависимости от устройства получения биометрических данных, или

- подсистем сравнения ББД, которые задают параметры своего процесса обработки в зависимости от подсистемы формирования СББД, или

- операций по делопроизводству.

Испытания на совместимость будут более репрезентативными для целевого приложения, если ББД включают в себя любую информацию, которая предусмотрена в данном приложении. Таким образом, как для испытаний устройства получения биометрических данных, так и для испытаний СФОД по умолчанию необходимо следовать рабочей спецификации для подобных полей. Это, как правило, обеспечивает внесение соответствующих и правильных идентификаторов продуктов. Однако если в процессе испытаний необходимо оценить совместимость только основных биометрических данных, то, возможно, потребуется, чтобы

- подсистемы формирования ББД не включали в свои выходные данные какую-либо информацию о себе или

- испытательные организации исключали подобную информацию из всех образцов, перед тем как использовать их в подсистеме сравнения ББД.

Данная дополнительная возможность обеспечивает выполнение полностью анонимных испытаний СББД и подходит в том случае, когда проводится оценка совместимости на уровне технологии. При этом она, вероятно, ухудшит степень прогнозируемости эксплуатационных характеристик.

В протоколе испытаний должны быть указаны требования к устройству получения биометрических данных и подсистемам формирования ББД касательно пропускания или, наоборот, преобразования любых полей, которые содержат информацию об источнике ББД. Должны быть приведены сведения о любом действии испытательной организации, производимом с указанной информацией. Также согласно 8.4.3 требуется документальное подтверждение отклонений от СФОД.

Примечание 1 - Для того чтобы подсистема сравнения ББД могла определить, создан ли СББД продуктами того же производителя, что и сама подсистема сравнения ББД, могут быть использованы любые методы скрытой передачи информации. В простейшем случае они заключаются в скрытии одного бита информации в заголовке СББД или в данных; использование подобных методов очень трудно обнаружить. Более распространенным методом скрытой передачи информации является внедрение некоторой комбинации битов в младшие биты СББД, содержащих данные о местоположении минуций. Подобные действия существенно затрудняют обнаружение поставщиков, которые намереваются нарушить требования анонимных испытаний.

Примечание 2 - Для осуществления анонимных испытаний поля-идентификаторы поставщика (заголовки ЕСФОБД) должны быть обнулены после формирования СББД и до осуществления верификации.

Примечание 3 - Для выполнения требований в данной области процесс проведения испытаний на соответствие СББД, возможно, придется изменить.

Примечание 4 - Чтобы иметь возможность обрабатывать измененные (например, обнуленные) поля-идентификаторы продукта, возможно, потребуется модификация подсистем сравнения ББД.

8.7.3 Обнаружение и предотвращение обманных манипуляций

8.7.3.1 Планирование испытаний

В программе и методике испытаний должны быть перечислены типы обманных манипуляций, которые запрещены или которые будут отслеживаться. В следующих пунктах описаны некоторые типы обманных манипуляций.

8.7.3.2 Последствия обманных манипуляций

В программе и методике испытаний должны быть перечислены причины, по которым поставщик может быть отстранен от участия в испытаниях. Причина отстранения должна быть официально оформлена.

Пример - Если компонент поставщика проигнорировал неизменный характер параметра функции ПИП (на что в языке C/C++ указывает использование ключевого слова "const" (константа)) и изменил содержание СББД в процессе выполнения функции сравнения, то это может явиться основанием для приостановления использования данного продукта.

8.7.3.3 Исследование аномальных результатов

В процессе испытаний должно проводиться исследование каждого созданного подсистемой формирования ББД СББД для обнаружения наличия в нем аномальных значений, ведущих к нарушению работы подсистемы сравнения ББД другого поставщика. В частности, в протоколе испытаний должна содержаться информация об отклонениях от значений, присваиваемых по умолчанию, или от ожидаемых или обоснованных значений.

Примечание - В случае приложения распознавания лица, если два поставщика производят сжатые изображения лица условного фронтального типа (с коррекцией по расположению глаз) со степенью сжатия (СЖ), равной 10, посредством сжатия границ изображения со СЖ=5, а центральной области, содержащей лицо, со СЖ=35, это может привести к снижению эксплуатационных характеристик продуктов третьего поставщика, чьи технологии более чувствительны к сжатию. В процесс испытаний должно быть включено исследование СББД.

8.7.3.4 Разглашение данных об участниках испытаний

Поставщикам нельзя сообщать ни имена, ни номера участников до завершения испытаний.

Примечание - Если поставщик обладает информацией, что в испытаниях принимает участие только один поставщик кроме него, то эта информация может способствовать использованию (или снижению риска обнаружения) определенных обманных манипуляций, включающих в себя эвристическую классификацию для выявления тех экземпляров СББД, которые принадлежат другому производителю.

8.7.3.5 Удаление несущественной информации

Испытательная организация должна определить, необходимо ли использование каждого поля каждого заголовка СББД, не повреждены ли данные поля и не используются ли они не по назначению. Она также должна изучить последствия удаления или обнуления содержания данных полей.

Примечание - Если существенных различий между эксплуатационными характеристиками при работе с исходными СББД и с СББД с удаленными несущественными полями обнаружено не было, то это означает, что в процессе испытаний обманные манипуляции не использовались или что механизмы удаления или обнуления несущественных данных для их предотвращения оказались неэффективными.

8.7.3.6 Намеренное искажение ББД

ББД, используемые при проведении испытаний, могут быть намеренно изменены или искажены испытательной организацией. В программе и методике испытаний должны быть установлены правила использования искаженных экземпляров СББД в подсистемах сравнения ББД.

Примечание 1 - Один из возможных способов разоблачения стратегий обманных манипуляций заключается во внесении изменений в исходные выходные СББД подсистемы формирования ББД. Например, в процессе испытаний изображение лица или отпечатка пальца может быть зашумлено, смещено, распаковано или повернуто; местоположение всех минуций отпечатка пальца зеркально отражено относительно оси или вовсе удалено из списка.

Примечание 2 - При применении намеренно искаженных экземпляров необходимо дополнять, а не замещать сформированные СББД, на использовании которых должны быть основаны выводы об эксплуатационных характеристиках, представляемые в протоколе испытаний.

8.7.3.7 Протоколирование результатов испытаний

В протоколе испытаний должны быть указаны произведенные действия и, в качестве дополнения, результаты испытаний, которые проводились с целью обнаружения обманных манипуляций.

8.8 Процедуры испытаний

8.8.1 Первичные испытания

8.8.1.1 Общий обзор

Испытания могут быть проведены на основе процедур, перечисленных в приложении А в таблицах А.1 (планирование), А.2 (установка) и А.3 (формирование шаблонов), в таблицах А.4 (верификация) или А.5 (идентификация) и А.6 (протоколирование результатов испытаний). В процессе испытаний в соответствии с целями, определенными в 6.1, и показателями качества, определенными в 7.2.1 настоящего стандарта, должны быть проведены тесты верификации или идентификации или и то и другое вместе. В этом случае некоторые процедуры испытаний будут повторяться и ими при необходимости можно пренебречь. Этапами, указанными в таблицах и применимыми к оценке либо достаточности, либо совместимости, можно пренебречь в зависимости от целей испытаний, определенных в соответствии с 6.1 настоящего стандарта.

8.8.1.2 Верификация

Совместимость при верификации может быть оценена посредством выполнения процедур, приведенных в таблице А.4. Данными процедурами являются попарное объединение совпадающих (то есть принадлежащих одному и тому же субъекту) СББД, предоставленных поставщиками и , попарное объединение несовпадающих (то есть принадлежащих разным субъектам) СББД, предоставленных поставщиками и , общее объединение всех подобных пар и перемешивание данного объединенного массива данных. Верификация осуществляется путем последовательной обработки всех подобных пар подсистемой сравнения СББД. Общее объединение осуществляется в целях предотвращения ситуации, когда подсистема сравнения ББД прогнозирует, какой вид попарного объединения ей встретится следующим. Перемешивание осуществляется в целях предотвращения ситуации, когда подсистема сравнения ББД прогнозирует, будут ли следующей транзакцией совпадающие СББД или несовпадающие.

8.8.1.3 Идентификация

Совместимость при идентификации может быть оценена посредством выполнения процедур, приведенных в таблице А.5. Данными процедурами являются регистрация СББД поставщика в подсистеме идентификации поставщика и сравнение всех СББД от всех поставщиков с зарегистрированной выборкой. Результатом выполнения этих процедур является ряд в матрице эксплуатационных характеристик для различных подсистем формирования ББД, изображенной на рисунке 8. Если целевое приложение включает в себя подсистему сравнения ББД, которая работает только с пользовательскими СББД из единого источника, то матрица эксплуатационных характеристик должна быть вычислена поэлементно (то есть минуя этапы объединения и перемешивания в таблице А.5).

8.8.2 Неопределенность измерения

Каждый показатель качества, определенный в процессе испытаний на совместимость, сопровождает неопределенность. Неопределенные значения и корреляции между ними должны быть учтены при определении совместимости подсистем.

Примечание - В приложении В стандарта ИСО/МЭК 19795-1 дается представление о дисперсии, неопределенности, доверительных интервалах и вопросах, связанных с их вычислением.

8.8.3 Оценка дисперсии

Одним из способов оценки дисперсии показателей качества является воспроизведение испытаний, описанных в 8.8.1, на непересекающихся массивах данных, полученных из одного и того же источника. Этого можно достичь при разделении всей исходной базы данных на непересекающиеся массивы данных и применении к ним по отдельности процедуры, описанной в 8.8.1. Следующим этапом может быть выполнение процедуры, представленной в таблице А.7.

8.8.4 Корректирующие испытания

Если по результатам испытаний совместимость оказалась неустойчивой, то необходимо выяснить, есть ли возможность произвести изменения в сохраненных СББД в целях улучшения совместимости. В том случае если подобные изменения сочтены целесообразными, то все этапы испытаний на совместимость, на которые могут повлиять осуществленные изменения, должны быть повторены. Это должно быть отражено в протоколе испытаний и отмечено как инициатива испытательной организации, а не поставщика. Однако если к поставщику обращаются с целью улучшения совместимости, то это также должно быть задокументировано.

8.8.5 Исследование настраиваемых параметров

Испытания должны быть повторены в случае любых заранее согласованных изменений настраиваемых параметров.

Примечание - Многие подсистемы формирования СББД могут быть настроены таким образом, чтобы больше времени уходило на определение местонахождения существенных признаков на изображении, что в итоге повышает точность распознавания.

9 Интерпретация матрицы совместимости

9.1 Определение совместимых подсистем

9.1.1 Общие сведения

Испытания типа а) (см. 6.3) осуществляют оценку эксплуатационных характеристик разнородной биометрической системы. Испытания типа е), задачей которых является прогнозирование степени совместимости на практике, могут восприниматься как испытания типа а) с проведением измерений. Испытания типа f), при которых одна подсистема должна быть замещена другой, тоже являются частным случаем испытаний типа а).

Испытания, задачей которых является сертификация множества подсистем на совместимость (испытания типа с), описанные в 6.3), должны установить критерий для эксплуатационных характеристик, определить минимальные и максимальные значения числа требуемых подсистем, а также процедуру разрешения ситуаций, при которых совместимость ограничивается множеством несовместимых поставщиков.

Пример 1 - Несколько подсистем извлечения признаков минуций отпечатков пальцев могут быть признаны совместимыми, если экземпляры, которые они создают в соответствии со стандартом ИСО/МЭК 19794-2, могут быть сравнены "эталонной" подсистемой сравнения с ВЛД менее 2% при ВЛНД = 2%.

Пример 2 - Несколько подсистем формирования ББД изображений лица условного фронтального типа, соответствующих стандарту ИСО/МЭК 19794-5, могут быть признаны совместимыми, если выходные экземпляры этих подсистем формирования ББД могут быть сравнены любой из трех подсистем сравнения ББД для идентификации с ВЛПИ = 2% для ВЛОИ = 50% на выборке из 1500 субъектов.

Пример 3 - Несколько подсистем формирования ББД изображений РОГ в полярных координатах, соответствующих стандарту ИСО/МЭК 19794-6, могут быть признаны совместимыми, если их выходные данные могут быть сравнены "эталонной" подсистемой сравнения ББД со значением ВЛНС, в 1,2 раза меньше значения ВЛНС, достижимого той же подсистемой сравнения, работающей с соответствующими стандарту ИСО/МЭК 19794-6 изображениями в ортогональной системе координат при ВЛС = 0,0001.

9.1.2 Выявление совместимых комбинаций подсистем

9.1.2.1 Общие сведения

В программе и методике испытаний должен быть определен один или несколько количественных показателей совместимости, зависящих от приложения и указывающих, является ли подсистема сравнения ББД в достаточной степени совместимой со множеством подсистем формирования ББД и является ли подсистема формирования ББД в достаточной степени совместимой со множеством подсистем сравнения ББД. Введение и оценка подобных показателей должны исключить системы, которые не способны обеспечить достаточные эксплуатационные характеристики.

В протоколе испытаний должны быть указаны критерии эксплуатационных характеристик, применяемые для принятия решения о совместимости. Данный вопрос, по возможности, должен быть затронут также в программе и методике испытаний. Методы, описанные в 9.1.2.2, 9.1.2.3 и 9.1.2.4, представлены в качестве руководства.

9.1.2.2 Совместимость в зависимости от требуемого значения эксплуатационных характеристик

9.1.2.2.1 Методика расчета

Множество испытуемых подсистем сравнения ББД должно считаться совместимыми, если каждый из соответствующих наблюдаемых (абсолютных или относительных) показателей качества в матрице эксплуатационных характеристик подтверждает рабочую гипотезу, состоящую в том, что значение соответствующего реального (абсолютного или относительного) показателя качества находится ниже установленного порога .

Наблюдаемая вероятность ошибки подтверждает рабочую гипотезу тогда и только тогда, когда нулевая гипотеза, состоящая в том, что реальная вероятность ошибки равна или находится выше порога, должна быть отвергнута. Решение о том, должна ли нулевая гипотеза быть отвергнута, принимается на основе одностороннего одновыборочного критерия , определяемого по формуле (9.1)

, (9.1)

где - число наблюдений;

- допустимая вероятность ошибки;

- измеренная вероятность ошибки.

Ограничения применения формулы: 10, 10.

Нулевая гипотеза должна быть отвергнута (а рабочая гипотеза должна быть принята), если , где значение определяется в соответствии с 9.1.2.2.3. Если , то это не является достаточным основанием для отклонения нулевой гипотезы и принятия рабочей гипотезы.

Примечание 1 - Указанные расчеты могут быть проведены как для вероятностей ошибок первого рода, так и для вероятностей ошибок второго рода (например, ВЛНС и ВЛС, соответственно).

Примечание 2 - Принципиальной особенностью подобных расчетов является то, что вместо сравнения с пороговым значением статистической значимости (например, 1,6449) необходимо проводить сравнение с нормализованным значением меньше этого порога. Это равноценно уменьшению допустимой вероятности ошибки в случае любого фиксированного числа проверок . Например, при 60000 требование ВЛНД0,01 становится ВЛНД0,00933 для 95% доверительного уровня согласно формуле (9.2)

. (9.2)

9.1.2.2.2 Данные, использованные при вычислении критерия значимости

В процессе испытаний, описанных в 9.1.2.2.1, используется предположение о биномиальном распределении, при котором каждый проводимый тест независим от других и имеет фиксированную вероятность ошибки. Использование данного допущения будет неправомерно в следующих случаях:

- проводимые отдельные испытания некоторым образом связаны друг с другом (это может произойти, например, если одни и те же образцы многократно применяются в испытаниях в качестве образцов "самозванцев");

- вероятности ошибок, связанные с образцами, могут варьироваться (это может произойти в том случае, если образцы поступили из различных выборок, отличающихся друг от друга качеством изображения или с точки зрения демографии).

Таким образом, если предположение о биномиальном распределении неправомерно, то это должно быть отражено в протоколе испытаний, испытания должны быть продолжены, при этом результаты испытаний должны быть проанализированы с особой тщательностью.

9.1.2.2.3 Выбор уровня значимости

При проверке по критерию значимости, описанному в 9.1.2.2.1, значение получают исходя из желаемого доверительного уровня. Значения однозначно определяются обратной интегральной функцией нормального распределения вероятностей, значения которой представлены в таблице 3. Значения () и должны быть указаны в протоколе испытаний. Проверка по критерию значимости, как правило, должна проводиться на уровне 95%, однако при испытаниях на совместимость может возникнуть необходимость увеличения значения доверительного уровня. Если при использовании необходимого числа образцов каждый элемент матрицы эксплуатационных характеристик с доверительной вероятностью () удовлетворяет некоторому значению критерия, то, вероятно, в случае с матрицами эксплуатационных характеристик большого размера совместимые пары будут иметь истинное значение вероятности ошибки больше требуемого значения, поскольку для каждого результата существует неопределенность . Поэтому в соответствии с 6.3 при проведении сертификационных испытаний типа с) и d) необходимо увеличить число независимых образцов и число ячеек пространства совместимости. Таким образом, уменьшение уровня значимости для одной ячейки обеспечит определенную достоверность результата для всей матрицы.


Таблица 3* - Доверительные уровни для стандартного нормального распределения
_______________

* Нумерация соответствует оригиналу. - .

Примечание 1 - Результаты оценки эксплуатационных характеристик и доверительного интервала должны рассматриваться только с учетом той выборки, которая была использована в процессе испытаний. Использование доверительного интервала не подразумевает, что система или продукт будут демонстрировать эксплуатационные характеристики только в этом диапазоне. Использование доверительного интервала означает только то, что в результате повторения испытаний того же самого продукта при работе с образцами, полученными тем же самым образом из той же самой выборки, скорее всего, будут получены значения эксплуатационных характеристик в данном диапазоне.

Примечание 2 - Размер доверительных интервалов зависит от выборки. При проведении технологических испытаний в режиме отложенного задания, в которых используются выборки большого объема, доверительные интервалы будут более узкими. Сценарные испытания часто осуществляются с использованием меньших выборок (по причине больших издержек), поэтому для них доверительные интервалы будут более широкими. Технологические испытания целесообразно применять для оценки функциональных возможностей алгоритмов (в данном случае совместимости алгоритмов), а сценарные испытания - для оценки эксплуатационных характеристик, так как при этих испытаниях учитывается взаимодействие продуктов с реальными пользователями.

9.1.2.3 Совместимость, определяемая по отношению к эксплуатационным характеристикам "эталонной" системы

Совместимость может быть определена путем сопоставления показателей качества эксплуатационных характеристик с эксплуатационными характеристиками "эталонной" системы, определенными при использовании того же набора данных. "Эталонной" системой может быть система, использующая ФФ, или система единственного поставщика, использующего СФОД.

Для любого показателя качества (например ВЛНД, при установленной ВЛД=0,001) множество испытуемых подсистем может быть признано совместимыми, если полученное значение показателя качества в раз меньше соответствующего абсолютного показателя качества "эталонной" системы, где - некоторая определенная константа. Значение зависит от значений допустимых отклонений и требуемой статистической значимости.

9.1.2.4 Совместимость, определяемая по отношению к рассматриваемой группе

Альтернативой оценке абсолютных эксплуатационных характеристик является сертификация на основе критерия, вычисляемого с использованием наблюдаемых эксплуатационных характеристик. В данном случае множество компонентов с наибольшей степенью совместимости может быть определено посредством исключения таких совмещаемых комбинаций, для которых измеренные значения эксплуатационных характеристик значительно больше среднего значения эксплуатационных характеристик разнородных биометрических систем для всего множества.

Среднее значение эксплуатационных характеристик разнородных биометрических систем, , определяется как среднее значение эксплуатационных характеристик всех совмещаемых комбинаций, компоненты которых предоставлены разными поставщиками; стандартное отклонение, , является стандартным отклонением эксплуатационных характеристик данных комбинаций.

Совмещаемая комбинация должна быть исключена из множества разнородных биометрических систем в том случае, если значение эксплуатационных характеристик данной комбинации, , больше с уровнем значимости : , где является значением функции стандартного нормального распределения (то есть площадь области под кривой стандартного нормального распределения от до плюс бесконечности равна ).

Примечание - В то время как абсолютные показатели качества сильно зависят от базы данных образцов, которая применялась при проведении измерений, относительные показатели качества являются достаточно постоянными для разных баз данных образцов [4].

9.1.3 Допустимое число разнородных подсистем

В случае проведения испытаний типа с) (см. 6.3) в программе и методике испытаний и в протоколе испытаний должны быть указаны любые требования, устанавливаемые до начала испытаний, к следующим показателям:

- минимально допустимому числу разнородных подсистем, которое, как правило, не бывает меньше двух, за исключением случая, когда испытательная организация готова испытывать единственный компонент;

- максимально допустимому числу разнородных подсистем. Сертификация максимально возможного числа подсистем, как правило, приносит максимальную коммерческую выгоду, но по различным коммерческим соображениям это число может быть ограничено.

При условии участия в испытаниях двух или более поставщиков должны быть осуществлены действия, описанные в 8.7.1.3.

9.1.4 Комбинаторный поиск классов с максимальной совместимостью

Для установления множества совместимых продуктов в соответствии с критериями, установленными в 9.1.2.2, потребуется определение показателей качества для формирования подматриц матрицы эксплуатационных характеристик. Данная стратегия является комбинаторной: элементы матрицы будут определены для всех комбинаций рядов, пересеченных со всеми комбинациями столбцов. Задача заключается в определении всех классов с максимальной совместимостью. Классом с максимальной совместимостью является подмножество испытуемых подсистем при условии, что все его элементы являются совместимыми друг с другом и среди испытуемых подсистем нет подсистемы, которая совместима со всеми элементами подмножества, но не включена в него.

Классы с максимальной совместимостью могут быть определены посредством методичного группирования испытуемых разнородных подсистем с учетом значений ячеек матрицы совместимости следующим образом:

1) исходя из значений ячеек матрицы взаимодействия отнести каждую комбинацию подсистем, считающуюся совместимой, к собственному классу совместимости. Результатом данного действия является исходное множество классов совместимости;

2) повторять следующие операции до тех пор, пока не останется ни одного класса совместимости, который мог бы быть объединен с другим классом:

а) отождествить каждый класс совместимости с каждым другим классом совместимости, чтобы выяснить, могут ли эти два класса совместимости быть объединены в один класс совместимости. Если это возможно, то объединить их и включить объединенный класс во множество классов совместимости. Два класса совместимости могут быть объединены только в том случае, если все их элементы признаны совместимыми друг с другом в соответствии с выбранным критерием;

б) исключить из множества классов совместимости каждый класс совместимости, который является строгим подмножеством другого класса совместимости;

3) все элементы итогового множества классов совместимости являются классами с максимальной совместимостью.

В протоколе испытаний должен быть описан метод определения классов совместимости.

Примечание - При проведении испытаний множества из компонентов подмножества могут рассматриваться в порядке убывания их размера , то есть сначала необходимо попытаться найти самые крупные подмножества таким образом, что , , .

9.1.5 Несколько совместимых подгрупп

При определении классов совместимости в соответствии с критерием эксплуатационных характеристик может оказаться, что существует множество различающихся классов совместимости.

Пример - Если имеется четыре подсистемы получения данных радужной оболочки глаза , , и и две подсистемы сравнения ББД и , то возможны следующие результаты испытаний:

- , совместимы с (то есть одна подгруппа);

- , совместимы c , a , совместимы с (то есть две различающиеся подгруппы одинакового размера) и

- , , , совместимы с , а , совместимы с и (пересекающиеся подгруппы одинакового размера).

Наличие нескольких классов совместимости возможно в том случае, если размер самого крупного из них намного меньше числа испытанных подсистем. В общем случае некоторые продукты могут являться членами нескольких классов совместимости, в то время как другие принадлежат им от случая к случаю.

При обнаружении нескольких классов совместимости они не объявляются совместимым множеством сразу. В программе и методике испытаний данное обстоятельство должно предусматриваться, и в случае необходимости должны применяться следующие методы:

- применение критериев допустимого числа продуктов, описанных в 9.1.3;


- изменение критерия сертификации систем как совместимых. Например, требуемое значение ВЛНД=1% при установленной ВЛД=1% может быть уменьшено до ВЛНД=0,9%. Данное действие неизбежно приведет к уменьшению группы совместимых поставщиков. Для достижения противоположного эффекта требуемое значение ВЛНД может быть увеличено, например до ВЛНД=1,1%. Результатом подобных действий может быть появление более крупной совместимой группы (например, ). Данный метод применяют только в исключительных случаях, поскольку он может поставить испытательную организацию перед необходимостью пересмотра методики испытаний и критерия совместимости постфактум ("задним числом"), что может нанести вред тем организациям, которые нацелены на работу с заявленным ранее критерием совместимости;

- подсчет числа подмножеств совместимости, в которые входит каждая подсистема (в третьем примере, описанном выше, и являются элементами двух подсистем). Данный метод является в какой-то степени более правильным, но менее эффективным, чем предыдущий, при выявлении единственного множества совместимости.

Окончательный выбор метода может быть осуществлен только после того, как будет выяснено, ведут ли различные варианты или их комбинации к одному и тому же выбору. Также в программе и методике испытаний целесообразно предоставить информацию о возможных применениях подобных методов. В случае их использования об этом должно быть сообщено в протоколе испытаний.

9.1.6 Статистическая устойчивость результатов испытаний

Если при проведении испытаний была определена совместимая комбинация, то необходимо выяснить, какой будет результат в случае применения в испытаниях других биометрических данных. В частности, поставщик подсистем, которые были признаны несовместимыми, может с достаточным основанием поставить вопрос: отличался ли бы результат испытаний, осуществляемых в малом масштабе, от результата испытаний, повторенных с другими образцами (даже взятыми из той же выборки). Одним из методов оценки стабильности результатов является повторение испытаний на разных частях тестовой базы данных. Данный метод подробно представлен в таблице А.7 приложения А.

Примечание - Вычислительные затраты данного метода, как правило, могут быть сведены на нет, если заранее внести в программу и методику испытаний требование о необходимости разделения базы данных на части до проведения испытаний.

9.2 Совместимость с ранее сертифицированными продуктами

9.2.1 Факторы, аннулирующие сертификат

В 6.3 перечислено несколько типов испытаний. Среди них испытания типа d), применяемые для определения совместимости с продуктами, которые были оценены ранее в процессе сертификационных испытаний типа с). Данный тип испытаний необходим в том случае, если требуется расширить рынок продукции, обеспечивая при этом эксплуатационную совместимость. Испытания осуществляются с целью определить, что

- СББД, созданные подсистемами формирования ББД, могут быть успешно использованы ранее сертифицированными подсистемами сравнения ББД, и

- новые подсистемы сравнения ББД могут успешно обрабатывать выходные данные ранее сертифицированных подсистем формирования СББД.

При этом необходимо учитывать, что выходные данные сертифицированных подсистем формирования ББД (например, шаблоны отпечатков пальцев, соответствующие стандарту ИСО/МЭК 19794-3) неизменны, а выходные данные подсистем сравнения (например, результаты или степень схожести) - нет. Данный аспект влияет на испытания: в программе и методике испытаний типа d) (см. 6.3) должны быть определены условия, при которых подсистемы формирования СББД и подсистемы сравнения ББД должны быть лишены сертификата. Последствием лишения сертификата является то, что данный продукт больше не может устанавливаться и применяться в рамках конкретного приложения.

Примечание 1 - Если в результате проведения испытаний определено множество совместимых подсистем формирования ББД и подсистем сравнения ББД (согласно некоторому критерию), то возможна ситуация, при которой от испытательной организации потребуют дополнительно оценить совместимость нового продукта. Способ осуществления данной оценки зависит от того, является ли новый продукт подсистемой сравнения ББД или подсистемой формирования ББД. Подсистема сравнения ББД может работать с СББД, созданными и сохраненными при первоначальных испытаниях. Однако выходные данные новой подсистемы формирования ББД требуется сравнивать, а это будет зависеть также от эксплуатационных характеристик и наличия лицензии на использование предоставленных для исходных испытаний подсистем сравнения ББД.

Примечание 2 - При проведении дополнительных испытаний эксплуатационные характеристики нового продукта, определяемые при работе с ранее сертифицированными совместимыми продуктам*, проще всего оценить путем установления его совместимости с "эталонным" компонентом, которым может быть, например, имеющийся в наличии и установленный коммерческий продукт.
_______________
* Текст документа соответствует оригиналу. - .

Пример - Предположим, что группа из шести подсистем формирования ББД и четырех подсистем сравнения ББД сертифицирована при первоначальных испытаниях на совместимость типа с), описанную в 6.3. Далее предположим, что к испытаниям типа d) представлены шесть новых подсистем формирования СББД и их выходные данные успешно сравнены тремя сертифицированными подсистемами сравнения ББД, но не прошли сравнение в четвертой подсистеме сравнения ББД. В программе и методике испытаний должно быть указано, что подсистема сравнения ББД будет лишена сертификата, если она не сможет сравнить все СББД с ВЛНС<0,01 при установленной ВЛС=0,004.

9.2.2 Последовательное проведение испытаний

Поэтапные или дополнительные испытания могут проводиться разными испытательными организациями, но при последовательном выполнении испытаний одной испытательной организацией есть определенные преимущества, например уменьшение расходов. Основной проблемой, связанной с участием разных испытательных организаций, являются разные выводы о результатах испытаний. Это может произойти по следующим причинам:

- могут быть использованы разные данные;

- результаты, полученные с использованием одной и той же выборки, все равно будут отличаться вследствие различия характеристик образцов;

- могут быть использованы различные продукты.

Кроме того, в случае изменения данных поставщик может изменить свой продукт для обработки этих данных. По этим причинам дополнительные испытания должны проводиться одной и той же испытательной организацией.

9.2.3 Совместимость с ранее сертифицированными подсистемами формирования ББД

Предположим, что в результате предыдущих испытаний типов а), b) и с) (см. 6.3) определено множество совместимых подсистем формирования ББД (то есть способных создавать СББД, которые могут быть сравнены несколькими подсистемами сравнения ББД с допустимыми низкими вероятностями ошибок). Далее предположим, что данные продукты были установлены и использованы, а СББД, созданные этими подсистемами формирования ББД, зарегистрированы в базе данных или помещены на смарт-карту. В программе и методике испытаний и в протоколе испытаний типа d), осуществляемых с целью сертификации новых подсистем сравнения ББД как элементов множества совместимости, должна быть приведена информация об использовании новых подсистем сравнения при работе с:

- хранимыми СББД, полученными от сертифицированных подсистем формирования ББД в процессе первичных испытаний;

- вновь сформированными СББД, полученными от идентичных, исходных подсистем формирования СББД, сертифицированных в процессе первичных испытаний;

- СББД, полученными от вновь предоставленных, но эквивалентных версий подсистем формирования СББД, сертифицированных в процессе первичных испытаний.

Хранимые СББД должны быть защищены от любого изменения и внесены в каталог. Любые подсистемы формирования ББД должны быть либо сданы на хранение (в случае с аппаратными устройствами), либо заархивированы (в случае с программным обеспечением). Чтобы они находились в рабочем состоянии, необходимо обеспечить надлежащий режим хранения и механизмы технического обслуживания (документы, сертификаты, носители, операционные системы, библиотеки и компиляторы).

При наличии новой подсистемы сравнения ББД может появиться дополнительный столбец в матрице на рисунке 9 или дополнительная матрица, представленная на рисунке 8. Это должно быть проанализировано в соответствии с 9.1.4, а также с учетом того, что предыдущая совместимая группа всегда должна принимать участие в тестовых комбинациях.

9.2.4 Совместимость с ранее сертифицированными подсистемами сравнения ББД

Предположим, что в результате предыдущих испытаний типов а), b) и с) (см. 6.3) определено множество совместимых подсистем сравнения ББД (то есть подсистем, способных принимать на обработку зарегистрированные СББД от различных подсистем формирования ББД и сравнивать их с допустимыми низкими вероятностями ошибок). Далее предположим, что данные продукты были установлены и использованы для сравнения ББД. Данная ситуация является более простой, чем описанная в 9.2.3, поскольку, как правило, дешевле обновить установленные подсистемы сравнения ББД, чем заново формировать сами СББД. В процессе испытаний типа d), проводимых с целью сертификации новых подсистем формирования ББД как элементов множества совместимости, их выходные данные должны быть сравнены при помощи:

- идентичных, исходных подсистем сравнения ББД, сертифицированных в процессе первичных испытаний, и СББД, которые их поставщики создали для сравнения, или

- вновь предоставленных копий подсистем сравнения ББД, сертифицированных в процессе первичных испытаний.

Хранимые СББД должны быть защищены от любого изменения и внесены в каталог. Любые подсистемы сравнения ББД должны быть либо сданы на хранение (в случае с аппаратными устройствами), либо заархивированы (в случае с программным обеспечением). Чтобы они находились в рабочем состоянии, необходимо обеспечить надлежащий режим хранения и механизмы технического обслуживания (документы, сертификаты, носители, операционные системы, библиотеки и компиляторы).

При наличии новой подсистемы формирования ББД может появиться дополнительный ряд в матрице на рисунке 9 или дополнительная матрица, представленная на рисунке 8. Это должно быть проанализировано в соответствии с 9.1.4. Требования к участию в тестовых комбинациях ранее сертифицированных подсистем сравнения ББД не предъявляются. Следует учитывать, что при проведении таких испытаний существует возможность лишения сертификата ранее сертифицированных подсистем сравнения ББД согласно 9.2.1.

9.2.5 Учет влияния систематических факторов

При осуществлении дополнительных испытаний на совместимость (например, сертификационные испытания типа d), описанные в 6.3) возникает проблема, заключающаяся в возможности появления систематических изменений вероятностей ошибок. Данные изменения могут быть связаны со случайными (например, дисперсия характеристик образцов в выборке) или систематическими факторами (например, различные типы образцов, продукты или правила представления).

При сертификационных испытаниях типа d) (см. 6.3) новая группа продуктов должна быть сертифицирована в соответствии с модифицированным критерием, учитывающим случайные и систематические факторы. Систематические факторы учитываются путем использования новых результатов измерений эксплуатационных характеристик ранее сертифицированных совместимых продуктов с целью создания нового критерия эксплуатационных характеристик (вместо того, что изначально использовался при оценке новой группы продуктов). Случайные факторы должны учитываться путем использования биномиальной формулы, приведенной в 9.1.2.2.

Пример - В процессе первичных испытаний группа продуктов А сертифицируется в том случае, если оцененная для этих продуктов ВЛНС=0,5%. При дополнительных испытаниях обнаруживается, что для этих же продуктов ВЛНС=2%, а у множества новых продуктов группы В ВЛНС=2,05%. Испытания включают 1500 сравнений подлинных лиц. Должны ли быть сертифицированы продукты группы В? Ответ - да, так как при решении уравнения, указанного в 9.1.2.2, для значения получаем, что продукты группы А функционируют при ВЛНС=2,0629% при 95% доверительном уровне.

9.2.6 Исключение из анализа по результатам испытаний

Предположим, что испытания проведены и некоторые подсистемы сертифицированы. Во время второго этапа испытаний обнаруживается, что один из сертифицированных продуктов на самом деле формирует несоответствующие стандартам СББД и что это происходило также и на первом этапе испытаний. Данная ошибка соответствия стандартам может стать причиной неудовлетворительной оценки эксплуатационных характеристик других продуктов. Вследствие этого любой продукт, который не прошел испытания на соответствие, должен быть исключен из рассмотрения во всех расчетах, производимых с использованием характеристик сертифицированных продуктов (см. 9.1), включая расчеты, которые основываются на результатах или перечнях сертификационных продуктов, полученных при исходных испытаниях. Подобные случаи обнаружения несоответствия стандартам должны быть зафиксированы и включены в протокол испытаний.

9.3 Общая достаточность

В программе и методике испытаний должны быть определены, а в протокол испытаний включены один или более связанных с конкретным приложением количественных показателей достаточности, которые бы определяли, достаточно ли значения эксплуатационных характеристик при использовании СББД близки к значениям эксплуатационных характеристик при использовании ФББД того же поставщика. При вычислении подобных показателей необходимо исключать из рассмотрения системы, не обеспечивающие требуемых значений эксплуатационных характеристик или для которых была обнаружена ошибка соответствия.

Пример - При сравнении минуций отпечатков пальцев поставщик 1 может использовать крайне неудовлетворительный алгоритм извлечения минуций, в результате чего значение оказывается низким, в то время как поставщик 3 может иметь настолько хорошую подсистему сравнения ББД, что результатом применения как подсистемы формирования ФББД, так и подсистемы формирования СББД являются высокие показатели эксплуатационных характеристик.

Приложение А (справочное). Процедуры проведения испытаний на достаточность и/или на совместимость

Приложение А
(справочное)

Таблица А.1 - Процедуры испытаний на совместимость, этап 1: планирование

Таблица А.2 - Процедуры испытаний на совместимость, этап 2: установка

Таблица А.3 - Процедуры испытаний на совместимость, этап 3: формирование СББД и ФББД

Таблица А.4 - Процедуры испытаний на совместимость, этап 4: верификация

Таблица А.5 - Процедуры испытаний на совместимость, этап 5: идентификация

Таблица А.6 - Процедуры испытаний на совместимость, этап 6: протоколирование результатов испытаний

Таблица А.7 - Процедуры испытаний на совместимость, этап 7: оценка дисперсии

Приложение В (справочное). Пример испытаний на совместимость

Приложение В
(справочное)

В.1 Введение

Данный пример представляет собой обобщенное трехстороннее приложение с использованием разнородных биометрических систем, при котором аутентификация шаблона происходит в центральном пункте системы с использованием шаблонов для регистрации и аутентификации, полученных в условиях реальной эксплуатации.

В.2 Планируемое приложение

Группа стран внедряет систему биометрических виз, основанных на шаблонах отпечатков пальцев. Желающие посетить одну из этих стран, внедривших данную систему, для получения визы посещают консульское учреждение (в любой точке мира). В консульстве у них получают отпечатки пальцев, которые тут же преобразовывают в шаблоны. Данные шаблоны пересылаются по сети с шифрованием данных на центральный пункт обработки, где они обрабатываются в целях обнаружения дубликатов и сохраняются для дальнейшего использования при аутентификации. После одобрения заявки консульство выдает заявителю визу, содержащую криптографический ключ и уникальный идентификатор.

Впоследствии, когда человек приезжает на пункт пропуска через границу страны, внедрившей систему биометрических виз, для получения разрешения на въезд его виза проходит аутентификацию с помощью протокола типа "запрос-ответ", а он сам подвергается процедуре регистрации отпечатков пальцев. Далее из этих отпечатков пальцев формируются шаблоны, которые отправляются на центральный пункт обработки для немедленной верификации. Человек получает допуск в страну только в том случае, если степень схожести при верификации оказывается выше некоторого порога принятия решения.

В.3 Форматы данных

Все использованные в данном процессе шаблоны должны представлять собой экземпляры соответствующего стандарту ИСО/МЭК 19794-2 формата записи данных о минуциях изображения отпечатка пальца без расширенных данных.

В.4 Пространство совместимости

Существует три логически и физически отличающихся друг от друга операции, осуществляемых с шаблонами отпечатков пальцев.

1. Каждая страна, внедрившая систему биометрических виз, для обработки заявлений на выдачу визы должна иметь одну или несколько подсистем формирования ББД, присутствующих в списке продуктов, разрешенных к применению.

2. Каждая страна, внедрившая систему биометрических виз, должна иметь одну или несколько подсистем формирования ББД, присутствующих в списке продуктов, разрешенных к применению, для применения их на пунктах пропуска через границу.

3. Все страны, внедрившие систему биометрических виз, согласовали между собой, что все процессы верификации и идентификации будут сосредоточены в единственной охраняемой системе, а также что эти функции будут предоставляться соответствующей стандарту ИСО/МЭК 19794-2 подсистемой сравнения ББД единственного поставщика. Подобная централизованная система обеспечит наиболее точную обработку шаблонов из любого источника.

Проблема совместимости заключается в том, что шаблоны поставщиков и обрабатываются подсистемой сравнения ББД . Эксплуатационные характеристики такой системы будут зависеть от того, насколько одинаково продукты, предоставленные поставщиками и , обнаруживают, выбирают и локализуют минуции и насколько подсистема сравнения ББД чувствительна к различию подсистем поставщиков и . Нет никаких ни политических, ни экономических, ни технических причин, по которым продукты , и должны быть предоставлены одним и тем же поставщиком. Таким образом, размерность пространства совместимости при окончательном вводе системы в эксплуатацию равна двум (в общем случае шаблоны будут предоставляться продуктами двух разных поставщиков); размерность пространства совместимости при испытаниях равна трем (шаблоны, предоставленные продуктами двух различных поставщиков, сравниваются подсистемой сравнения, предоставленной третьим поставщиком). Человек, который получил визу в консульстве одной страны, внедрившей систему биометрических виз, имеет право въезжать в любую другую страну из группы стран, внедривших систему биометрических виз.

В.5 Испытания

Для определения множества совместимых продуктов и создания перечня разрешенных к применению продуктов группа стран, внедривших систему биометрических виз, должна провести испытания в соответствии с нормами, установленными в стандарте ИСО/МЭК 19795-4. Проведение испытаний ограничивается верификацией, которая воспроизводит планируемое приложение. Страны должны прийти к соглашению о том, что контракт на предоставление системы идентификации (для обнаружения случаев повторной выдачи визы) будет подписан с поставщиком лучшей системы верификации.

Испытательная организация объявляет о проведении испытаний. Шесть поставщиков принимают решение предоставить для прохождения испытаний свои подсистемы формирования ББД. Пять поставщиков предоставляют для испытаний подсистемы сравнения ББД, и, несмотря на то, что четыре из них также предоставляют подсистемы формирования ББД, они рассматриваются независимо друг от друга.

Испытательная организация производит сбор данных специально для воспроизведения процессов получения отпечатков пальцев, осуществляемых в пункте пропуска через границу и в консульстве. Всего собранная база данных содержит 2 изображений отпечатков указательных пальцев правой руки, полученных от каждого из субъектов и изображений отпечатков указательных пальцев правой руки субъектов из другой выборки, не пересекающейся с первой. Значение равно 16000.

Испытания проводятся только в режиме отложенного задания. Каждая подсистема формирования ББД применяется ко всем 3 изображениям отпечатков пальцев. Согласно стандарту ИСО/МЭК 29109-2 проводятся испытания на соответствие записей минуций стандарту ИСО/МЭК 10794-2. Для каждой пары подсистем формирования ББД и каждая подсистема сравнения ББД осуществляет сравнений подлинных лиц и сравнений "самозванцев". Для каждой комбинации подсистем в качестве показателя качества вычисляется ВЛНС при ВЛС=0,01. Результатом является множество из пяти матриц совместимости размером 6x6, по одной для каждой подсистемы сравнения ББД. Пример одной из матриц совместимости приведен в таблице В.1


Таблица В.1 - Пример получаемой матрицы совместимости

В.6 Критерии сертификации

Испытательная организация рекомендует группе стран, внедривших систему биометрических виз, следующую процедуру формирования перечня разрешенных к применению совместимых продуктов.

Перечень разрешенных к применению продуктов формируется путем поиска наибольшего подмножества подсистем формирования ББД, все из которых демонстрируют допустимую вероятность ошибки при работе с подсистемой сравнения . Требованием является ВЛНС0,005. Данное значение специально подобрано для значения объема выборки образцов 16000 и 95% доверительного уровня. Преобразованное значение ВЛНС, рассчитанное с использованием формулы из примечания в 9.1.2.2:

. (В.1)

Для каждой подсистемы сравнения ББД находится наибольшая квадратная подматрица , в которой все элементы меньше или равны 0,00408. В случае с подсистемой подматрица имеет размер (3х3) (темно-серые ячейки в таблице В.2).


Таблица В.2 - Подмножество совместимых подсистем формирования ББД

Стоит отметить, что поставщики и признаны несостоятельными вследствие низкой совместимости с поставщиком . Поставщик не соответствует требованиям, так как значение ячейки (, )=0,0045 больше критического значения для 95% доверительного уровня.

Данные расчеты проводятся для всех подсистем сравнения ББД . Выбирается единственная подматрица совместимости наибольшего размера. Результатом испытаний становится перечень разрешенных к применению продуктов, состоящий из определенной подсистемы сравнения ББД (например, предоставленной поставщиком ) и четырех подсистем формирования ББД (например, , , и ), которые при работе с указанной подсистемой сравнения ББД демонстрируют вероятности ошибок, соответствующие требованиям.

Приложение ДА (справочное). Сведения о соответствии ссылочных международных стандартов ссылочным национальным стандартам Российской Федерации

Приложение ДА
(справочное)

Сведения о соответствии ссылочных международных стандартов ссылочным национальным стандартам приведены в таблице ДА.1.


Таблица ДА.1

Библиография

Электронный текст документа
и сверен по:
официальное издание
М.: Стандартинформ, 2012