ГОСТ Р 54411-2011/ISO/IEC/TR 24722:2007
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Информационные технологии
БИОМЕТРИЯ
Мультимодальные и другие мультибиометрические технологии
Information technologiy. Biometrics. Multimodal and other multibiometric fusion
ОКС 35.040
Дата введения 2013-07-01
Предисловие
1 ПОДГОТОВЛЕН Научно-исследовательским и испытательным центром биометрической техники Московского государственного технического университета имени Н.Э.Баумана (НИИЦ БТ МГТУ им.Н.Э.Баумана) на основе собственного перевода на русский язык англоязычной версии международного документа, указанного в пункте 4, при консультативной поддержке Ассоциации автоматической идентификации "ЮНИСКАН/ГС1 РУС"
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 355 "Технологии автоматической идентификации и сбора данных и биометрия"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 21 сентября 2011 г. N 325-ст
4 Настоящий стандарт идентичен международному документу ISO/IEC TR 24722:2007 "Информационные технологии. Биометрия. Мультимодальные и другие мультибиометрические технологии" (ISO/IEC TR 24722:2007 "Information Technology - Biometrics - Multimodal and other multibiometric fusion", IDT).
________________
* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .
5 ВВЕДЕН ВПЕРВЫЕ
6 ПЕРЕИЗДАНИЕ. Ноябрь 2018 г.
7 Особое внимание следует обратить на то, что некоторые элементы настоящего стандарта могут быть объектами получения патентных прав. ИСО и МЭК не несут ответственности за установление подлинности таких патентных прав
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
Введение
Для реализации некоторых биометрических приложений требуется такой уровень технических характеристик, который трудно обеспечить с помощью одной биометрической характеристики. Такие приложения позволяют избегать использования нескольких приложений для проверки документов, удостоверяющих личность, а также для обеспечения безопасности при авиаперелетах. Кроме того, такие приложения необходимы для людей, которые по той или иной причине не могут предоставить качественные биометрические образцы некоторых биометрических модальностей.
Использование большого числа биометрических характеристик, получаемых в результате применения нескольких независимых датчиков, алгоритмов или модальностей, как правило, обеспечивает улучшение технических характеристик и снижение уровня риска. К данным характеристикам относятся также эксплуатационные характеристики в случае, когда доступны не все биометрические характеристики, так как обеспечивается возможность принятия решения о допуске/недопуске пользователя при наличии любого числа характеристик.
В настоящем стандарте установлены требования к разработке стандартов на мультибиометрические системы, в частности, на различные типы объединения.
1 Область применения
Настоящий стандарт распространяется на современные разработки в области мультимодальных и других мультибиометрических технологий. В стандарте также рассмотрены вопросы стандартизации мультибиометрических систем.
Настоящий стандарт устанавливает требования к описанию общих понятий методов мультибиометрических объединений, включая мультимодальное, мультиэкземплярное, мультидатчиковое, мультиалгоритмическое объединения, логику на уровне принятия решения и логику на уровне степеней схожести.
2 Терминология
Термины, приведенные в разделе 3, установлены с целью разделения понятий "мультибиометрический" и "мультимодальный", которые часто используют в литературе как синонимы. В таблице 1 приведен перечень модальностей, соответствующий Единой структуре форматов обмена биометрическими данными (ЕСФОБД) [30]. Различие между традиционной и нетрадиционной модальностями является субъективным и обусловлено уровнем развития той или иной биометрической технологии.
Таблица 1 - Биометрические модальности
Биометрическая модальность | Биометрическая характеристика |
Традиционная | Лицо |
Голос | |
Палец | |
Радужная оболочка глаза | |
Сетчатка глаза | |
Геометрия кисти руки | |
Подпись | |
Нетрадиционная | Клавиатурный почерк |
Движение губ | |
Походка | |
Сосудистое русло | |
ДНК | |
Ухо | |
Ступня | |
Запах | |
Мультимодальность | Несколько биометрических характеристик |
Другая | - |
Примечание - Данная таблица соответствует приведенной в ИСО/МЭК 19785-1:2006 таблице 1 "Абстрактные значения элемента данных CBEFF_BDB_biometric_type".
3 Термины и определения
Примечание - В настоящем разделе приведены две категории терминов:
- термины, относящиеся к мультимодальной и мультибиометрической системам;
- термины, не относящиеся к мультимодальной и мультибиометрической системам, но необходимые для пояснения терминов первой категории, которые не определены в [33].
Определения других терминов приведены в [33].
В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1 биометрическая характеристика (biometric characteristic): Биологическая или поведенческая характеристика субъекта, позволяющая выявить уникальные, стабильные и собираемые биометрические признаки для автоматического распознавания субъекта.
Примечание 1 - Биологические и поведенческие характеристики - это физические свойства частей человеческого тела, физиологические и поведенческие процессы, совершаемые телом, и их комбинации.
Примечание 2 - Различие не обязательно предполагает индивидуализацию.
Пример - Гребешковая структура Гальтона, топография лица, текстура кожи лица, топография руки, топография пальца, структура радужной оболочки глаза, структура сосудистого русла, структура гребешковой кожи пальцев и ладоней и узор сетчатки глаза.
3.2 биометрическая модальность (biometric modality): Биометрическая характеристика, применяемая в биометрическом процессе.
3.3 биометрический процесс (biometric process): Автоматический процесс, использующий одну или более биометрических характеристик одного человека для регистрации, верификации или идентификации.
3.4 биометрическое объединение (biometric fusion): Комбинация данных нескольких источников, т.е. датчиков, модальностей, алгоритмов, экземпляров и представлений данных.
3.5 последовательная система (cascaded system): Система, использующая пороги принятия решения для биометрических образцов с целью определения того, требуются ли дополнительные биометрические образцы для принятия решения о допуске/недопуске.
3.6 многоуровневая система (layered system): Система, использующая отдельные степени схожести с целью определения порогов принятия решения при обработке биометрических данных.
3.7 мультиалгоритмический (multialgorithmic): Использующий несколько алгоритмов для обработки одного биометрического образца.
3.8 мультибиометрический (multibiometric): Относящийся к мультибиометрии.
Примечание - В мультибиометрии различают пять категорий: мультимодальная, мультиэкземплярная, мультидатчиковая, мультиалгоритмическая и мультипредставление.
3.9 мультибиометрический процесс (multibiometric process): Процесс, включающий в себя применение биометрического объединения.
3.10 мультибиометрия (multibiometrics): Автоматическое распознавание личности субъекта, основанное на его биологических и поведенческих характеристиках и включающее в себя применение биометрического объединения.
3.11 мультиэкземплярный (multiinstance): Использующий несколько биометрических экземпляров в рамках одной биометрической модальности.
Пример - Радужная оболочка глаза (левая) + радужная оболочка глаза (правая), отпечаток пальца (левого указательного) + отпечаток пальца (правого указательного).
3.12 мультимодальный (multimodal): Использующий несколько различных биометрических модальностей.
Пример - Отпечаток пальца + лицо.
3.13 мультипредставление (multipresentation): Использование нескольких представлений образцов одного экземпляра биометрической характеристики или единственного представления, являющегося результатом получения нескольких образцов.
Пример - Несколько кадров изображения лица, сделанных видеокамерой (возможно, но не обязательно последовательных).
Примечание - При использовании объединения биометрия мультипредставления является формой мультибиометрии.
Объединение и нормализацию применяют для обобщения данных нескольких представлений одного биометрического экземпляра.
3.14 мультидатчиковый (multisensorial): Использующий несколько датчиков для получения образцов одного биометрического экземпляра.
Примеры
1 Для лица: датчики для получения изображений в инфракрасном и в видимом диапазонах длин волн, датчики для получения двумерных и трехмерных изображений.
2 Для отпечатка пальца: оптические, электростатические и акустические датчики.
3.15 последовательное представление (sequential presentation): Представление биометрических образцов в виде отдельных событий для использования при биометрическом объединении.
3.16 одновременное представление (simultaneous presentation): Представление биометрических образцов в виде одного события для использования при биометрическом объединении.
4 Обзор мультимодальных и других мультибиометрических систем
4.1 Общие положения
Понятия мультимодальный и мультибиометрический указывают на применение более одной модальности, одного датчика, одного экземпляра и/или алгоритма в той или иной комбинации для принятия определенного решения в отношении биометрической идентификации или верификации. Метод объединения нескольких образцов, степеней схожести или решений о схожести может быть элементарным или сложным с математической точки зрения. В настоящем стандарте под любым методом комбинирования подразумевается одна из форм объединения. Методы комбинирования рассмотрены в разделе 5.
Мультимодальная биометрия появилась в 70-х годах XX века. Комбинированные измерения стали рассматриваться как перспективные для биометрических систем. Считалось, что комбинация нескольких измерений повысит уровень безопасности путем уменьшения вероятности ложного допуска, а также уровень удобства пользователя путем уменьшения вероятности ложного недопуска. Применение данных методов обеспечило успешное внедрение автоматической системы распознавания отпечатков пальцев (АСРОП), начатое в 80-е годы. В АСРОП ранее не использовались мультимодальные технологии, однако большинство методов объединения, приведенных в настоящем стандарте, успешно реализованы при использовании только отпечатков пальцев. Некоторые виды объединения, реализованные в АСРОП, включают в себя:
- объединение изображений (образцов) для создания одного прокатанного изображения на основе серии плоских оттисков с помощью устройства, сканирующего в режиме реального времени;
- объединение шаблонов при использовании алгоритмов извлечения нескольких признаков из каждого изображения отпечатка пальца;
- мультиэкземплярное объединение при использовании отпечатков десяти пальцев;
- объединение мультипредставлений при использовании прокатанных и оттисковых изображений отпечатков пальцев;
- объединение алгоритмов с целью повышения эффективности (уменьшения затрат, уменьшения количества вычислений, увеличения пропускной способности). В основном устройства сопоставления применяют как набор фильтров в порядке возрастания вычислительной сложности. Данные устройства, как правило, реализуются как сочетание объединения на уровне принятия решения и объединения на уровне степеней схожести;
- объединение алгоритмов с целью повышения точности (уменьшения вероятности ложного допуска и/или вероятности ложного недопуска, снижения чувствительности к данным низкого качества). Устройства сопоставления применяют параллельно с объединением конечных степеней схожести.
Методы объединения способствовали внедрению АСРОП, так как обеспечили улучшение показателей точности и эффективности.
До настоящего момента в работах по мультибиометрии внимание акцентировалось только на уменьшении числа ошибок ложного допуска и ложного недопуска. В [65] рассмотрено использование мультибиометрии в целях улучшения показателей удобства применения, безопасности и точности. Основные различия между мультибиометрическими категориями приведены в таблице 2. Ключевой термин, определяющий наименование категории, выделен жирным шрифтом.
Таблица 2 - Элементарные двухкомпонентные мультибиометрические категории
Категория | Модальность | Алгоритм | Биометрическая характеристика (например, часть тела) | Датчик |
Мультимодальная | 2 (всегда) | 2 (всегда) | 2 (всегда) | 2 (обычно) |
Мультиалгоритмическая | 1 (всегда) | 2 (всегда) | 1 (всегда) | 1 (всегда) |
Мультиэкземплярная | 1 (всегда) | 1 (всегда) | 2 экземпляра одной характеристики (всегда) | 1 (обычно) |
Мультидатчиковая | 1 (всегда) | 1 (обычно) | 1 (всегда, тот же экземпляр) | 2 (всегда) |
Мультипредставление | 1 | 1 | 1 | 1 |
Возможны случаи, когда два образца с разных датчиков могут быть обработаны сначала с помощью отдельных алгоритмов "выделения признаков", а затем с помощью общего алгоритма сопоставления ("полуторный алгоритм") или с помощью двух разных алгоритмов. Исключением является случай, когда мультимодальную систему с одним датчиком используют для получения двух разных модальностей. Например, изображение высокого разрешения используют для выделения лица и радужки или лица и структуры лица. Исключением может являться использование двух отдельных датчиков для получения одного экземпляра, например двухпальцевого датчика отпечатков пальцев. |
Мультимодальные биометрические системы принимают входящий сигнал с одного или множества датчиков, которые получают биометрические характеристики двух или более модальностей. Например, одна система, комбинирующая информацию о лице и радужной оболочке глаза для биометрического распознавания, рассматривается как мультимодальная система независимо от того, разными устройствами были получены изображения лица и радужной оболочки глаза или одним и тем же. Не требуется, чтобы разные измерения были объединены математически. Например, система с распознаванием отпечатка пальца и голоса будет считаться мультимодальной даже при использовании алгоритма "ИЛИ", позволяющего распознавать пользователя с помощью той или другой модальности.
Мультиалгоритмические биометрические системы получают один образец с одного датчика и обрабатывают данный образец с помощью двух и более алгоритмов. Данный метод может быть применен к любой модальности. Максимальный эффект может быть получен при применении алгоритмов, основанных на различных независимых принципах (такие алгоритмы называют ортогональными).
Мультиэкземплярные биометрические системы применяют один (несколько) датчик(ов) для получения образцов двух или более различных экземпляров одной и той же биометрической характеристики. Например, системы, получающие изображения нескольких пальцев, считают мультиэкземплярными, а не мультимодальными. Однако системы, получающие, например, последовательные кадры изображений лица или радужки, рассматривают как системы мультипредставления, а не мультиэкземплярные.
Мультидатчиковые биометрические системы получают один и тот же экземпляр биометрической характеристики с помощью двух или более различных датчиков. Обработку нескольких образцов проводят с помощью одного алгоритма или комбинации нескольких алгоритмов. Например, приложение по распознаванию лица можно использовать как камеру, работающую в видимом диапазоне, так и инфракрасную камеру, работающую на определенной длине(ах) волны (волн) инфракрасного излучения.
Для определенных приложений при эксплуатации существует множество компромиссных решений, позволяющих улучшить эксплуатационные характеристики (точность идентификации или верификации, скорость и пропускную способность системы, устойчивость к ошибкам и потребность в ресурсах), повысить устойчивость к обману, удобство использования, устойчивость к воздействию факторов окружающей среды, снизить затраты [44].
Для крупномасштабных систем распознавания личности существуют дополнительные требования, такие как эффективность работы и наличие технической поддержки, надежность, стоимость приобретения, стоимость жизненного цикла и плановый ответ системы на идентифицированные способы атаки, влияющие на корректную работу системы [44].
4.2 Одновременное и последовательное представления
4.2.1 Обобщенная модель мультибиометрической системы
Обобщенная модель мультибиометрической системы изображена на рисунке 1. В данной модели присутствуют три биометрических образца (, , ) трех уникальных биометрических модальностей, кроме случаев, когда указано иное. Субъект представляет системе биометрическую(ие) характеристику(ки). Существует два метода представления характеристик в зависимости от схемы системы: 1) одновременный и 2) последовательный.
Примечание - Метод представления данных (одновременный или последовательный) отличается от метода объединения. Данная информация приведена с целью иллюстрации факторов, которые могут влиять на схему мультибиометрической системы.
4.2.2 Одновременное представление
При одновременном представлении получают биометрический(ие) образец(цы) нескольких модальностей как одно событие (например, лицо и радужная оболочка глаза, зарегистрированные одной камерой). Схемы систем, в которых используется одновременный сбор данных, следует применять в приложениях с высокой пропускной способностью за счет возможного дополнительного усложнения (для синхронизации набора образцов) или за счет трудности при использовании (дуальное взаимодействие датчиков, постановка пользователем нескольких задач).
4.2.3 Последовательное представление
При последовательном представлении биометрический(ие) образец(цы) получают от одной или нескольких модальностей как отдельные события. Последовательное получение может быть осуществлено с помощью трех следующих методов. Первый - мультиэкземплярный метод, заключается в использовании двух или более экземпляров одной модальности (например отпечатка левого указательного пальца и отпечатка правого указательного пальца). В данном примере единственное устройство, считывающее цифровое изображение отпечатка пальца, используется последовательно дважды. Второй - мультимодальный метод, заключается в использовании нескольких разных биометрических модальностей, полученных с одного или более датчиков, например последовательное получение изображений руки и лица. Третий - мультидатчиковый метод, заключается в использовании двух или более отдельных датчиков для получения одной (нескольих) биометрической(их) характеристики(ик), но не одновременно. Во избежание путаницы с мультимодальным методом, когда возможно получение биометрической(их) характеристики(ик) с двух или более отдельных датчиков, мультидатчиковый метод называют "унимодальный мультидатчиковый метод". Примерами для распознавания лица являются датчики для получения изображений в инфракрасном и в видимом диапазонах длин волн, датчики для получения двумерных и трехмерных изображений; датчики для распознавания отпечатка пальца: оптические, электростатические и акустические.
4.3 Взаимосвязь данных
В мультимодальных биометрических системах объединяемые данные могут быть взаимосвязаны на нескольких уровнях [57]:
- взаимосвязь между модальностями: данная взаимосвязь имеет отношение к биометрическим образцам, которые физически связаны, например речь и движение губ пользователя;
- взаимосвязь, возникающая вследствие идентичности биометрических образцов: случай в мультиалгоритмических системах, когда один и тот же биометрический образец (например, изображение отпечатка пальца) или подмножества биометрического образца (например, голос, когда весь образец может быть использован одним алгоритмом и часть образца - другим) используются разными алгоритмами извлечения признаков и алгоритмов сопоставления (например, сопоставление на основе контрольных точек и сопоставление на основе текстуры);
Рисунок 1 - Модель мультибиометрической системы
- взаимосвязь значений признаков: подмножество значений признаков, представляющих собой векторы признаков разных модальностей, могут быть взаимосвязаны, например площадь ладони пользователя (геометрия кисти руки) может быть связана с шириной лица;
- взаимосвязь экземпляров, возникающая при общей технике эксплуатации (например, использование одного и того же устройства регистрации, один и тот же уровень подготовки оператора);
- взаимосвязь экземпляров, возникающая вследствие особенностей субъекта (например, цветные контактные линзы на обоих глазах).
Для определения уровня взаимосвязи необходимо проверить степени схожести (или решение о допуске/недопуске), имеющие отношение к устройствам сопоставления, используемым в схеме объединения. В [57] указано, что объединение взаимно независимых классификаторов приводит к значительному улучшению эффективности сопоставления.
Для двух достаточно точных классификаторов, включенных в схему объединения, выходные данные, полученные на основе входных данных от одного и того же субъекта, могут быть взаимосвязаны. Поэтому целесообразно рассматривать взаимосвязь ошибок классификаторов согласно [20].
Корреляцию вычисляют по формуле
,
где - число тестируемых классификаторов;
- общее число входных данных;
- число входных данных, ошибочно классифицируемых всеми классификаторами при использовании порога ;
- число входных данных, правильно классифицируемых всеми классификаторами при использовании порога .
Примечание - Формулу используют для вычисления корреляции ошибок на уровне принятия решения.
5 Уровни комбинирования
5.1 Обзор
Для определения уровней комбинирования в мультибиометрических системах в настоящем разделе приведен элементарный биометрический процесс, а также блоки, входящие в него, на примере системы аутентификации. На рисунке 2 показана блок-схема элементарного биометрического процесса.
Рисунок 2 - Элементарный (универсальный) биометрический процесс
Биометрический образец, полученный с биометрического датчика (например, изображение отпечатка пальца), направляется в модуль извлечения признаков. В модуле извлечения признаков с помощью методов обработки сигналов происходит преобразование образца в признаки (например, контрольные точки отпечатка пальца), формирующее представление, подходящее для процесса сопоставления. Как правило, несколько признаков собираются в вектор признаков. На вход модуля сопоставления поступает вектор признаков, который сравнивается с имеющимся шаблоном. Результатом является степень схожести, которая используется в модуле принятия решения для определения (например, с помощью порога), соответствует ли представленный образец имеющемуся шаблону. Результат данного решения является бинарным: соответствует или не соответствует.
В мультибиометрии выделяют несколько уровней, на которых может происходить объединение:
а) уровень принятия решения: каждый элементарный биометрический процесс на выходе предоставляет булев результат; эти результаты объединяются с помощью комбинирующего алгоритма, такого как логические функции "И" и "ИЛИ", используя параметры, такие как показатели качества образца, в качестве входных данных;
b) уровень степеней схожести: каждый элементарный биометрический процесс, как правило, предоставляет на выходе одну или несколько степеней схожести, которые объединяются в одну степень схожести или одно решение, в дальнейшем сопоставляемое с порогом принятия решения системы;
c) уровень признаков: каждый элементарный биометрический процесс предоставляет на выходе набор признаков, которые объединяются в один набор признаков или вектор;
d) уровень образцов: каждый элементарный биометрический процесс предоставляет на выходе набор образцов, которые объединяются в один образец.
Объединение на уровнях a) и b) происходит до сопоставления, объединение на уровнях c) и d) происходит после сопоставления. Несмотря на то что объединение возможно на всех уровнях, объединение на уровне признаков, на уровне степеней схожести и на уровне принятия решения используют наиболее часто. На рисунке 3 представлены различные уровни объединения для мультимодальной системы [7], [45].
а)
b)
Рисунок 3, лист 1 - Уровни объединения для мультимодальной системы
c)
d)
а) объединение на уровне принятия решения; b) объединение на уровне степеней схожести; с) объединение на уровне признаков; d) объединение на уровне образцов
Примечание - Образец 1 и образец 2 на рисунке 3 с) могут быть одним образцом.
Рисунок 3, лист 2
Для одновременного или последовательного получения биометрического образца извлекают признаки и сопоставляют с шаблоном. , и (см. рисунок 1) относятся к степени схожести после сравнения с шаблоном. Процесс определения степеней схожести зависит от системы и не рассматривается в настоящем стандарте. Затем степени схожести , и поступают в модуль объединения для получения итогового результата. В мультибиометрических системах объединение может происходить на уровне принятия решения или на уровне степеней схожести.
5.2 Объединение на уровне принятия решения
5.2.1 Простое объединение на уровне принятия решения
Объединение на уровне принятия решения происходит после того, как для каждого биометрического компонента будет принято решение о соответствии, основанное на бинарном результате (совпадение/несовпадение) модуля принятия решения [см. рисунок 3 а)].
Для биометрических систем, состоящих из небольшого числа компонентов, рекомендуется присвоить логические показатели выходным данным сопоставления, чтобы правила объединения можно было выразить как логические функции. Значения двух наиболее часто применяемых логических функций "И" и "ИЛИ", для двух блоков выходных данных уровня принятия решения представлены в таблице 3.
Таблица 3 - Значение логических функций "И" и "ИЛИ" при объединении решений для двух биометрических модальностей
Решение | Решение | Результат объединения "И" | Результат объединения "ИЛИ" |
X | X | X | X |
X | X | ||
X | X | ||
Примечание - X - несовпадение, - совпадение. |
Для биометрических систем, использующих несколько компонентов, разработаны схемы голосования в качестве правил объединения, наиболее распространенным из которых является правило голосования путем большинства. Логические функции "И" и "ИЛИ" являются конкретными примерами схемы голосования.
5.2.2 Модифицированное объединение на уровне принятия решения
5.2.2.1 Обобщенная модель
Объединение на уровне принятия решения основано на индивидуальных для каждого образца решениях о допуске/недопуске. Существует два вида модифицированных объединений на уровне принятия решения: 1) многоуровневое объединение и 2) последовательное объединение. В многоуровневой системе применяют индивидуальные биометрические степени схожести для определения порогов принятия решения для обработки других биометрических данных. В последовательных системах используют пороги принятия решений биометрических образцов конкретной модальности для определения, требуются ли дополнительные биометрические образцы других модальностей для принятия общего системного решения. Схемы объединения на уровне принятия решения для вышеуказанных видов приведены на рисунке 4.
5.2.2.2 Многоуровневая система
Независимо от того, является ли представление одновременным или последовательным, степень схожести поступает на вход многоуровневой системы. Система обрабатывает степень схожести с учетом установленного порога. Если степень схожести проходит критерий/порог для модальности , то на основании выходных данных регулируют (повышают или понижают) порог, необходимый для прохождения модальности . Если не проходит критерий/порог для модальности , то на основании выходных данных следует повысить порог, необходимый для модальности . После окончания обработки и сброса пороговых требований для модальности степень схожести поступает на вход системы. Аналогично процесс повторяется для и . После окончания обработки модальности принимают окончательное решение о допуске/недопуске.
5.2.2.3 Последовательная система
Независимо от того, является ли представление одновременным или последовательным, последовательные системы основываются на данных по крайней мере одного биометрического образца. Если первый образец не соответствует требованиям, то происходит сопоставление дополнительных образцов. Согласно рисунку 4 степень схожести поступает на вход системы и сопоставляется с пороговым значением . Если степень схожести превышает пороговое значение , то последующее решение принимают на основании уровня достоверности результата (которая может зависеть от качества образца). Если уровень достоверности является достаточным, то принимается положительное решение о допуске. Если степень схожести не превышает пороговое значение или превышает, но оказывается недостаточно достоверной, то последовательная система использует степень схожести . Данный процесс повторяется для степеней схожести и . В последовательных системах могут не использоваться степени схожести и , если степень схожести превышает пороговое значение и имеет достаточный уровень достоверности.
5.3 Объединение на уровне степеней схожести
5.3.1 Обзор
При объединении на уровне степеней схожести каждая система предоставляет степень схожести вектора признаков и вектора шаблонов. Данные степени схожести в дальнейшем могут быть комбинированы с целью повышения эффективности сопоставления.
С теоретической точки зрения биометрические процессы могут быть комбинированными для гарантированного повышения эффективности сопоставления. Степени схожести любого количества процессов могут быть скомбинированы таким образом, что мультибиометрическая комбинация (в среднем) будет не хуже, чем лучший из отдельных биометрических процессов. Основной задачей является правильный выбор метода комбинирования данных и повышения эффективности сопоставления.
Алгоритм действий для комбинации степеней схожести в мультибиометрической системе должен соответствовать хотя бы двум основополагающим правилам. Во-первых, каждый биометрический процесс должен предоставить степень схожести, а не однозначное решение о допуске/недопуске, и передать его мультибиометрическому комбинатору. Во-вторых, еще до начала эксплуатации мультибиометрическому комбинатору должны быть переданы технические характеристики (такие как распределения степеней схожести) каждого биометрического процесса в установленной форме.
Рисунок 4 - Модифицированное объединение на уровне принятия решения
Как система верификации (1:1), так и система идентификации (1:N) поддерживают объединение на уровне степеней схожести. Однако идентификационные системы также могут интегрировать доступную информацию на уровне категорий (что является формой уровня степеней схожести с множеством степеней схожести или признаками, основанными на степенях схожести). В системах идентификации шаблон биометрического образца сопоставляется с шаблонами из базы данных, в результате чего образуется ряд степеней схожести. В [23] описаны три метода комбинирования категорий, установленных разными комбинаторами. В методе высшей категории при обработке разными комбинаторами каждому возможному совпадению присваивают высшую (максимальную) категорию. При приведении к ранжированной последовательности привязки нарушаются, а итоговое решение принимают на основе комбинированных категорий. В методе подсчета Борда применяется сумма категорий, назначенная индивидуальными устройствами сопоставления для подсчета комбинированных категорий. Метод логистической регрессии является обобщенным методом подсчета Борда, когда подсчитывают сумму индивидуальных категорий с присвоенным весовым коэффициентом, а веса определяют с помощью логистической регрессии.
5.3.2 Нормализация степеней схожести
При применении метода нормализации степеней схожести осуществляют попытку расположить степень схожести каждого биометрического процесса в общей области. Некоторые подходы основаны на лемме Неймана-Пирсона с упрощением предположений. Например, приведение степеней схожести к отношениям правдоподобия позволяет комбинировать их путем умножения при условии предположения о независимости. Другие подходы могут быть основаны на изменении иных статистических критериев распределений степеней схожести.
Параметры, применяемые при нормализации, могут быть определены с помощью установленной обучающей последовательности или основаны на текущем векторе признаков.
Примечание - Вычисленная характеристика может относиться только к "оценочным степеням схожести" базовых характеристик выборки.
Нормализация степеней схожести связана с объединением на уровне степеней схожести, так как она влияет на способ комбинирования степеней схожести и то, как они интерпретируются в терминах эксплуатационных характеристик биометрической системы согласно [36]:
a) степени схожести на выходе отдельных устройств сопоставления могут быть неоднородными. Например, на выходе одного устройства сопоставления окажется измерение различий (несхожести), а на выходе другого - измерение близости (схожести);
b) выходные данные отдельных устройств сопоставления могут находиться не на одной числовой шкале (не в одной области);
c) степени схожести на выходе устройств сопоставления могут иметь различное статистическое распределение.
По этим причинам степени схожести, как правило, нормализуются в общую область до объединения. На рисунке 5 изображена схема объединения на уровне степеней схожести для обработки двух биометрических образцов с учетом нормализации.
Рисунок 5 - Структура объединения на уровне степеней схожести
В таблице 5 приведены наиболее распространенные методы нормализации степеней схожести. Некоторые методы объединения непосредственно используют функции плотности распределения вероятностей (ФПРВ) и требуют применения методов нормализации.
В таблице 4 приведены обозначения, используемые также в таблице 5. В некоторых случаях ФПРВ применяют для преобразования исходных степеней схожести непосредственно в вероятность ложного допуска, что приводит, таким образом, к принятию решения без необходимости перенесения исходных степеней схожести в нормированную область значений при помощи нормализации.
Таблица 4 - Обозначения, используемые в формулах нормализации степеней схожести
Статистический параметр | Обозначения | ||
Распределение подлинных пользователей | Распределение "самозванцев" | Распределение подлинных пользователей и "самозванцев" | |
Минимальное значение | |||
Максимальное значение | |||
Среднее значение | |||
Медиана | |||
Стандартное отклонение | |||
Константа | |||
ФПРВ | - | ||
Центр перекрытия ФПРВ | |||
Ширина перекрытия ФПРВ | |||
Примечание - - степень подобия, - подлинный пользователь, - "самозванец", - подлинный пользователь и "самозванец". |
Таблица 5 - Примеры методов нормализации степеней схожести
Метод | Формула | Элементы данных | Примечание |
Минимум - максимум (ММ) | ; | В данном методе используют эмпирические данные (теоретические или предоставленные поставщиком предельные значения). Метод не учитывает нелинейность | |
Показатель | ; | Данный метод предполагает нормальное распределение, позволяет осуществлять симметричную нормализацию относительно среднего значения, предполагает стабильность обоих распределений по выборкам | |
Абсолютное медианное отклонение () | ; | Данный метод предполагает стабильность обоих распределений по выборкам | |
Гиперболический тангенс () | ; | В данном методе используется среднее значение и изменение распределения преобразованных данных. Метод предполагает стабильность обоих распределений по выборкам | |
Адаптивный () (см. [63]): а) биквадратичный () | Данный метод предполагает нелинейность, включает в себя три метода моделирования, предполагает стабильность обоих распределений по выборкам. | ||
b) логический | - показатель адаптивной нормализации; - показатель нормализации при использовании метода минимума-максимума; | ||
с) квадратичный - линейный - квадратичный () | ; ; ; ; | - центр перекрытия степеней схожести подлинных пользователей и "самозванцев"; - ширина перекрытия; - малая величина (0,01 по [63]) | |
Биометрический коэффициент усиления против "самозванцев" () | ; где - значение при степени схожести ; | ; | Метод предполагает стабильность обоих распределений по выборкам |
БиоАПИ | Метод предполагает стабильность распределения "самозванцев" | ||
Метод подсчета Борда | - Категория (), где - число альтернатив | Категория | Метод применяют только при сопоставлении 1:N |
Примечание - В таблице представлены два типа метода нормализации: 1 - метод, преобразующий параметры расположения и масштаба распределения степеней схожести, и 2 - метод, определяющий только область перекрытия степеней схожести подлинных пользователей и "самозванцев". Таким образом, методы минимума-максимума, показателя , и относятся к типу 1, а методы и - к типу 2. Обычно метод типа 2 применяют после использования одного из методов типа 1. |
5.3.3 Методы объединения степеней схожести
Если выходными данными отдельных биометрических систем сопоставления является набор возможных совпадений, а также степень качества каждого совпадения (степень схожести), интеграция может быть выполнена на уровне степеней схожести. Данную интеграцию также называют объединением на уровне характеристик или на уровне доверия. Степень схожести на выходе, полученная с устройства сопоставления, содержит наиболее полную информацию о входном биометрическом образце, но не включает в себя информацию на уровне признаков и датчиков. Кроме того, проще получить доступ и комбинировать степени схожести, представленные несколькими различными устройствами сопоставления. Вследствие этого интеграция данных на уровне степеней схожести является наиболее распространенным подходом в системах мультимодальной биометрии. В таблице 6 приведены основные принципы нескольких методов объединения и соответствующие данные, характеризующие эффективность сопоставления.
В случае верификации применяют два метода объединения на уровне степеней схожести. Один заключается в трактовке объединения как задачи классификации, второй - как задачи комбинации [36], [39]. При классификационном методе вектор признаков создается с помощью выходных степеней схожести, полученных с отдельных устройств сопоставления. Затем вектор признаков относят к одному из двух классов: "допуск" (подлинный пользователь) или "недопуск" ("самозванец"). Классификатор, используемый в этих целях (например, дерево принятия решений, нейронная сеть, метод опорных векторов, метод k-ближайших соседей, ансамбль решающих деревьев и т.д.), позволяет определить разделяющую поверхность независимо от способа создания вектора признаков [6], [65], [66]. Вследствие этого выходные степени схожести разных модальностей могут быть неоднородными (показатель различий или близости, разные области числовых значений и т.д.), и до их предоставления классификатору обработка не требуется. При комбинационном методе отдельные степени схожести объединяются для создания единой скалярной степени схожести, которая впоследствии применяется для принятия окончательного решения [42]. Для обеспечения комбинирования степеней схожести разных модальностей степени схожести еще до комбинирования в случае необходимости могут быть переведены в общую область. Это действие называется нормализацией степеней схожести (см. пункт 5.3.2 настоящего стандарта и [27]).
При классификационном методе применяется схема модуля объединения для поиска оптимального классификатора для разделения пользователей на два класса: подлинных пользователей и "самозванцев". Для этого классификатор определяет две области принятия решения в пространстве вектора признаков: первую - для класса подлинных пользователей и вторую - для класса "самозванцев". Данные области отделены друг от друга разделяющей поверхностью, форма которой должна быть оптимизирована в процессе разработки схемы модуля объединения. Разделяющая поверхность может иметь разную форму в зависимости от сложности и характера распределения двух классов. Она может быть простой (например, линия в линейных дискриминантных функциях) или более сложной (например, как в многоместных нейронных сетях и методах опорных векторов). Разделяющие поверхности могут быть определены статистическими методами, например методом отношения правдоподобия Неймана-Пирсона. Независимо от выбранного метода основная цель заключается в нахождении разделяющих поверхностей, улучшающих процесс классификации для соответствующих приложений.
Комбинационные методы представляют собой простые и эффективные методы биометрического объединения в том случае, если степени схожести однородны или могут быть нормализированы. Именно из-за простоты и эффективности комбинационные методы являются одними из наиболее часто применяемых методов в мультибиометрических системах. Теоретическая структура комбинационных классификаторов Киттлера [42] описывает наиболее распространенные методы: произведение, сумму, максимум, минимум, усреднение. Каждый из этих методов использует простые или основанные на правилах арифметические действия для комбинирования степеней схожести нескольких источников. Данные методы позволяют присваивать вес степени (степеням) схожести [1]. При наличии большого количества информации о распределении степеней схожести применяют байесовские статистические вычисления при комбинировании степеней схожести различных биометрических устройств сопоставления согласно [3]. В данных методах учитывается оценочная точность отдельных классификаторов в процессе объединения. В общем случае процесс объединения считают выполненным по Байесу, если имеется достаточно данных для обучения. и обозначают плотности вероятности распределения степени схожести (соответствующего -й модальности) исходя из предположений подлинный пользователь и "самозванец" соответственно. Простой классификатор Байеса (ПКБ) принимает решение о совпадении/несовпадении основываясь на апостериорных плотностях вероятностей и . При недостатке данных для обучения (степени схожести подлинного пользователя и "самозванца" совпадают) правильно оценить плотность совместного распределения, включающую в себя несколько модальностей, невозможно. Таким образом, апостериорная вероятность может быть оценена по произведению отдельных плотностей вероятности, то есть и .
Таблица 6 - Примеры методов объединения степеней схожести
Метод | Формула объединения степеней схожести | Требуемые данные характеризации | |||||
Нет | , | Персо- | |||||
Простая сумма | о | ||||||
Минимальная степень схожести | о | ||||||
Максимальная степень схожести | о | ||||||
Взвешивание устройством сопоставления | о | ||||||
Взвешивание устройством сопоставления с объединением ФПРВ для принятия решения по [64] | о | о | |||||
Взвешивание пользователем | о | ||||||
Взвешенное произведение | о | ||||||
Сумма вероятностей подлинных пользователей | о | ||||||
Сумма вероятностей "самозванцев" | о | ||||||
Произведение вероятностей подлинных пользователей | о | ||||||
Произведение вероятностей "самозванцев" | о | ||||||
[60, 61] | о | о | |||||
Отношение правдоподобия по [51] | о | о | |||||
k-ближайших соседей | - | о | |||||
Дерево принятия решений | - | о | |||||
Опорные векторы | - | о | |||||
Анализ дискриминанта | - | о | |||||
Нейронная сеть | - | о | |||||
Примечание - В таблице использованы следующие обозначения и сокращения: - - -я биометрическая степень схожести; - - число входных данных объединения; - - -я нормализованная степень схожести; - - -й весовой коэффициент устройства сопоставления; - - -й весовой коэффициент пользователя; - - -й весовой коэффициент устройства сопоставления в случае объединения ФПРВ; - - биометрический коэффициент усиления против "самозванцев"; - - ФПРВ вероятностей степеней схожести подлинных пользователей для каждой размерности; - - ФПРВ степеней схожести "самозванцев" для каждой размерности; - - уровень равной вероятности ошибок; - - -размерный вектор степеней схожести подлинных пользователей, где - число модальностей; - - -размерный вектор степеней схожести "самозванцев", где - число модальностей; - - число модальностей; - - - размерный вектор степеней схожести "самозванцев", где - число модальностей; - - значение при степени схожести ; - - значение при степени схожести . |
5.4 Объединение на уровне признаков
При комбинировании на уровне признаков объединение биометрических данных происходит после извлечения признаков до сопоставления [см. рисунок 3с)]. Существует несколько способов комбинирования признаков. Наиболее простой заключается в объединении векторов признаков (или наборов признаков, если нет скрытой взаимосвязи) и в применении метода классификации признаков к объединенному вектору признаков. В некоторых случаях применение объединения на уровне признаков более эффективно, чем применение объединения на уровне степеней схожести; оно обеспечивает улучшение общих эксплуатационных характеристик. На практике объединение на данном уровне сложно производить по следующим причинам:
- векторы признаков нескольких модальностей могут быть несовместимыми (например, множество контрольных точек пальцев и собственные коэффициенты изображения лица);
- взаимоотношения между пространствами признаков разных биометрических систем могут быть неизвестны;
- соединение двух векторов признаков может в итоге произвести вектор признаков большой размерности, что приводит к "проклятию" размерности;
- может понадобиться более сложное устройство сопоставления для работы с объединенным вектором признаков в соответствии с [56].
Несмотря на данные сложности, объединение на уровне признаков было предпринято в разных условиях. В [5] приведено описание объединения на уровне признаков модальностей лица и уха, что является свидетельством значительного улучшения производительности. В [45] приведен способ объединения отпечатка ладони и признаков геометрии кисти руки одного человека для улучшения процесса сопоставления. Данные, приведенные в этих работах, доказывают, что объединение на уровне степеней схожести эффективнее объединения на уровне признаков. Однако в [56] приведено описание комбинирования модальности лица и уха пользователя (мультибиометрическая система) наравне с каналами R, G, B изображения лица пользователя (мультидатчиковая система) на уровне признаков, с доказательством того, что схема выбора признаков может быть необходимой для улучшения процесса сопоставления на данном уровне. Таким образом, для комбинирования данных на уровне признаков требуется применение соответствующей схемы выбора признаков.
Признаки можно комбинировать более сложным способом на уровне алгоритмов путем совместной регистрации. Большинство алгоритмов извлечения признаков требуют локализации ориентиров для создания общей системы координат для извлечения признаков. В мультибиометрических системах отдельные компоненты могут обмениваться ориентирами или поддерживать их извлечение на взаимной основе. Этот метод, называемый совместной регистрацией, является одной из форм комбинирования на уровне признаков. Например, алгоритм распознавания лица может предоставить данные о положении глаза для алгоритма распознавания радужной оболочки глаза, или ориентиры глубины в системах распознавания трехмерного изображения лица могут быть применены для исправления положения лица на изображениях текстуры.
6 Данные характеризации для мультибиометрических систем
6.1 Обзор
Для мультибиометрических систем одним из наиболее важных аспектов нормализации и комбинирования является происхождение параметров для проведения нормализации и/или комбинирования. В случае комбинирования на уровне степеней схожести с использованием статистической теории сопоставления шаблонов (образцов) требуются ФПРВ степеней схожести подлинных пользователей и "самозванцев". При других случаях комбинирования на уровне степеней схожести, на уровне признаков и на уровне принятия решения важными параметрами являются те, которые необходимо получить при характеризации. Таким образом, этот вопрос является универсальным.
В данном разделе рассмотрены и проанализированы данные характеризации, ее предполагаемый(ые) источник(и), степени ее точности и адекватности (например, при наличии образцов небольших размеров или иных ограничений к выборкам образцов характеризации), а также как эти данные используют.
6.2 Применение данных характеризации при нормализации и объединении
При объединении на уровне степеней схожести комбинируют степени схожести одного или более устройств сопоставления. В случаях мультимодального и мультиалгоритмического объединений применяют два или более подобных устройств. В случаях мультидатчикового и многоэкземплярного объединений и мультипредставления, как правило, применяют одно устройство сопоставления, но в любом случае модулю объединения доступно множество степеней схожести. Распределение степеней схожести устройств сопоставления обусловлено системой сопоставления, а статистика переменных, как правило, не входит ни в одну общую область степеней схожести. Таким образом, процесс нормализации, описанный в пункте 5.3.2, необходимо провести до процесса объединения. Для проведения процессов нормализации и объединения необходимо обязательное наличие данных характеризации, рассмотренных в настоящем разделе. Самый простой вид таких данных включает в себя параметры расположения или формы каждого распределения степеней схожести. Например, в схеме объединения степеней схожести лица и отпечатка пальца будут применяться некоторые априорные оценки по медианному отклонению и абсолютному медианному отклонению (см. таблицу 5) для осуществления процесса нормализации двух степеней схожести.
Наиболее эффективным является использование полной характеристики распределения степеней схожести, доступное для распределения степеней схожести как подлинного пользователя, так и "самозванца". Таким образом, данные характеризации биометрической системы представляют собой некую репрезентативную сводную информацию о статистическом распределении ее выходных степеней схожести. Эффективная и простая характеризация является интегральной функцией распределения (), которая может быть выражена с помощью пар (, ) или какой-либо функциональной формой данных (см. [18], [40]).
7 Область применения и виды стандартизации
7.1 Общие положения
В настоящем стандарте приведены способы комбинирования, мультибиометрической обработки и выполнения биометрического объединения. С учетом их сложности и количества необходимо понимать, что все методы не могут быть описаны в стандарте. Для определения методов, которые следует изучать в дальнейшем в рамках процесса стандартизации, необходимо обратить внимание на требования к оперативной совместимости и в процессе разработки стандарта определить тот метод, который в большей степени соответствует этим требованиям, а также требованиям к технологической совместимости.
7.2 Области реализации
В спецификацию области применения могут быть включены области применения разрабатываемого стандарта. В некоторых случаях в самих стандартах указаны сценарии использования; для этого подкомитет ПК 37 разрабатывает стандарты на "профили приложений". Существуют четыре основных типа разрабатываемых стандартов, относящихся к биометрическому объединению:
a) форматы записи. Определение и стандартизация данных, которыми будут обмениваться процессы и которые будут храниться на различных носителях. Биометрические форматы записи установлены подкомитетом (ПК) 37/рабочая группа (РГ) 3 и являются примером данного типа стандартов;
b) структура. Определение программных пользовательских интерфейсов (АПИ) для процессов, форматов записи и процедур инициализации (определение начальных условий) процессов в системе. Структура программного интерфейса для биометрических приложений (БиоАПИ) согласно [29], установленная в ПК 37/РГ 2, является примером данного типа стандартов;
c) профиль приложений. Стандарты, указанные в перечислениях а) или b), а также иные стандарты, которые являются обязательными для определенного сценария использования. Разработка ПК 37/РГ 4 для МОТ (Международной организации труда) паспорта моряка (см. [31]) является примером данного типа стандартов;
d) критерий соответствия. Описание критериев выполнения и результатов испытаний, гарантирующих соответствие систем требованиям стандартов. Данные типы стандартов ПК 37 разрабатывает для биометрических форматов записи.
Мультибиометрические системы применяют в двух следующих случаях. Во-первых, с целью обеспечения высокой степени безопасности, когда комбинация биометрических данных предоставляет гарантию недопуска "самозванцев" при сравнительно небольшой выборке опытных пользователей. Во-вторых, при применении крупномасштабных систем идентификации, таких как системы проверки проездных документов, где мультибиометрическую комбинацию применяют для уменьшения вероятности недопуска и для упрощения эксплуатации системы при очень большой выборке неопытных пользователей.
При применении крупномасштабных систем идентификации может существовать большое количество системных интеграторов, предоставляющих компоненты для всей системы. Например, производитель электронного биометрического документа и производитель физического документа могут различаться и ни один из них может не являться поставщиком, выполняющим биометрические испытания (верификацию или идентификацию). В этом случае данный стандарт может успешно применяться, если речь идет о мультибиометрии. В связи с этим актуальной является разработка стандартов для одного или более профилей приложений биометрического объединения.
7.3 Требования к оперативной совместимости
При применении биометрического объединения должны предъявляться следующие требования к совместимости для стандартизации мультибиометрических систем:
a) требование к проектированию и сертификации (или оценке) стандартных мультибиометрических систем на основе общих требований к эксплуатационным характеристикам. Данные требования к эксплуатационным характеристикам должны быть независимы от используемой биометрической модальности. Сюда входят такие характеристики, как вероятность отказа регистрации, вероятность отказа сбора данных, вероятность ложного недопуска, вероятность ложного допуска, пропускная способность системы и устойчивость к активным атакам "самозванцев";
b) требование к проектированию стандартных мультибиометрических систем с возможностью их независимого обновления. Со временем по мере повышения точности и снижения стоимости характеристики всех биометрических устройств изменяются. Но развитие каждой отдельной биометрической системы происходит по свойственной только ей схеме. В связи с этим при возможности обновления системы частями, обновление мультибиометрической системы в целом в условиях эксплуатации станет более удобным;
c) требование к принятию стандартной мультибиометрической системой статистической информации по определенному пользователю, такой как степени схожести и время обработки. При наличии такой информации система сможет быть оптимизирована в отношении безопасности и пропускной способности для того, чтобы была возможность использовать тот тип биометрической модальности, который предпочитает конкретный пользователь;
d) требование к совместимости стандартных мультибиометрических систем с существующими стандартными биометрическими системами. В частности в ПК 37/РГ 2 описаны БиоАПИ для выходных данных элементарной биометрической системы. В разрабатываемых мультибиометрических стандартах или дополнениях к существующим стандартам должны быть учтены опыт использования поставщиков биометрических услуг (ПБУ) БиоАПИ и особенности структуры БиоАПИ (см. [29]).
7.4 Возможные виды стандартизации
7.4.1 Стандартизация форматов записи
Существует два типа элементов, выделяемых в структуре. Путем записи данных информация передается от одного процесса к другому, в результате чего процессы преобразуют один набор записей данных в другой. В настоящем подразделе рассмотрены записи данных, содержащие сравнительно небольшое количество типов записей. Так как рассмотрение форматов данных без перечисления процессов невозможно, то в данном подразделе указаны основные процессы, связанные с биометрическим объединением.
На рисунке 3 указаны следующие процессы: извлечение признаков, сопоставление, принятие решения, объединение образцов, объединение признаков, объединение степеней схожести и объединение решений. Данные процессы также приведены на рисунке 6.
Рисунок 6 - Мультибиометрические процессы, рассмотренные в разделе 5
В настоящем подразделе рассмотрены девять типов записей входных и выходных данных и процессов: биометрические образцы (входные данные), биометрические шаблоны (входные данные), извлечение признаков, степени схожести, процесс объединения образцов, процесс объединения признаков, процесс объединения степеней схожести, процесс объединения решений и процесс принятия решения. Кроме того, каждый из процессов, указанных на рисунке 6, может или должен иметь дополнительные входные данные, связанные с инициализацией, оптимизацией или сценарием использования. В процессе разработки структуры стандарта по биометрическому объединению должны быть учтены семь типов процессов и девять типов записей.
Для сокращения и последующего определения набора учитываемых записей не требуется повторного определения типов данных, которые установлены в биометрическом стандарте БиоАПИ и которые не рекомендуется изменять при использовании в мультибиометрии. Это обстоятельство исключает из списка записей биометрические образцы (типы исходных и обработанных данных БиоАПИ) и биометрические шаблоны (тип шаблона БиоАПИ). Степень схожести БиоАПИ является исключением, так как ее требуется пересмотреть при разработке стандарта на мультибиометрические системы и включить в список мультибиометрических записей.
Кроме того, каждый тип процесса объединения может поддерживаться единственной входной записью объединения, в которой содержится информация, обозначающая соответствующий сценарий использования. Таким образом, десять записей, указанных на рисунке 7, составляют оптимальный набор записей данных для стандарта на мультибиометрическую структуру. Эти записи следует использовать совместно с существующими записями отдельных биометрических систем для создания комбинированных данных.
Рисунок 7 - Записи, определенные в стандартах на мультибиометрические системы
Записи, приведенные на рисунке 7, можно сократить путем унификации определений признаков, степеней схожести и решений для процессов, которые используют эти записи в качестве входных и выходных данных. Например, решение об объединении решений и решение о принятии решения могут обслуживаться единственной записью о решении. После данного анализа остается семь основных типов записей, которые требуются для упрощенной мультибиометрической системы, согласно рисунку 8. Данные записи следует применять вместе с существующими элементарными биометрическими записями (исходные данные, обработанные данные и данные шаблона). Данные записи обеспечивают предоставление данных для обмена между процессами.
Рисунок 8 - Упрощенный набор записей, определенный в структуре стандартов на мультибиометрические системы
Упрощенный набор записей данных и процессов для биометрического объединения включает в себя семь элементов процесса и семь записей данных. Определение и использование этих элементов обусловлено требованиями к функциональной совместимости, установленными в 7.3. В частности, записи входных данных могут быть комплексными и содержать следующую информацию:
a) входная запись извлечения признаков содержит информацию о пользователе, профиле приложения и иную информацию, необходимую для извлечения признаков в определенной ситуации;
b) входная запись сопоставления является нешаблонной и используется для оптимизации или совершения процесса сопоставления, включает в себя индивидуальные данные конкретного пользователя и информацию о профиле приложения;
c) входная запись объединения содержит информацию об определенном устройстве или пользователе, необходимую для оптимизации объединения для конкретного пользователя, профиля приложения или биометрической конфигурации (наиболее подходит при объединении на уровне признаков). Также данная запись содержит априорную информацию, необходимую для выполнения математического действия при нормализации и/или объединении, установленных в стандарте на структуру или профиль приложений;
d) входная запись решения содержит полезную информацию для оптимизации принятия решения для конкретного пользователя или профиля приложения. В данную запись может быть также включен требуемый уровень биометрической безопасности, которому должна соответствовать система, обозначенный математическими или статистическими терминами.
Все вышеуказанные записи данных должны соответствовать требованиям ЕСФОБД (см. [30]), то есть учитывать требования изготовителя (поставщика), органа по стандартизации и кодирования с целью передачи и хранения записи.
7.4.2 Стандартизация структуры
Спецификация БиоАПИ по [29] в ПК 37/РГ 2 является примером структуры элементарного биометрического процесса. Данная спецификация включает в себя номенклатуру, записи данных, АПИ и сценарии использования в условиях общей структуры приложения. В настоящем стандарте данная спецификация представляет собой стандартную выходную степень схожести для каждого биометрического процесса и биометрическое решение, принятое в соответствии с требуемым уровнем безопасности.
На основе структуры определяют сценарии использования для комбинирования записей и процессов. Для разных уровней объединения могут существовать разные структуры. Блок-схема, демонстрирующая объединение на уровне степеней схожести, изображена на рисунке 9. Для упрощения показан поток данных из одной биометрической системы. При объединении степеней схожести существует возможность прямого вывода данных. Также существует возможность обратной связи между процессами.
Рисунок 9 - Блок-схема использования мультибиометрических записей при объединении на уровне степеней схожести
В соответствии со структурой каждого типа объединения, стандартные записи и АПИ процессов следует определять путем согласования таким образом, чтобы оптимизировать реализацию и оперативную совместимость. Структура объединения на уровне степеней схожести, изображенная на рисунке 9, содержит обратную связь между процессами. Процессы должны иметь обратную связь как для корректной инициализации, так и для правильного функционирования. Например, процесс принятия решения может использовать вероятность ложного допуска (ВЛД) для объединения степеней схожести и сопоставления для управления функционированием системы.
Подобная блок-схема для объединения на уровне принятия решения изображена на рисунке 10. Принятие решения необходимо, так как объединение решений может иметь выходные данные, отличающиеся от данных отдельных биометрических систем, например ранговую оценку или "нестрогие" решения. Оба подхода аналогичны с точки зрения структуры. Также существует возможность обратной связи между процессами.
Структура определяет, каким образом процессы сопоставления, объединения и решения получают информацию друг о друге, если они используются в приложении вместе. Данный процесс обнаружения необходим для учета процессов доставки отдельными поставщиками. Этот процесс инициализации, не указанный на рисунке 10, обеспечивает возможность обмена данными между процессами до их совместного использования. Инициализация является частью структуры.
Рисунок 10 - Блок-схема использования мультибиометрических записей при объединении на уровне принятия решения
7.4.3 Стандартизация профиля приложения
Спецификация паспорта моряка МОТ (см. [31]) является примером профиля приложения. В ней приведены точные требования к верификации отпечатка пальца с помощью спецификации БиоАПИ согласно [29] и формату обмена контрольными точками отпечатка пальца ПК 37/РГ 2 согласно [32]. Для данного профиля приложения используются определенные части разрабатываемых стандартов.
Стандартный профиль приложения объединения может использовать следующие формы записей данных АПИ:
a) особые установленные алгоритмы объединения для приложения;
b) установленный тип индивидуальных данных объединения, которые могут быть использованы в процессе объединения;
c) заданные уровни безопасности или достоверности биометрической(их) реализации(ий);
d) процесс согласования или оценки качества, требуемый для установленных систем объединения;
e) установленные биометрические характеристики для процесса объединения.
7.4.4 Стандартизация соответствия
В разрабатываемых стандартах на записи данных или на структуру биометрического объединения следует обратить внимание на подтверждение соответствия, в частности на:
а) должным образом нормализованные степени схожести. Например, действительно ли ВЛД биометрического процесса соответствует заявленному?
b) входные данные объединения. Например, являются ли входные данные процесса объединения статистически значимыми?
7.4.5 Стандартизация испытаний мультимодальных биометрических систем
Трудности проведения испытаний биометрических систем в режиме реального времени связаны с наличием нескольких последовательных датчиков. Для устранения этой проблемы необходимо разработать протокол, определяющий порядок работы, который при необходимости должен учитывать группы производителей (по одному для каждой модальности) и соответствовать разработанным стандартам. Для проведения автономного испытания также необходимо разработать соответствующие стандарты.
7.5 Выводы
В настоящем разделе указаны способы определения составных элементов стандарта, устанавливающего требования к биометрическому объединению, которые разделяют на два типа: записи данных и процессы. Реализация алгоритма объединения, описанная в настоящем стандарте, обеспечивается тремя факторами: функциональной совместимостью, технологической совместимостью и эксплуатационными характеристиками. Разработка стандартов на биометрическое объединение окажет существенную помощь пользователям биометрической техники.
В настоящем стандарте рассмотрены объединения на уровне образцов, признаков, степеней схожести и принятия решения. Однако поддерживание биометрического объединения на уровне образцов или признаков при выполнении требований функциональной совместимости является сложной задачей, так как объединение на уровне признаков требует создания записи о признаках, которые являются характерными как для определенных биометрических систем и систем регистрации/извлечения, так и для реализации схемы сопоставления для объединенного признака (вектора). Требование поддержки производителями данного уровня объединения одновременно нескольких модальностей является невыполнимым, так как это выходит за рамки уровня соответствия технологической совместимости, существующего в настоящее время на рынке. Тем не менее участники процесса стандартизации должны определить необходимый подход к созданию базового стандарта.
Объединение на уровне принятия решения является достаточно простым процессом с математической точки зрения, поэтому на первый взгляд может показаться, что стандарт на биометрическое объединение в этом случае не требуется. Это неверно, так как инициализация, спецификация безопасности и использование нескольких биометрических решений по определению являются сложными процессами. Поэтому включение данного типа объединения в процесс стандартизации является необходимым.
Создание системы объединения на уровне степеней схожести относится к первостепенным задачам в процессе стандартизации объединения.
Библиография
Следующий перечень документов приведен для информации и включает в себя документы, на которые нет ссылок в тексте стандарта. Данные документы обозначены номерами: 2, 4, 8, 9, 10, 11, 12, 13, 14, 17, 19, 21, 24, 25, 26, 28, 33, 34, 35, 41, 43, 46, 47, 48, 50, 51, 52, 53, 54, 55, 58, 59 и 62.
[1] | J.A.Benediktsson and P.H.Swain, Consensus theoretic classification methods, IEEE Transactions on Systems, Man and Cybernetics, Vol.22, No. 4, pp.688-704, 1992 |
[2] | S.Bengio, Text independent speaker verification and multimodal fusion at IDIAP, http://www.fub.it/cost275/documents/temporary/2001-11-22%20mc01_martigny_bengio.zip |
[3] | E.S.Bigun, J.Bigun, B.Duc and S.Fischer, Expert conciliation for multimodal person authentication systems using Bayesian statistics, Proc. First Int. Conf. on Audio- and Video-Based Biometric Person Authentication, pp.291-300, Crans-Montana, Switzerland, 1997 |
[4] | J.Bigun, J.Fierrez-Aguilar, J.Ortega-Garcia and J.Gonzalez-Rodriguez, Multimodal Biometric Authentication using Quality Signals in Mobile Communications, Proc. 12th International Conference on Image Analysis and Processing, pp.2-11, 2003 |
[5] | K.Chang, K.W.Bowyer, S.Sarkar and B.Victor, Comparison and combination of ear and face images in appearance-based biometrics. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.25, No. 9, pp.1160-1165, 2003 |
[6] | V.Chatzis, A.G.Bors and I.Pitas, Multimodal decision-level fusion for person authentication, IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, Vol.29, No. 6, pp.674-681, 1999 |
[7] | C.C.Chibelushi, F.Deravi and J.S.D.Mason, A review of speech-based bimodal recognition, IEEE Transactions on Multimedia, Vol.4, No. 1, pp.23-37, March 2002 |
[8] | C.C.Chibelushi, F.Deravi and J.S.D.Mason, Adaptive decision fusion for robust pattern recognition, IEEE Transactions on Systems, Man and Cybernetics - Part B: Cybernetics, Vol.29, No. 6, pp.902-907, Dec. 1999 |
[9] | B.Cukic, H.Singh and Y.Ma, Optimal decision level acceptance rules for multimodal biometric systems, http://www.biometrics.org/bc2004/CD/PDF_PROCEEDINGS/Microsoft%20PowerPoint%20%20Cukic_BC_ |
[10] | J.Daugman, Biometric Decision Landscapes, Technical Report No. TR482, University of Cambridge Computer Laboratory, 2000 |
[11] | J.Daugman, Combining multiple biometrics, http://www.cl.cam.ac.uk/users/jgd1000/ combine/combine.html |
[12] | F.Deravi, M.C.Fairhurst, R.M.guest, N.Mavity and A.D.M. Canuto, Intelligent agents for the management of complexity in multimodal biometrics, International Journal Universal Access in the Information Society, Vol.2, Issue 4, pp.293-304, Nov. 2003 |
[13] | P.Domingos and M.Pazzani, Beyond independence: Conditions for the optimality of the simple Bayesian classifier, Machine Learning, Vol.29, pp.103-130, 1997 |
[14] | P.Domingos and M.Pazzini, Beyond Independence: Conditions for the Optimality of the Simple Bayesian Classifier, Proc. 13th International Conference on Machine Learning (ICML), 1996 |
[15] | A.Fejfar, Combining techniques to improve security in automated entry control, 1978 Carnahan Conference on Crime Countermeasures, Mitre Corp. MTP-191, May 1978 |
[16] | A.Fejfar and J.W.Myers, The testing of three automatic identity verification techniques, Proc. International Conference on Crime Countermeasures, Oxford, July 1977 |
[17] | R.W.Frischholz and U.Dieckmann, BioID: A multimodal biometric identification system, http://www.bioid.com/sdk/docs/whitepapers/ieee-computer.pdf |
[18] | F.Fritsch and R.Carlson, Monotone piecewise cubic interpolation, SIAM Journal on Numerical Analysis, Vol.17, No. 2, pp.238-246, April 1980 |
[19] | K.Fukunaga, Introduction to Statistical Pattern Recognition, 2nd Edition, Academic Press, 1990 |
[20] | K.Goebel, W.Yan and W.Cheetham, A Method to Calculate Classifier Correlation for Decision Fusion, GE Technical Report, 2001CRD174, Dec. 2001 |
[21] | P.Griffin, Optimal Biometric Fusion for Identity Verification, Identix Corporate Research Centre Preprint RDNJ-03-0064, Sep. 2003 |
[22] | W.Haberman and A.Fejfar, Automatic identification of personnel through speaker and signature verification - system description and testing, 1976 Carnahan Conference on Crime Countermeasures, University of Kentucky, May 1976 |
[23] | T.K.Ho, J.J.Hull and S.N.Srihari, Decision combination in multiple classifier systems, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.16, No. 1, pp.66-75, 1994 |
[24] | L.Hong and A.K.Jain, Integrating faces and fingerprints for personal identification, http://www.cse.msu.edu/publications/tech/TR/MSU-CPS-97-18.report.ps.gz |
[25] | L.Hong and A.Jain, Multimodal biometrics, in A.Jain et al. (eds), Biometrics: Personal Identification in a Networked Society, Kluwer Academic Press, Boston, 1999 |
[26] | L.Hong, A.K.Jain and S.Pankanti, Can multibiometrics improve performance, http://www.cse.msu.edu/publications/tech/TR/MSU-CSE-99-39.ps |
[27] | M.Indovina, U.Uludag, R.Snelick, A.Mink and A.K.Jain, Multimodal biometric authentication methods: A COTS approach, Proc. Workshop on Multimodal User Authentication, pp.99-106, Santa Barbara, CA, Dec. 2003 |
[28] | INT-ENST-EURECOM, Multimodal biometric identity verification: the BIOMET research project, http://www.fub.it/cost275/COST275_CD/cost275_web/documents/temporary/2002_04_25_mc02_paris_wg3_sonia_ salicetti.zip |
[29] | ISO/IEC 19784-1 Information technology - Biometric application programming interface - Part 1:BioAPI |
[30] | ISO/IEC 19785-1:2006 Information technology - Common Biometric Exchange Formats Framework - Part 1: Data element specification specification |
[31] | ISO/IEC 24713-3 Biometric Profiles for Interoperability and Data Interchange - Part 3: Biometrics Based Verification and Identification of Seafarers |
[32] | ISO/IEC 19794-2:2005 Information technology - Biometric data interchange formats - Part 2: Finger minutiae data |
[33] | ISO/IEC JTC 1/SC 37 Standing Document 2 - Harmonized Biometric Vocabulary, ISO/IEC JTC 1/SC 37 N 1480, Jan. 31, 2006 |
[34] | A.K.Jain, L.Hong and Y.Kulkarni, A multimodal biometric system using fingerprint, face and speech, http://www.cse.msu.edu/publications/tech/TR/MSU-CPS-98-32.ps.Z |
[35] | A.K.Jain, L.Hong and Y.Kulkarni, F2ID: A personal identification system using faces and fingerprints, http://www.cse.msu.edu/publications/tech/TR/MSU-CPS-98-11.ps.gz |
[36] | A.K.Jain, K.Nandakumar and A.Ross, Score normalization in multimodal biometric systems, Pattern Recognition, Vol.38, No. 12, pp.2270-2285, Dec. 2005 |
[37] | A.K.Jain, S.Prabhakar and S. Chen, Combining multiple matchers for a high security fingerprint verification, Pattern Recognition Letters, Vol.20, No. 11-13, Special Issue on Pattern Recognition in Practice VI, pp.1371-1379, Nov. 1999 |
[38] | A.K.Jain and A.Ross, Learning user-specific parameters in a multibiometric system, Proc. International Conference on Image Processing, Vol.I, pp.I-57-I-60, 2002 |
[39] | A.K.Jain and A.Ross, Multibiometric systems, Communications of the ACM, Special Issue on Multimodal Interfaces, Vol.47, No. 1, pp.34-40, Jan. 2004 |
[40] | T.Kanungo, D.M.Gay and R.M.Haralick, Constrained monotone regression of ROC curves and histograms using splines and polynomials, Proc. International Conference on Image Processing, Vol.2, pp.2292-2295, Washington D.C., Oct. 1995 |
[41] | J.Kittler, A.Ahmadyfard and D.Windridge, Serial multiple classifier systems exploiting a coarse to fine output coding. In T.Windeatt and F.Roli (eds), Multiple Classifier Systems, pp.106-114, Springer, Berlin, June 2003 |
[42] | J.Kittler, M.Hatef, R.P.Duin and J.G.Matas, On combining classifiers, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No. 3, pp.226-239, 1998 |
[43] | J.Kittler, Y.P.Li, J.Matas and M.U.Ramos Sanchez, Combining evidence in multimodal personal identity recognition systems, http://www.argus-solutions.com/pdfs/kittler97combiningbiometrics.pdf |
[44] | H.Korves, L.Nadel, B.Ulery and D.Masi, Multibiometric Fusion: From Research to Operations, Mitretek Sigma, Summer 2005 |
[45] | A.Kumar, D.C.M.Wong, H.C.Shen and A.K.Jain, Personal verification using palmprint and hand geometry biometric, Proc. Fourth International Conference on Audio- and Video-Based Biometric Person Authentication, pp.668-678, Guildford, UK, June 2003 |
[46] | L.I.Kuncheva, C.J.Whitaker, C.A.Shipp and R.P.W.Duin, Is independence good for combining classifiers?, Proc. International Conference on Pattern Recognition, Vol.2, pp.168-171, Barcelona, Spain, 2000 |
[47] | X.Lu, Y.Wang and A.K.Jain, Combining classifiers for face recognition, Proc. International Conference on Multimedia and Expo, Vol.3, pp.IIII-13-16, 2003 Practice VI, pp.1371-1379, Nov. 1999 |
[48] | G.L.Marcialis and F.Roli, Fusion of LDA and PCA for face recognition, http://ce.diee.unica.it/en/publications/papers-prag/Bio-Confe-rence-05.pdf |
[49] | W.K.Messner, G.A.Cleciwa, G.O.Kibbler and W.L.Parlee, Research and development of personal identify verification systems, 1974 Carnahan and International Crime Countermeasures Conference, University of Kentucky, April 1974 |
[50] | National Bureau of Standards, Guidelines on the evaluation of techniques for automated personal identification, Federal Information Processing Standard Publication 48, April 1977 |
[51] | J.Neyman and E.S.Pearson, On the problem of the most efficient tests of statistical hypotheses, Philosophical Transactions of the Royal Society of London, Series A, Vol.231, pp.289-337, 1933 |
[52] | J.Ortega-Garcia, Multimodal biometric database involving fingerprint and signature characteristics, http://www.fub.it/cost275/documents/tem-porary/ 2002_04_25_mc02_paris_wg4_javier_ortega.zip |
[53] | I.Pitas and C.Kotropoulos, Multimodal human-computer interaction, http://www.fub.it/cost275/documents/temporary/2001-11-22%20mc01_ martigny_bengio.zip |
[54] | S.Prabhakar and A.K.Jain, Decision-level fusion in biometric verification, http://www.cse.msu.edu/publications/tech/TR/MSU-CSE-00-24.ps.gz |
[55] | D.E.Raphael and J.R.Young, Automated Personal Identification, SRI International, Palo Alto, 1974 |
[56] | A.Ross and R.Govindarajan, Feature level fusion using hand and face biometrics, Proc. SPIE Conference on Biometric Technology for Human Identification, Orlando, USA, March-April 2005 |
[57] | A.Ross and A.Jain, Information fusion in biometrics, Pattern Recognition Letters, Vol.24, No. 13, pp.2125-2125, 2003 |
[58] | A.Ross and A.K.Jain, On the Independence of Biometric Modalities, Progress Report, Center for Identification Technology and Research, Morgantown, Nov. 2004 |
[59] | A.Ross, K.Nandakumar, and A.Jain, Handbook of Multibiometrics, 1st Edition, Springer Science & Business Media LLC, 2006 |
[60] | N.Sedgwick, Overview of issues on standardisation of multimodal biometric combiners, Oct. 2003, http://www.camalg.co.uk/s03017_pr0_text/multi_modal_031016b.html |
[61] | N.Sedgwick, The need for standardisation of multimodal biometric combination, Nov. 2003, http://www.camalg.co.uk/s03017_pr0/begin.html |
[62] | R.Snelick, M.Indovina, J.Yen and A.Mink, Multimodal biometrics: Issues in design and testing, Proc. 5th International Conference on Multimodal Interfaces, pp.68-72, Vancouver, British Columbia, Canada, 2003 |
[63] | R.Snelick, U.Uludag, A.Mink, M.Indovina and A.Jain, Large-scale evaluation of multimodal biometric authentication using state-of-the-art systems, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.27, No. 3, pp.450-455, March 2005 |
[64] | J.Soh and J.Lee, A general framework for multimodal biometrics based on score distribution fusion, Proc.First Asian Biometrics Workshop, Singapore, Nov. 2003 |
[65] | P. Verlinde and G.Cholet, Comparing decision fusion paradigms using k-nn based classifiers, decision trees and logistic regression in a multimodal identity verification application, Proc. Second International Conference on Audio- and Video-Based Biometric Person Authentication, Washington D.C., USA, pp.188-193, 1999 |
[66] | Y.Wang, T.Tan and A.K.Jain, Combining face and iris biometrics for identity verification, Proc. Fourth International Conference on Audio- and Video-Based Biometric Person Authentication, pp.805-813, Guildford, U.K., 2003 |
УДК 004.931:006.89:006.354 | ОКС 35.040 |
Ключевые слова: информационные технологии, биометрия, мультимодальная система, мультибиометрическая система, биометрическое объединение |
Электронный текст документа
и сверен по:
, 2018