ГОСТ Р 70885-2023 Средства мониторинга поведения и прогнозирования намерений людей. Алгоритмы искусственного интеллекта для распознавания состояний и действий водителя методом анализа статических и динамических изображений, поступающих от средств фото- и видеофиксации систем мониторинга водителей колесных транспортных средств. Методика оценки функциональной корректности

        ГОСТ Р 70885-2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Средства мониторинга поведения и прогнозирования намерений людей

АЛГОРИТМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ РАСПОЗНАВАНИЯ СОСТОЯНИЙ И ДЕЙСТВИЙ ВОДИТЕЛЯ МЕТОДОМ АНАЛИЗА СТАТИЧЕСКИХ И ДИНАМИЧЕСКИХ ИЗОБРАЖЕНИЙ, ПОСТУПАЮЩИХ ОТ СРЕДСТВ ФОТО- И ВИДЕОФИКСАЦИИ СИСТЕМ МОНИТОРИНГА ВОДИТЕЛЕЙ КОЛЕСНЫХ ТРАНСПОРТНЫХ СРЕДСТВ

Методика оценки функциональной корректности

Means of monitoring behavior and predicting people’s intentions. Artificial intelligence algorithms for recognizing driver states and actions by analysis of static and dynamic images coming from photo- and video fixing tools of monitoring systems of wheeled vehicle drivers. Methodology for assessing functional correctness

ОКС 35.020

Дата введения 2023-10-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 29 августа 2023 г. N 748-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Настоящий стандарт развивает положения ГОСТ Р 59391 и ГОСТ Р 59898 в части оценки функциональной корректности алгоритмов искусственного интеллекта для распознавания состояний и действий водителей колесных транспортных средств, указанных в ГОСТ Р 59391-2021 (таблица 1), методом анализа статических и динамических изображений, поступающих от средств фото- и видеофиксации, характеристики которых соответствуют ГОСТ Р 59391, систем мониторинга водителей.

Установленная в настоящем стандарте методика оценки функциональной корректности направлена на повышение безопасности дорожного движения, уровня доверия к технологиям искусственного интеллекта и на развитие технологий искусственного интеллекта на транспорте.

Настоящий стандарт входит в серию стандартов "Средства мониторинга поведения и прогнозирования намерений людей".

1 Область применения

Настоящий стандарт распространяется на алгоритмы искусственного интеллекта для распознавания состояний и действий водителя, указанных в ГОСТ Р 59391-2021 (таблица 1), методом анализа статических и динамических изображений, поступающих от средств фото- и видеофиксации, характеристики которых соответствуют ГОСТ Р 59391, систем мониторинга водителей колесных транспортных средств категорий M и N по [1], уровней автоматизации 0-2 по ГОСТ Р 58823 (далее - алгоритмы ИИ).

Настоящий стандарт устанавливает методику оценки функциональной корректности алгоритмов ИИ в предусмотренных условиях эксплуатации.

Настоящий стандарт не предназначен для оценки функциональной корректности алгоритмов ИИ в условиях применения средств активного информационного противодействия, включая реализацию состязательных атак.

Примечания

1 Под алгоритмами ИИ понимают алгоритмы машинного обучения.

2 Функциональная корректность - по ГОСТ Р 59898-2021 (8.2.3).

3 Состязательная атака - по ГОСТ Р 59921.7-2022 (3.12).

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19.301 Единая система программной документации. Программа и методика испытаний. Требования к содержанию и оформлению

ГОСТ ISO/IEC 17000 Оценка соответствия. Словарь и общие принципы

ГОСТ ISO/IEC 17025-2019 Общие требования к компетентности испытательных и калибровочных лабораторий

ГОСТ Р 58668.3-2021 (ИСО/МЭК 39794-5:2019) Информационные технологии. Биометрия. Расширяемые форматы обмена биометрическими данными. Часть 3. Данные изображения лица

ГОСТ Р 58823 Автомобильные транспортные средства. Системы автоматизации управления движением. Классификация и определения

ГОСТ Р 58973-2020 Оценка соответствия. Правила к оформлению протоколов испытаний

ГОСТ Р 59391-2021 Средства мониторинга поведения и прогнозирования намерений людей. Аппаратно-программные средства с применением технологий искусственного интеллекта для колесных транспортных средств. Классификация, назначение, состав и характеристики средств фото- и видеофиксации

ГОСТ Р 59898-2021 Оценка качества систем искусственного интеллекта. Общие положения

ГОСТ Р 59921.7-2022 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа медицинских изображений. Методы испытаний. Общие требования

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ ISO/IEC 17000, ГОСТ Р 59391, ГОСТ Р 59898.

4 Подготовительные работы

4.1 Подготовительные работы - по ГОСТ Р 59898-2021 (7.2.1) с дополнениями, приведенными в настоящем стандарте.

4.2 При составлении программы и методики тестирования следует руководствоваться ГОСТ 19.301 и ГОСТ Р 59898-2021 (7.1.1).

4.3 Правила подготовки тестовых наборов данных

4.3.1 Требования к тестовым наборам данных - по ГОСТ Р 59898-2021 (9.2) с дополнениями, приведенными в настоящем стандарте.

Примечание - Описание наборов данных для тестирования - по ГОСТ Р 59898-2021 (9.1).

4.3.2 Для оценки функциональной корректности распознавания каждого события (состояния или действия водителя) формируют отдельный тестовый набор данных.

4.3.3 Тестовый набор данных формируют в органе по оценке соответствия на основе демонстрационного набора данных, который состоит из базового и дополнительного демонстрационных наборов данных. При отсутствии дополнительного демонстрационного набора данных тестовый набор данных формируют только на основе базового набора данных.

4.3.4 Примеры видеофайлов базовых демонстрационных наборов данных приведены в приложении А.

Примечание - Базовые демонстрационные наборы данных не обладают свойством статистической представительности, т.е. не отражают статистические распределения существенных факторов в предусмотренных условиях эксплуатации алгоритмов ИИ [см. ГОСТ Р 59898-2021 (9.2)].

4.3.5 Расширение демонстрационного набора данных может быть выполнено методом аугментации при соблюдении следующих требований:

- аугментация должна расширять демонстрационный набор данных за счет изменения исходных образцов;

- аугментация может изменять характеристики распределения существенных факторов эксплуатации алгоритма ИИ в наборе данных в соответствии с решаемой практической задачей;

- правила разметки данных не должны противоречить правилам разметки, применяемым при создании базового демонстрационного набора данных, но могут их дополнять.

4.3.6 Тестовые наборы данных должны соответствовать следующим требованиям:

- тестовые наборы данных должны быть представительными (репрезентативными) по отношению к существенным условиям эксплуатации алгоритмов ИИ, приведенным в 4.4;

- тестовые наборы данных не должны использоваться для обучения алгоритмов ИИ, а также косвенно иметь пересечений с данными, применяемыми для обучения алгоритмов ИИ [например, на видеофайлах не должно быть одного и того же человека или колесного транспортного средства (КТС)].

Примечание - Это необходимо для исключения явления переобучения, при котором в результате тестирования получается смещенная оценка характеристик алгоритма ИИ.

4.3.7 Каждый образец тестового набора данных состоит из видеофайла и его эталонной разметки. Эталонная разметка должна представлять собой метку(и), однозначно характеризующую(ие) наличие/отсутствие события, а в случае его наличия - позволять однозначно идентифицировать разновидность события. Разметка данных может быть проведена методом визуального дешифрования. Требования к квалификации специалистов, выполняющих визуальное дешифрование, устанавливают специалисты органа по оценке соответствия по согласованию с заказчиком тестирования.

Примечание - Одним из вариантов эталонной разметки тестового набора данных может быть наименование видеофайла, состоящее из идентификационного номера и наименования события для видеофайлов с распознаваемыми событиями или из метки, однозначно характеризующей отсутствие события (например, фразы "Без события"), для видеофайлов без них. В таком случае в наименованиях видеофайлов допускается указывать сокращенное наименование события или его обозначение при условии, что в описании тестового набора данных приведена его расшифровка, позволяющая однозначно понять, какое событие содержится в видеофайле.

4.3.8 Каждый образец тестового набора данных должен иметь описание с указанием значений существенных факторов, приведенных в 4.4.

4.3.9 Видеофайлы для тестовых наборов данных могут быть отобраны из открытых информационных ресурсов или подготовлены специально путем видеосъемки человека в кабине КТС с помощью средств фото- и видеофиксации, характеристики которых соответствуют ГОСТ Р 59391, с учетом скоростного режима КТС, указанного в ГОСТ Р 59391-2021 (таблица 1).

4.3.10 Видеофайлы тестовых наборов данных должны:

- иметь разрешение не менее 960

720 пикселей и частоту не менее 30 кадров в секунду [см. ГОСТ Р 59391-2021 (раздел 8, примечание 1)];

- быть сняты в инфракрасном диапазоне с длиной волны не менее 850 нм [см. ГОСТ Р 59391-2021 (раздел 8, примечание 2)].

4.3.11 Продолжительность видеофайлов тестовых наборов данных приведена в таблице 1.

Таблица 1 - Характеристики видеофайлов тестовых наборов данных

4.3.12 В начале видеофайла тестовых наборов данных должно быть состояние или действие водителя без события в течение не менее 10% продолжительности видеофайла (см. таблицу 1), кроме видеофайлов тестовых наборов данных для событий "Управление КТС с непристегнутым ремнем безопасности" и "Вмешательство в работу СМВ".

4.3.13 Тестовые наборы данных должны в одинаковой пропорции включать как видеофайлы с распознаваемыми событиями, так и видеофайлы без них. Каждый видеофайл с распознаваемым событием может содержать только одно распознаваемое событие.

4.3.14 Тестовые наборы данных могут быть двух уровней сложности: базового и усложненного.

В видеофайлах базовых тестовых наборов данных, содержащих распознаваемые события, должны присутствовать базовые критерии, приведенные в таблице 2.

Таблица 2 - Базовые критерии наступления событий

Усложнение тестового набора данных может быть выполнено за счет добавления дополнительных более сложных для распознавания критериев наступления событий, а также посторонних предметов, препятствующих распознаванию событий (например, очки, головные уборы, маски, шарфы и т.д.).

4.4 Существенные факторы эксплуатации

4.4.1 Перечень существенных факторов эксплуатации алгоритмов ИИ и их влияние на распознавание алгоритмами ИИ конкретных событий приведены в таблице 3.

Таблица 3 - Перечень существенных факторов эксплуатации алгоритмов ИИ

4.4.2 Значения существенных факторов эксплуатации алгоритмов ИИ для распознавания событий приведены в таблицах 4-8.

Таблица 4 - Значения существенных факторов эксплуатации алгоритмов ИИ для распознавания сонливости и микросна водителя

Таблица 5 - Значения существенных факторов эксплуатации алгоритмов ИИ для распознавания отвлечения взгляда водителя от дороги

Таблица 6 - Значения существенных факторов эксплуатации алгоритмов ИИ для распознавания приема пищи и использования мобильных средств связи во время управления КТС

Таблица 7 - Значения существенных факторов эксплуатации алгоритмов ИИ для распознавания управления КТС с непристегнутым ремнем безопасности

Таблица 8 - Значения существенных факторов эксплуатации алгоритмов ИИ для распознавания вмешательства в работу СМВ

5 Тестирование и оценка показателей

5.1 Тестирование алгоритмов ИИ проводят по разработанным в соответствии с 4.2 программам и методикам тестирования.

5.2 Порядок проведения тестирования

5.2.1 На вход алгоритмов ИИ подают видеофайлы из тестового набора данных.

5.2.2 Фиксируют результаты работы алгоритмов ИИ.

5.2.3 Сравнивают результаты работы алгоритмов ИИ с эталонной разметкой.

Фиксируют количество:

- истинно положительных исходов TP;

- истинно отрицательных исходов TN;

- ложно положительных исходов FP;

- ложно отрицательных исходов FN.

5.2.4 Рассчитывают значения показателей функциональной корректности работы алгоритмов ИИ. Примеры показателей для оценки функциональной корректности приведены в ГОСТ Р 59898-2021 (таблица 5).

Примечание - Показатели для оценки функциональной корректности алгоритмов ИИ выбирают исходя из специфики решаемой задачи на усмотрение заказчика тестирования.

5.2.5 По результатам проведения тестирования оформляют протокол.

Протоколы тестирования должны включать информацию по ГОСТ ISO/IEC 17025-2019 (7.8.2.1), а также следующую информацию:

- описание и однозначные идентификаторы алгоритмов ИИ, в том числе вид и модификацию СМВ по ГОСТ Р 59391-2021 (4.1.1, 4.1.2), в состав которых они входят;

- статистические характеристики распределения существенных факторов эксплуатации алгоритмов ИИ;

- сведения о тестовых наборах данных, в том числе количество видеофайлов, значения и характеристики распределения существенных факторов, уровни сложности (базовый или усложненный, см. 4.3.14) и способы усложнения (при наличии);

- полученные оценки показателей функциональной корректности.

Протоколы испытаний оформляют по ГОСТ Р 58973-2020 (раздел 5).

6 Анализ и интерпретация результатов тестирования

6.1 Пороговые значения критериев для показателей функциональной корректности устанавливают заказчики тестирования в зависимости от специфики тех задач, для которых планируется применять алгоритмы ИИ.

6.2 При проведении сравнительных оценок нескольких алгоритмов ИИ в дополнение к требованию по ГОСТ Р 59898-2021 (7.2.2.5) следует учитывать характеристики распределения существенных факторов и уровень сложности тестовых наборов данных.

6.3 С помощью полученных результатов тестирования можно решить следующие задачи:

- ранжирование алгоритмов ИИ по качеству;

- сравнение результатов работы алгоритмов ИИ с заданным порогом качества;

- сравнение результатов работы алгоритмов ИИ с качеством, обеспечиваемым человеком-оператором.

Приложение А

(справочное)

Примеры видеофайлов базовых демонстрационных наборов данных

А.1 Примеры видеофайлов базового демонстрационного набора данных для оценки распознавания сонливости водителя

Примеры сонливости водителя показаны в файлах "А.1.1 Сонливость", "А.1.2 Сонливость", "А.1.3 Сонливость" и "А.1.4 Сонливость". Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка, приведены в таблице А.1.

Примечание - Здесь и далее указанные файлы прилагаются на диске к настоящему стандарту.

Таблица А.1 - Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка

А.2 Примеры видеофайлов базового демонстрационного набора данных для оценки распознавания микросна водителя

Пример микросна водителя показаны в файлах "А.2.1 Микросон", "А.2.2 Микросон", "А.2.3 Микросон", "А.2.4 Микросон" и "А.2.5 Микросон". Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка, приведены в таблице А.2.

Таблица А.2 - Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка

А.3 Примеры видеофайлов базового демонстрационного набора данных для оценки распознавания отвлечения взгляда водителя от дороги

Примеры отвлечения взгляда водителя от дороги показаны в файлах "А.3.1 Отвлечение от дороги", "А.3.2 Отвлечение от дороги", "А.3.3 Отвлечение от дороги" и "А.3.4 Отвлечение от дороги". Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка, приведены в таблице А.3.

Таблица А.3 - Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка

А.4 Примеры видеофайлов базового демонстрационного набора данных для оценки распознавания приема пищи во время управления КТС

Примеры приема пищи во время управления КТС показаны в файлах "А.4.1 Прием пищи", "А.4.2 Прием пищи", "А.4.3 Прием пищи" и "А.4.4 Прием пищи". Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка, приведены в таблице А.4.

Таблица А.4 - Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка

А.5 Примеры видеофайлов базового демонстрационного набора данных для оценки распознавания использования мобильных средств связи во время управления КТС

Примеры использования мобильного средства связи во время управления КТС показаны в файлах "А.5.1 Использование телефона", "А.5.2 Использование телефона", "А.5.3 Использование телефона" и "А.5.4 Использование телефона". Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка, приведены в таблице А.5.

Таблица А.5 - Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка

А.6 Примеры видеофайлов базового демонстрационного набора данных для оценки распознавания управления КТС с непристегнутым ремнем безопасности

Примеры управления КТС с непристегнутым ремнем безопасности показаны в файлах "А.6.1 Без ремня", "А.6.2 Без ремня", "А.6.3 Без ремня" и "А.6.4 Без ремня". Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка, приведены в таблице А.6.

Таблица А.6 - Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка

А.7 Примеры видеофайлов базового демонстрационного набора данных для оценки распознавания вмешательства в работу СМВ

Примеры вмешательства в работу СМВ показаны в файлах "А.7.1 Вмешательство в работу", "А.7.2 Вмешательство в работу", "А.7.3 Вмешательство в работу" и "А.7.4 Вмешательство в работу". Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка, приведены в таблице А.7.

Таблица А.7 - Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка

А.8 Примеры видеофайлов базового демонстрационного набора данных, не содержащих распознаваемые события

Примеры видеофайлов, не содержащих распознаваемые события, показаны в файлах "А.8.1 Без события", "А.8.2 Без события", "А.8.3 Без события", "А.8.4 Без события" и "А.8.5 Без события". Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка, приведены в таблице А.8.

Таблица А.8 - Значения существенных факторов эксплуатации алгоритмов ИИ, при которых выполнена видеосъемка

Библиография