ГОСТ Р 70985-2023
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА НА АВТОМОБИЛЬНОМ ТРАНСПОРТЕ
Системы управления интеллектуальной транспортной инфраструктурой. Требования к испытанию алгоритмов распознавания автомобильных номеров
Artificial intelligence systems in road transport. Intelligent transport infrastructure management systems. Requirements for testing number plates recognition algorithms
ОКС 35.240.60
Дата введения 2024-01-01
Предисловие
1 РАЗРАБОТАН Обществом с ограниченной ответственностью "А+С Транспроект" (ООО "А+С Транспроект"), Обществом с ограниченной ответственностью "А-Я эксперт" (ООО "А-Я эксперт")
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 20 октября 2023 г. N 1208-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Развитие технологий искусственного интеллекта (ИИ) на прикладном уровне происходит во всех уровнях жизни. На транспорте эти технологии используются в нескольких аспектах - построения интеллектуальных транспортных систем на различных уровнях управления и для интеллектуализации систем управления интеллектуальной транспортной инфраструктурой (СУИТИ). В автомобильной транспортной модальности разработка СУИТИ основана на применении ряда алгоритмов ИИ для управления, прогнозирования и решения других задач.
Для испытания алгоритмов распознавания автомобильных номеров в целях обеспечения доверия к СУИТИ, основанных на использовании методов и технологий ИИ, настоящий стандарт устанавливает общие принципы проведения испытаний таких алгоритмов. В настоящем стандарте приводится перечень весовых коэффициентов для показателей качества алгоритма, к настоящему стандарту прикладывается тестовый набор данных с приведением сценариев испытаний описываемого алгоритма. Приведены требования к представительности (полноте и несмещенности) тестовых данных, демонстрационные тестовые наборы данных, описаны правила формирования представительных тестовых наборов данных и приведены принципы расширения (аугментации) тестовых наборов данных.
Настоящий стандарт является частью комплекса стандартов по установлению требований к применению технологий ИИ на автомобильном транспорте и в интеллектуальных транспортных системах с целью повышения доверия к технологиям ИИ, обеспечения безопасности дорожного движения, жизни и здоровья людей, сохранности их имущества, охраны окружающей среды и эффективности транспортных процессов.
1 Область применения
Настоящий стандарт распространяется на процессы испытания частных алгоритмов, реализованных с использованием методов и технологий ИИ, подсистемы интерпретации входных данных о дорожной обстановке на автомобильном транспорте и в интеллектуальных транспортных системах - алгоритмов распознавания автомобильных номеров в СУИТИ.
СУИТИ, в состав которых входят алгоритмы распознавания автомобильных номеров с использованием методов искусственного интеллекта, требования к испытаниям которых установлены в настоящем стандарте, могут быть реализованы в составе интеллектуальных транспортных систем, управляющих дорожной деятельностью в населенных пунктах, городских агломерациях, сети региональных и межмуниципальных дорог, федеральных автомобильных дорог.
Настоящий стандарт предназначен для применения при проведении всех типов испытаний алгоритмов распознавания автомобильных номеров при управлении СУИТИ. Определяя минимальные требования и процедуры испытаний для алгоритмов распознавания автомобильных номеров, настоящий стандарт позволит обеспечить заинтересованным сторонам общий язык, помогающий облегчить разработку и безопасное внедрение технологий ИИ на автомобильном транспорте и минимизации расходов при их проектировании.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 70249 Системы искусственного интеллекта на автомобильном транспорте. Высокоавтоматизированные транспортные средства. Термины и определения
ГОСТ Р 70250-2022 Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены термины по ГОСТ Р 70249, а также следующие термины с соответствующими определениями:
3.1
автомобильная транспортная модальность: Транспортная модальность, использующая колесные транспортные средства для перемещения по автомобильным дорогам общего пользования. [ГОСТ Р 70984-2023, пункт 3.1] |
3.2
автономность (autonomy): Характеристика системы искусственного интеллекта, связанная с ее способностью самостоятельно (без участия человека) выполнять возложенные на нее функции в течение заданного времени и с заданными показателями качества, надежности, безопасности. [Адаптировано из ГОСТ Р 59277, пункт 3.3] |
3.3
адаптируемость: Характеристика системы искусственного интеллекта, связанная с ее способностью в процессе функционирования подстраиваться под изменяющиеся условия эксплуатации и (или) функционирования без необходимости дорабатывать систему на уровне изменения исходного кода. [ГОСТ Р 70980-2023, пункт 3.2] |
3.4
интеллектуальность: Наличие у системы искусственного интеллекта свойств автономности и адаптируемости, а также реализация в системе искусственного интеллекта интеллектуальных функций. [ГОСТ Р 70980-2023, пункт 3.4] |
3.5
интеллектуальные функции: Функциональные возможности, которые позволяют технической системе использовать технологии искусственного интеллекта для более эффективной обработки и анализа данных, а также для решения сложных проблем, свойственных когнитивным способностям человека. [ГОСТ Р 70980-2023, пункт 3.5] |
3.6
интеллектуализация: Повышение степени интеллектуальности системы искусственного интеллекта, то есть увеличение количества интеллектуальных функций в системе искусственного интеллекта. [ГОСТ Р 70980-2023, пункт 3.6] |
3.7
исходный код: Компьютерная программа в текстовом виде на каком-либо языке программирования. [ГОСТ Р 54593-2011, пункт 3.4] |
3.8
переобученность: Свойство модели машинного обучения хорошо классифицировать примеры из обучающей выборки, но относительно плохо классифицировать примеры, не участвовавшие в обучении (например, из тестовой выборки). [ГОСТ Р 70983-2023, пункт 3.13] |
3.9
существенный фактор эксплуатации: Важный входной параметр для алгоритма искусственного интеллекта, который относится к решаемой задаче и изменение значения которого существенно влияет на результат работы алгоритма. [ГОСТ Р 70983-2023, пункт 3.15] |
3.10
транспортная модальность: Вид транспорта, включая типы транспортных средств и транспортной инфраструктуры, а также среду, в которой функционирует транспорт. [ГОСТ Р 70983-2023, пункт 3.16] |
4 Общие требования и методика проведения испытаний алгоритмов распознавания автомобильных номеров
4.1 Общие требования и методику проведения испытаний алгоритмов распознавания автомобильных номеров определяют по ГОСТ Р 70250.
4.2 При проведении испытаний алгоритмов распознавания автомобильных номеров необходимо провести экспертизу на патентную чистоту алгоритмов.
5 Показатели и критерии качества алгоритма распознавания автомобильных номеров
Организация, осуществляющая тестирование алгоритма распознавания автомобильных номеров, обязана применять показатели и критерии для проведения оценки качества этого алгоритма, установленные в ГОСТ Р 70250-2022 (раздел 8).
6 Весовые коэффициенты для оценки алгоритма распознавания автомобильных номеров
6.1 Для конкретизации процедуры оценки качества алгоритма распознавания автомобильных номеров в таблицах 1-5 приводятся весовые коэффициенты для критериев и метрик качества. Весовые коэффициенты для критериев приведены в первом столбце. Сумма всех коэффициентов первого столбца должна равняться 1. Весовые коэффициенты для всех метрик качества заданного критерия указаны в строке соответствующего критерия. Сумма всех коэффициентов для каждой строки должна равняться 1. Знак "#" в наименовании метрик является "маской подстановки" для номера критерия, к которому относится соответствующая метрика. Например, для фактора качества "Надежность" метрика "Н#-1" для критерия "Н1" должна читаться как "Н1-1", а для критерия "Н2" - "Н2-1".
6.2 В таблице 1 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества "Надежность".
Таблица 1 - Весовые коэффициенты фактора качества "Надежность"
Вес критерия | Критерий | Метрика 1 Н#-1 | Метрика 2 Н#-2 | Метрика 3 Н#-3 |
0,5 | Н1 | 0,6 | 0,3 | 0,1 |
0,5 | Н2 | 0,4 | 0,6 | - |
6.3 В таблице 2 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества "Сопровождаемость".
Таблица 2 - Весовые коэффициенты фактора качества "Сопровождаемость"
Вес критерия | Критерий | Метрика 1 С#-1 | Метрика 2 С#-2 | Метрика 3 С#-3 | Метрика 4 С#-4 |
0,7 | С2 | 0,1 | 0,35 | 0,35 | 0,2 |
0,3 | С3 | 0,8 | 0,1 | 0,1 | - |
6.4 В таблице 3 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества "Удобство применения".
Таблица 3 - Весовые коэффициенты фактора качества "Удобство применения"
Вес критерия | Критерий | Метрика 1 У#-1 | Метрика 2 У#-2 | Метрика 3 У#-3 | Метрика 4 У#-4 | Метрика 5 У#-5 |
0,3 | У1 | 0,7 | 0,3 | - | - | - |
0,2 | У2 | 0,3 | 0,3 | 0,2 | 0,1 | 0,1 |
0,5 | У3 | 0,15 | 0,35 | 0,35 | 0,15 | - |
6.5 Для фактора качества "Эффективность" используются следующие весовые коэффициенты: для критериев Э2 и Э3 - 0,25, для Э4 - 0,5.
6.6 В таблице 4 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества "Корректность".
Таблица 4 - Весовые коэффициенты фактора качества "Корректность"
Вес кри- терия | Кри- терий | Метрика 1 К#-1 | Метрика 2 К#-2 | Метрика 3 К#-3 | Метрика 4 К#-4 | Метрика 5 К#-5 | Метрика 6 К#-6 | Метрика 7 К#-7 | Метрика 8 К#-8 |
0,1 | К1 | 0,5 | 0,5 | - | - | - | - | - | - |
0,2 | К2 | 0,1 | 0,05 | 0,1 | 0,05 | 0,2 | 0,3 | 0,1 | 0,1 |
0,3 | К3 | 0,3 | 0,5 | 0,2 | - | - | - | - | - |
0,4 | К4 | 1,0 | - | - | - | - | - | - | - |
6.7 В таблице 5 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества "Доверенность".
Таблица 5 - Весовые коэффициенты фактора качества "Доверенность"
Вес критерия | Критерий | Метрика 1 Д#-1 | Метрика 2 Д#-2 | Метрика 3 Д#-3 | Метрика 4 Д#-4 |
0,5 | Д1 | 0,3 | 0,5 | 0,1 | 0,1 |
0,5 | Д2 | 0,05 | 0,05 | 0,2 | 0,7 |
6.8 Представленные в таблицах 1-5 весовые коэффициенты для критериев и метрик являются рекомендуемыми, однако при испытании частного алгоритма для конкретной задачи можно выбирать специфические коэффициенты для этой задачи.
7 Тестовые наборы данных и сценарии испытания алгоритма распознавания автомобильных номеров
7.1 Общие положения
7.1.1 В настоящем разделе описаны тестовые наборы данных и сценарии испытания алгоритма распознавания автомобильных номеров, а именно описаны требования к представительности (полноте и несмещенности) тестовых наборов данных, приведены фрагменты тестовых наборов данных - демонстрационные наборы данных, описаны правила формирования представительных тестовых наборов данных, включая, в случае необходимости, описание представительной совокупности тестовых сценариев, а также разъяснены принципы расширения (аугментации) тестовых наборов данных.
7.1.2 При подготовке тестовых наборов данных для проведения испытаний алгоритма распознавания автомобильных номеров необходимо обеспечить единство измерений в части обеспечения единообразия средств измерений в соответствии с требованиями к эталонам Государственной системы обеспечения единства измерений.
7.2 Требования к представительности (полноте и несмещенности) тестовых наборов данных
7.2.1 Тестовый набор данных должен быть репрезентативен, содержать целевой набор изображений и ситуаций по отношению к каждому существенному фактору эксплуатации.
7.2.2 Для обеспечения представительности тестового набора данных необходимо:
а) проводить испытания алгоритма распознавания автомобильных номеров на тестовом наборе подготовленном в соответствии со статистическими закономерностями распределения существенных факторов эксплуатации, что позволит обеспечить тестирование алгоритма на соответствие реальной картине распределения дорожно-транспортных ситуаций;
б) обеспечить повторные испытания со специально смещенной выборкой относительно количества автомобильных номеров независимо от их реального статистического распределения. Для этих целей допускается воспользоваться следующей процедурой:
1) выделением вариантов автомобильных номеров, частота встречаемости которых в реальном окружении периферийного оборудования СУИТИ для распознавания автомобильных номеров ниже средней частоты встречаемости всех автомобильных номеров более, чем на три стандартных отклонения (редкие варианты автомобильных номеров).
Примечание - Уровень определения редких вариантов автомобильных номеров является рекомендуемым и может быть изменен;
2) для выделенных автомобильных номеров подготовкой для испытаний "смещенной" выборки, которая позволяет лучше проанализировать поведение алгоритма в части редких автомобильных номеров. Это делается, например, путем сэмплирования с изменением частоты соответствующих автомобильных номеров, которая приближена к среднему по всем вариантам автомобильных номеров, или путем ввода весовых коэффициентов при оценке ошибки в соответствующих классах. Конкретный способ должен быть явно определен в программе испытаний алгоритма до начала этих испытаний,
3) проведением испытаний с подготовленной выборкой, чтобы убедиться, что алгоритм распознавания обрабатывает редкие автомобильные номера с достаточным качеством.
7.2.3 Кроме того, при испытаниях алгоритма распознавания автомобильных номеров на предмет реагирования на редкие автомобильные номера можно пользоваться иными методами тестирования, включая применение весовых коэффициентов для различных существенных факторов эксплуатации, сэмплирования, аугментации (см. 7.5) и другими техниками.
7.2.4 Такой принцип подбора тестового набора данных позволит обеспечить проверку возможностей алгоритма по распознаванию всех вариантов автомобильных номеров в различных контекстах (вариантах комбинаций значений существенных признаков), поскольку для обеспечения доверия к результатам работы алгоритма необходимо, чтобы точность распознавания не зависела от частоты встречаемости конкретного варианта автомобильных номеров при эксплуатации алгоритма.
7.3 Фрагменты тестовых наборов данных (демонстрационные наборы данных)
7.3.1 Основной демонстрационный набор тестовых данных для тестирования алгоритма распознавания автомобильных номеров, содержащий в себе фрагменты различных автомобильных номеров приведен в [1].
7.3.2 Тестовый набор данных описывает существенные факторы эксплуатации и содержит следующие поля данных (множество файлов из демонстрационного набора, описывающих конкретную шкалу существенных признаков ситуации):
- условия освещенности;
- тип видимости;
- вид осадков;
- тип осадков;
- наличие тумана;
- наличие засветки;
- категория автомобильной дороги;
- количество и ширина полос;
- профиль автомобильной дороги - наибольший продольный уклон;
- плотность потока транспортных средств;
- скорость потока и отдельных транспортных средств.
7.3.3 Кроме того, тестовый набор данных содержит в себе тактико-технические характеристики видеокамеры, метаданные видеосъемки, в том числе:
- тип видеокамеры;
- идентификатор видеокамеры;
- операционную систему видеокамеры;
- ориентацию видеокамеры;
- время съемки;
- местоположение съемки;
- направление створа видеокамеры.
7.4 Правила формирования представительных тестовых наборов данных (включая, в случае необходимости, описание представительной совокупности тестовых сценариев)
7.4.1 Демонстрационный тестовый набор данных содержит в себе следующий набор файлов:
- device.txt - данные и параметры самого записывающего устройства из состава периферийного оборудования СУИТИ;
- gps.csv - данные о координатах видеокамеры с приложенной видеодорожки, с указанием точных GPS-координат и времени записи;
- heading.csv - файл с технической информацией по приложенной видеодорожке;
- snapshots.zip - архив с примерами-скриншотами с приложенной видеодорожки с целевыми случаями соответствующих автомобильных номеров на ней;
- video.mp4 - видеодорожка, содержащая в себе примеры целевых автомобильных номеров с подтвержденным набором соответствующих признаков;
- plates.txt - метаданные по автомобильным номерам.
7.4.2 Сам тестовый набор данных должен содержать в себе исходный набор данных с выборкой подтвержденных соответствующих ситуаций. Формат файла должен быть доступен для применения подходов аугментации обучающей выборки, описанных в 7.5.
7.5 Принципы расширения (аугментации) тестовых наборов данных
7.5.1 В целях увеличения репрезентативности обучающей выборки рекомендуется использовать методы из числа следующих:
- применение поворотов (rotation);
- применение масштабирования (scaling);
- применение сдвигов (shear);
- кадрирование (crop);
- изменение яркости (brightness);
- изменение контраста (contrast);
- изменение резкости (sharpen);
- добавление шума по Гауссу (Gaussian noise);
- удаление случайных пикселей (pixel dropout);
- снижение качества изображения (downscale).
7.5.2 Также возможно использование более сложных методов аугментации в целях повышения обобщающей способности модели:
- добавление цифрового шума (ISO noise);
- размытие входного изображения с помощью фильтра Гаусса (Gaussian blur);
- размытие в движении к входному изображению (motion blur);
- добавление бликов (lens flare);
- преобразование расфокусировки (defocus);
- дополнительные линии на изображениях.
7.5.3 Представленный перечень методов допускается применять к изображениям с целью генерализации тестового набора данных для более объективного тестирования степени переобученности и устойчивости алгоритмов прогнозирований к шуму, различным дефектам изображений и настройкам камер, на которые снимали изображения.
Библиография
[1] | Демонстрационный тестовый набор данных для алгоритмов распознавания автомобильных номеров/ООО "А+С Транспроект", ООО "А-Я эксперт". - М., 2023. |
УДК 615.841:006.354 | ОКС 35.240.60 |
Ключевые слова: искусственный интеллект, автомобильный транспорт, системы управления, интеллектуальная транспортная инфраструктура, алгоритм распознавания, автомобильные номера | |
