ФЕДЕРАЛЬНОЕ АГЕНТСТВО
ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ГОСТ Р
71533— 2024
Системы искусственного интеллекта на автомобильном транспорте
СИСТЕМЫ УПРАВЛЕНИЯ ДВИЖЕНИЕМ ТРАНСПОРТНЫМ СРЕДСТВОМ
Требования к испытанию алгоритмов обнаружения и распознавания дорожной разметки
Издание официальное
Москва Российский институт стандартизации 2024
ГОСТ Р 71533—2024
Предисловие
1 РАЗРАБОТАН Обществом с ограниченной ответственностью «Симетра Групп» (ООО «Омметра Групп»), Обществом с ограниченной ответственностью «A-Я эксперт» (ООО «A-Я эксперт»)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 6 сентября 2024 г. № 1180-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
©Оформление. ФГБУ «Институт стандартизации», 2024
Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии
II
ГОСТ Р 71533—2024
Содержание
1 Область применения..................................................................1
2 Нормативные ссылки..................................................................1
3 Термины и определения................................................................2
4 Обозначения и сокращения.............................................................3
5 Общие требования....................................................................3
6 Существенные факторы эксплуатации....................................................3
6.1 Общие положения..............................................................3
6.2 Конкретизированные существенные факторы эксплуатации...........................4
7 Принципы разметки тестовых наборов данных.............................................7
7.1 Разработка методики подготовки тестовых наборов данных............................7
7.2 Создание онтологии существенных факторов эксплуатации...........................7
7.3 Сбор и разметка тестовых наборов данных.........................................8
7.4 Требования к разметке объектов распознавания.....................................8
8 Весовые коэффициенты для оценки алгоритмов искусственного интеллекта....................9
9 Тестовые наборы данных и сценарии испытания алгоритмов обнаружения и распознавания дорожной разметки...................................................................10
9.1 Общие положения.............................................................10
9.2 Требования к представительности тестовых наборов данных.........................11
9.3 Фрагменты тестовых наборов данных (демонстрационные тестовые наборы данных).....11
9.4 Принципы расширения тестовых наборов данных...................................11
Библиография........................................................................13
III
ГОСТ Р 71533—2024
Введение
Настоящий стандарт устанавливает основные положения и основные требования к испытаниям алгоритмов искусственного интеллекта (ИИ) в системах управления движением транспортных средств (ТС) для обнаружения и распознавания дорожной разметки.
Технологии ИИ обладают значительным потенциалом для повышения безопасности дорожного движения, оптимизации управления дорожным движением и обеспечения точного обнаружения и распознавания дорожной разметки. Настоящий стандарт направлен на создание основы для внедрения частных алгоритмов ИИ, разработанных для обнаружения и распознавания дорожной разметки системами компьютерного зрения ТС.
Системы управления движением ТС, оснащенные моделями ИИ, открывают возможности для повышения эффективности управления дорожным движением. Внедрение алгоритмов ИИ для обнаружения и распознавания дорожной разметки позволяет транспортным службам эффективно контролировать состояние дорожной разметки, выявлять потенциальные проблемы и принимать соответствующие меры для управления дорожным движением.
В настоящем стандарте изложены общие требования к испытаниям частных алгоритмов ИИ для обнаружения и распознавания дорожной разметки. Принятие стандартизированных требований обеспечивает объективное тестирование, позволяющее разрабатывать надежные и безопасные решения на основе технологий ИИ для систем управления ТС.
Обеспечивая структурированный подход к тестированию и оценке частных алгоритмов ИИ для обнаружения и распознавания дорожной разметки, настоящий стандарт направлен на повышение безопасности дорожного движения, оптимизацию систем управления движением ТС и содействие развитию интеллектуальных транспортных систем, способных решать текущие и будущие проблемы мобильности. Он служит важным методическим материалом для заинтересованных сторон, участвующих в разработке и внедрении технологий ИИ в дорожном транспорте, способствуя созданию более безопасной и эффективной транспортной среды для всех участников дорожного движения.
IV
ГОСТ Р 71533—2024
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Системы искусственного интеллекта на автомобильном транспорте
СИСТЕМЫ УПРАВЛЕНИЯ ДВИЖЕНИЕМ ТРАНСПОРТНЫМ СРЕДСТВОМ
Требования к испытанию алгоритмов обнаружения и распознавания дорожной разметки
Artificial intelligence systems in road transport.
Vehicle traffic control systems. Requirements fortesting road marking detection and recognition algorithms
Дата введения — 2024—12—01
1 Область применения
Настоящий стандарт определяет требования к испытаниям алгоритмов обнаружения и распознавания дорожной разметки. Алгоритмы искусственного интеллекта позволяют не только управлять высокоавтоматизированными или беспилотными транспортными средствами, но и оценивать состояние объекта распознавания и передавать соответствующую информацию с помощью технологий V2X-взаимодействия.
Стандарт распространяется на алгоритмы искусственного интеллекта, используемые для обнаружения и распознавания дорожной разметки в системах управления движением транспортного средства. Такие системы используются как в городских агломерациях, так и на автомагистралях вне населенных пунктов и служат для повышения безопасности дорожного движения, оптимизации управления дорожным движением и эффективного управления высокоавтоматизированными и беспилотными транспортными средствами за счет принятия решений на основе технологий искусственного интеллекта.
Заинтересованные стороны, участвующие в проектировании, разработке и тестировании алгоритмов искусственного интеллекта, а также технологий У2Х-взаимодействия, должны придерживаться стандартизированных требований, изложенных в настоящем стандарте. Соблюдение этого стандарта способствует разработке надежных и безопасных систем управления движением высокоавтоматизированными и беспилотными транспортными средствами на основе технологий искусственного интеллекта, повышая общую безопасность дорожного движения и способствуя использованию технологий искусственного интеллекта для интеллектуальных транспортных систем.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ 7.32 Система стандартов по информации, библиотечному и издательскому делу. Отчет о научно-исследовательской работе. Структура и правила оформления
ГОСТ Р 51256 Технические средства организации дорожного движения. Разметка дорожная. Классификация. Технические требования
ГОСТ Р 52290 Технические средства организации дорожного движения. Знаки дорожные. Общие технические требования
ГОСТ Р 53613 (МЭК 60721-2-2:1988) Воздействие природных внешних условий на технические изделия. Общая характеристика. Осадки и ветер
ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения
Издание официальное
1
ГОСТ Р 71533—2024
ГОСТ Р 70250—2022 Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта
ГОСТ Р 70252 Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к испытанию алгоритмов низкоуровневого слияния данных
ГОСТ Р 70982 Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к структуре и архитектуре \/2Х-взаимодействия
Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1 воспринимаемая сцена: Кадр, попадающий в створ видеокамеры, установленной на транспортном средстве, на котором отображается окружающее транспортное средство пространство.
3.2
интеллектуальная транспортная система; ИТС: Система управления, интегрирующая современные информационные и телематические технологии и предназначенная для автоматизированного поиска и принятия к реализации максимально эффективных сценариев управления транспортнодорожным комплексом региона, конкретным транспортным средством или группой транспортных средств с целью обеспечения заданной мобильности населения, максимизации показателей использования дорожной сети, повышения безопасности и эффективности транспортного процесса, комфортности для водителей и пользователей транспорта.
[ГОСТ Р 56829—2015, статья 1]
3.3
низкоуровневое слияние данных: Слияние данных, при котором комбинируются необработанные данные от разных источников.
[ГОСТ Р 70249—2022, статья 22]
3.4 разметка данных: Процесс добавления меток в сырые данные с целью предоставления модели машинного обучения значений целевых параметров, которые она должна предсказывать.
Примечание — В настоящем стандарте термин «разметка» может привести к смешиванию понятий из различных предметных областей. Разметку данных не следует смешивать с дорожной разметкой (см. 3.5). Процессы, описываемые в настоящем стандарте, относятся к разметке данных, которыми являются изображения дорожной разметки.
3.5
дорожная разметка: Линии, надписи и другие обозначения на проезжей части автомобильной дороги, искусственных сооружениях и элементах обустройства дорог, информирующие участников дорожного движения об условиях и режимах движения на участке дороги.
[ГОСТ 32953—2014, пункт 3.1.1]
3.6 сумерки: Интервал времени, в течение которого Солнце находится под горизонтом, а естественная освещенность на Земле обеспечивается рассеиванием солнечного света в атмосфере и остаточным люминесцентным свечением самой атмосферы, вызываемым ионизирующими излучениями Солнца.
2
ГОСТ Р 71533—2024
Примечание — В целях настоящего стандарта под сумерками понимаются гражданские сумерки, то есть период времени, для которого на открытой местности искусственного освещения практически не требуется. Продолжительность вечерних сумерек исчисляется от заката Солнца до темной границы, утренних сумерек — от темной границы до рассвета. Время темной границы зависит от географической широты места и от времени года.
4 Обозначения и сокращения
В настоящем стандарте использованы следующие обозначения и сокращения:
I2V —взаимодействие придорожной инфраструктуры с подключенными транспортными средствами (infrastructure-to-vehicle);
JSON —объектная нотация на языке программирования JavaScript (JavaScript Object Notation);
V2V — взаимодействие подключенных транспортных средств друг с другом (vehicle-to-vehicle);
V2X —взаимодействие подключенных транспортных средств с любыми другими участниками взаимодействия (vehicle-to-everything);
ИИ —искусственный интеллект;
ИТС —интеллектуальная транспортная система;
ОР —объект распознавания;
ТС —транспортное средство;
СИИ —система искусственного интеллекта;
СФЭ —существенный фактор эксплуатации.
5 Общие требования
5.1 Испытания алгоритмов ИИ направлены на обеспечение доверия к СИИ в соответствии с общими положениями ГОСТ Р 59276.
5.2 Общие требования, общие принципы проведения испытаний, общие требования к испытанию частных алгоритмов ИИ приведены в ГОСТ Р 70250.
5.3 Организация, осуществляющая испытания алгоритмов ИИ, должна применять показатели и критерии для проведения оценки качества, установленные в ГОСТ Р 70250—2022 (раздел 8).
5.4 ОР для алгоритмов ИИ — элементы дорожной разметки, наблюдаемые при помощи технических средств восприятия визуальной информации в составе системы управления движением ТС.
5.5 В целях улучшения значений критериев, показателей и метрик качества алгоритмов ИИ они могут получать дополнительные данные для обнаружения и распознавания ОР из различных источников, к которым относятся (не ограничиваясь):
а) карты высокой точности;
б) цифровые двойники автомобильных дорог;
в) окружающие ТС путем \/2\/-взаимодействия;
г) элементы придорожной инфраструктуры путем 12\/-взаимодействия;
д) данные, собираемые подсистемами ИТС в рамках мониторинга состояния автомобильных дорог; е) данные с видеокамер дорожного мониторинга.
5.6 Улучшение значений критериев, показателей и метрик качества алгоритмов ИИ может осуществляться при помощи технологии низкоуровневого слияния (мультисенсорной интеграции) данных. Испытания алгоритмов ИИ в случае, если они применяют такие технологии, также должны осуществляться в соответствии с положениями ГОСТ Р 70252.
5.7 В случае использования данных, получаемых при помощи \/2Х-взаимодействия, для низкоуровневого слияния данных, структура и архитектура такого взаимодействия определяются в соответствии с положениями ГОСТ Р 70982.
6 Существенные факторы эксплуатации
6.1 Общие положения
6.1.1 СФЭ влияют на функционирование алгоритмов ИИ, определяя ОР или его окружение либо внося те или иные вариации во входные данные алгоритмов ИИ, которые существенным образом могут влиять на выходные результаты работы алгоритмов ИИ.
3
ГОСТ Р 71533—2024
6.1.2 СФЭ могут относиться:
а) к воспринимаемой алгоритмами ИИ сцене целиком;
б) каждому отдельному ОР в частности.
6.1.3 Каждому СФЭ соответствует множество его возможных значений. Отдельное значение любого из СФЭ может быть приписано сцене или ОР. И сцене в целом, и ОР может быть приписано только одно значение какого-либо конкретного СФЭ, то есть значения конкретного СФЭ являются взаимоисключающими друг для друга.
6.1.4 Сцене целиком и каждому отдельному ОР на ней приписывается множество значений всех СФЭ, выделенных для алгоритмов ИИ.
6.2 Конкретизированные существенные факторы эксплуатации
6.2.1 Классы ОР — главный СФЭ. Для алгоритмов ИИ классы ОР определяются по ГОСТ Р 51256.
6.2.2 В состав классов ОР могут быть добавлены дополнительные классы, не указанные в ГОСТ Р 51256, но фактически используемые при организации дорожного движения, в том числе, но не ограничиваясь:
а) места стоянки специальной пожарной техники;
б) «акустическая» разметка на автомагистралях и опасных местах (поперечные полосы, заставляющие ТС вибрировать при наезде на них на большой скорости);
в) дорожная разметка синего цвета в зонах платной парковки.
6.2.3 СФЭ для сцены в целом:
а) баланс света и тени;
б) время суток;
в)засветка;
г) направление движения ТС;
д) осадки;
е) освещенность;
ж) плотность потока ТС;
и) полоса движения ТС;
к) состояние дорожного полотна;
л) тип освещенности.
6.2.4 СФЭ для отдельных ОР:
а) тип ОР по ГОСТ Р 51256;
б) может ли ТС пересекать ОР;
в) нахождение ОР по отношению к ТС;
г) направление ОР;
д) расстояние от ТС до ОР;
е) семантическая информация;
ж) состояние ОР;
и) цвет ОР;
к) частичное перекрытие ОР ТС.
6.2.5 В целях тестирования алгоритмов ИИ могут применяться дополнительные СФЭ, не перечисленные в 6.7 и 6.8.
6.2.6 Значения СФЭ «Баланс света и тени»:
а) тень — ОР находится полностью в тени: общая площадь ОР, попадающая в освещенную зону, не превышает 10 %.
б) свет — ОР полностью освещен: общая площадь ОР, попадающая в освещенную зону, равна или превышает 90 %.
в) смешанное — ОР находится частично в тени, частично освещен: общая площадь ОР, попадающая в освещенную зону, больше 10 %, но меньше 90 %.
6.2.7 Значения СФЭ «Время суток»:
а) день;
б) сумерки;
в) ночь.
4
ГОСТ Р 71533—2024
6.2.8 Значения СФЭ «Засветка» (световое загрязнение):
а) да — на сцене присутствует засветка от ярких источников внешнего освещения (произвольной природы — естественного или искусственного);
б) нет.
6.2.9 Значения СФЭ «Направление движения ТС»:
а) налево — ОР наблюдается с ракурса, при котором ТС поворачивает налево;
б) прямо — ОР наблюдается с ракурса, когда ТС движется прямо;
в) направо — ОР наблюдается с ракурса, при котором ТС поворачивает направо.
6.2.10 Значения СФЭ «Осадки»:
а) нет;
б) дождь — капли дождя не мешают распознавать ОР на воспринимаемой сцене (легкий или умеренный дождь по ГОСТ Р 53613);
в) сильный дождь — потоки воды от дождя мешают распознавать ОР на воспринимаемой сцене (интенсивный или сильный дождь, а также ливень по ГОСТ Р 53613);
г) морось — многочисленные капельки воды могут искажать воспринимаемую сцену (моросящий дождь по ГОСТ Р 53613);
д) туман — взвешенная смесь водяного пара мешает воспринимать ОР на сцене;
е) снег — снежинки не мешают распознавать ОР на воспринимаемой сцене;
ж) сильный снег — снегопад мешает распознавать ОР на воспринимаемой сцене.
6.2.11 Значения СФЭ «Освещенность»:
а) яркое солнце — ясная погода, на небе нет облачности либо она спорадическая;
б) рассеянное солнце — на небе отдельные кучевые облака, солнце за облаком;
в) тень — небо полностью затянуто тучами, пасмурно, светлое время суток;
г) натриевая лампа — искусственное освещение в темное время суток при помощи натриевых светильников («желтый» свет);
д) светодиодная лампа — искусственное освещение в темное время суток при помощи светодиодных светильников (яркий «белый» свет);
е) ближний свет фар — внешнего искусственного освещения на автомобильной дороге нет, используется ближний свет фар ТС;
ж) дальний свет фар — внешнего искусственного освещения на автомобильной дороге нет, используется дальний свет фар ТС;
и) освещение отсутствует — освещение отсутствует полностью в сумеречное или темное время суток.
6.2.12 Значения СФЭ «Плотность потока ТС»:
а) поток отсутствует — на воспринимаемой сцене отсутствуют другие ТС;
б) низкая — на воспринимаемой сцене присутствуют отдельные ТС;
в) средняя — большая часть автомобильной дороги в попутном направлении на воспринимаемой сцене занята ТС;
г) высокая — вся воспринимаемая автомобильная дорога в попутном направлении занята ТС.
6.2.13 Значения СФЭ «Полоса движения ТС»:
а) крайняя левая — ТС движется по крайней левой полосе, воспринимаемые ОР находятся преимущественно справа от ТС;
б) средняя — ТС движется по средним полосам или посередине проезжей части, воспринимаемые ОР находятся со всех сторон;
в) крайняя правая — ТС движется по крайней правой полосе, воспринимаемые ОР находятся преимущественно слева от ТС.
6.2.14 Значения СФЭ «Состояние дорожного полотна»:
а) сухое — дорожное покрытие сухое;
б) мокрое — дорожное покрытие мокрое (независимо от источника влаги);
в) покрыто снегом — дорожное покрытие в снегу;
г) неприменимо — используется в случаях, когда распознать состояние дорожного полотна невозможно (например, в условиях отсутствия освещенности).
6.2.15 Значения СФЭ «Тип освещенности»:
а) естественная;
б) искусственная.
5
ГОСТ Р 71533—2024
6.2.16 Значения СФЭ «Может ли ТС пересекать ОР»:
а) да;
б) нет;
в) неприменимо.
Примечание — Этот СФЭ применяется для дифференцирования ситуаций, когда отдельные классы ОР могут быть ориентированы по отношению к ТС различным образом (например, линия дорожной разметки 1.11). Для линий ОР необходимо устанавливать значения СФЭ «да» или «нет», для остальных классов ОР — «неприменимо».
6.2.17 Значения СФЭ «Нахождение ОР по отношению к ТС»:
а) слева — ОР находится слева от центра воспринимаемой сцены;
б) напротив — ОР находится по центру от воспринимаемой сцены, то есть центральная линия сцены либо пересекает ОР, либо ОР находится в центральной области воспринимаемой сцены, границы которой отходят от центральной линии не более чем на 10 % от ширины сцены в каждую сторону;
в) справа — ОР находится справа от центра воспринимаемой сцены.
6.2.18 Значения СФЭ «Направление ОР»:
а) попутное — ОР нанесен на проезжую часть попутного направления;
б) встречное — ОР нанесен на проезжую часть встречного направления;
в) конкурирующее — ОР нанесен на проезжую часть конкурирующего направления (например, при пересечении перекрестка);
г) неприменимо — СФЭ неприменим к конкретному ОР (например, для некоторых типов вертикальной разметки).
6.2.19 Значения СФЭ «Расстояние от ТС до ОР»:
а) небольшое — ОР находится прямо непосредственно перед ТС (ближе 3 м);
б) среднее — расстояние ОР от ТС примерно 10 м или менее, но не менее 3 м;
в) большое — расстояние ОР от ТС более 10 м.
6.2.20 Значениями СФЭ «Семантическая информация» могут быть произвольные строковые данные. Этот СФЭ используется для элементов дорожной разметки, которые дублируют дорожные знаки. Рекомендуется вносить в значение номер дорожного знака по ГОСТ Р 52290 и краткое текстовое описание значения знака, если оно зависит от использованного графического изображения (например, конкретное ограничение максимальной скорости для знака 3.24).
6.2.21 Значения СФЭ «Состояние ОР»:
а) полностью сохранна — ОР воспринимается абсолютно четко (сохранность ОР 90 % или выше);
б) незначительно изношена — наблюдаются небольшие потертости ОР (сохранность ОР 50 % или выше, но ниже 90 %);
в) средне изношена — наблюдаются существенные потертости ОР (сохранность ОР 10 % или выше, но ниже 50 %);
г) сильно изношена — ОР практически не видны (сохранность ОР ниже 10 %).
6.2.22 Значения СФЭ «Цвет ОР»:
а) белый;
б) желтый;
в) оранжевый;
г) красный;
д) белый и желтый — для некоторых типов ОР, например пешеходных переходов;
е) белый и красный — для некоторых типов ОР, например мест остановки специальной пожарной техники;
ж) перемешанный — в ситуации, когда на проезжую часть одновременно нанесены ОР различных цветов.
6.2.23 Значения СФЭ «Частичное перекрытие ОР ТС»:
а) нет — ОР полностью воспринимается, на нем нет ТС;
б) да — ОР воспринимается частично из-за перекрытия его ТС.
6.2.24 При тестировании алгоритмов ИИ могут применяться значения СФЭ, дополнительные к множествам значений, перечисленных в 6.2.1 —6.2.23.
6
ГОСТ Р 71533—2024
7 Принципы разметки тестовых наборов данных
7.1 Разработка методики подготовки тестовых наборов данных
7.1.1 Организация, осуществляющая испытания алгоритмов ИИ, должна разработать и выпустить документ «Методика подготовки тестовых наборов данных для испытаний частных алгоритмов искусственного интеллекта» (далее — методика).
7.1.2 Оформление методики осуществляется по ГОСТ 7.32.
7.1.3 Структура методики состоит из следующих разделов:
а) общее описание методики;
б) определение входов и выходов алгоритма искусственного интеллекта;
в) выявление существенных факторов эксплуатации;
г) подготовка тестового набора данных;
д) разметка тестового набора данных;
е) требования к тестовому набору данных;
ж) пример разметки графического изображения.
7.1.4 Раздел «Общее описание методики» должен содержать обзор целей и области применения методики, а также краткое введение в ее структуру и основные принципы, направленные на обеспечение точности и надежности тестирования алгоритмов ИИ.
7.1.5 Раздел «Определение входов и выходов алгоритма искусственного интеллекта» должен предоставлять перечисление принципов для однозначного определения входных данных и ожидаемых выходных результатов алгоритмов ИИ, обеспечивая понимание их функциональности.
7.1.6 Раздел «Выявление существенных факторов эксплуатации» должен описывать процессы выявления и классификации СФЭ, которые могут влиять на работу алгоритмов ИИ. Это обеспечивает базу для подготовки тестовых наборов данных.
7.1.7 Раздел «Подготовка тестового набора данных» должен предоставлять рекомендации по созданию тестовых наборов данных, включая методику сбора, организацию и структурирование графических изображений и соответствующих атрибутов с учетом выявленных СФЭ.
7.1.8 Раздел «Разметка тестового набора данных» должен описывать принципы аннотирования ОР на графических изображениях, включая связь с СФЭ и определение значений этих СФЭ для каждого ОР.
7.1.9 Раздел «Требования к тестовому набору данных» должен предоставлять рекомендации по объему, разнообразию и репрезентативности тестовых наборов данных, а также критериям их отбора для обеспечения достоверности и обширности испытаний.
7.1.10 Раздел «Пример разметки графического изображения» должен продемонстрировать пример аннотирования графического изображения в соответствии с описанными в методике принципами и требованиями.
7.2 Создание онтологии существенных факторов эксплуатации
7.2.1 Для разметки тестовых наборов данных должна быть собрана онтология СФЭ. Базовая версия онтологии СФЭ для алгоритмов ИИ представлена в 6.2.
7.2.2 При создании онтологии СФЭ необходимо провести анализ всех возможных факторов эксплуатации, влияющих на работу алгоритмов ИИ. Онтология должна охватывать широкий спектр переменных и условий для достоверного моделирования реальной среды исполнения алгоритмов ИИ.
7.2.3 При создании онтологии СФЭ требуется осуществить классификацию факторов в соответствии с их типами и свойствами.
7.2.4 Для каждого фактора в онтологии СФЭ должны быть перечислены все его возможные значения.
7.2.5 Для каждого СФЭ должно быть указано, относится ли он к распознаваемой сцене в целом или к отдельным OR
7.2.6 Онтология СФЭ должна быть гибкой и способной к расширению с учетом изменений в среде функционирования алгоритмов ИИ и появления новых факторов.
7.2.7 При создании онтологии СФЭ рекомендуется валидировать ее итоговую версию, привлекая экспертов в области ИИ и транспорта.
7
ГОСТ Р 71533—2024
7.2.8 Онтология СФЭ должна быть создана с учетом стандартов и принципов открытости, что облегчает обмен информацией и сотрудничество между заинтересованными сторонами.
7.2.9 Онтология СФЭ должна быть подробно задокументирована, с ясными определениями факторов и их значений.
7.2.10 Онтология СФЭ должна быть доступной для использования и обновления.
7.3 Сбор и разметка тестовых наборов данных
7.3.1 Тестовые наборы данных должны включать все выявленные СФЭ, представленные в онтологии. Аннотирование ОР с соответствующими значениями СФЭ обеспечивает репрезентативность наборов данных.
7.3.2 Элементы данных следует собирать из реальных сценариев применения алгоритмов ИИ. Для обеспечения точного моделирования условия изображения и контекст должны соответствовать действительным рабочим ситуациям.
7.3.3 Тестовые наборы данных должны включать разнообразные варианты значений СФЭ, отражая сложные и изменчивые условия. Тестирование должно охватывать различные сценарии, включая крайние и нетипичные ситуации, то есть ситуации, частота проявления которых в реальных условиях отличается от математического ожидания более чем на три среднеквадратичных отклонения.
7.3.4 Каждый ОР в тестовых наборах данных должен быть аннотирован для его точного выделения из воспринимаемой сцены. Аннотация должна осуществляться при помощи значений СФЭ из онтологии.
7.3.5 Разметка тестовых наборов данных должна основываться на разработанной методике.
7.3.6 Тестовые наборы данных должны предоставлять разнообразие сценариев, охватывающих все варианты значений всех СФЭ из онтологии.
7.3.7 Тестовые наборы данных должны регулярно обновляться с учетом изменений СФЭ, связанных со средой и сценариями. Разметка должна быть актуальной и соответствовать новым условиям.
7.3.8 Размеченные тестовые наборы данных должны позволять анализировать результаты функционирования алгоритмов ИИ в различных сценариях.
7.3.9 Разметка тестовых наборов данных должна подвергаться процессам валидации для обеспечения соответствия разметки данных предъявленным стандартам.
7.3.10 Процесс разметки данных и полученные тестовые наборы данных должны быть подробно документированы. Тестовые наборы данных должны быть сохранены и доступны для проверки и анализа.
7.4 Требования к разметке объектов распознавания
7.4.1 ОР могут размечаться на изображениях при помощи полигонов или при помощи линий. Рекомендуется использовать для разметки полигоны.
7.4.2 На воспринимаемой сцене должны размечаться все элементы ОР независимо от того, на какой проезжей части они находятся — попутной, конкурирующей или встречной.
7.4.3 ОР, состоящие из нескольких графических элементов, должны размечаться как единый объект, если только они полностью не перекрываются стоящим на них ТС так, что одна часть ОР воспринимается с одного края перекрывающего ТС, а другая часть — с другого края. В этом случае разметка ОР осуществляется как для двух элементов.
7.4.4 В случае, если ОР перекрывается другими объектами, которые подлежат или не подлежат аннотированию, разметка должна осуществляться с учетом видимых частей ОР, обеспечивая корректное распознавание даже при наличии частичных перекрытий.
7.4.5 ОР должны быть размечены с высокой точностью и соблюдением их геометрических параметров. Полигоны или линии, используемые для разметки ОР, должны быть плотно прилегающими к контурам ОР на изображениях, минимизируя перекрытия и зазоры.
7.4.6 При разметке ОР, находящихся на поворотах, изгибах дороги или под влиянием других аномалий, должны учитываться особенности геометрии объекта, чтобы обеспечить точное описание его формы и положения.
7.4.7 Разметка ОР должна быть согласованной с учетом перспективы искажений, вызванных углом наблюдения и ориентацией камеры. Разметка должна представлять ОР так, как они воспринимаются в реальных условиях с учетом визуальных искажений.
7.4.8 Для каждого ОР должны быть указаны соответствующие значения СФЭ из построенной онтологии СФЭ.
8
ГОСТ Р 71533—2024
7.4.9 Разметка ОР должна быть единообразной в пределах одного тестового набора данных, чтобы обеспечить сравнимость результатов и объективность оценки алгоритмов ИИ.
7.4.10 Разметка ОР должна быть документирована и храниться вместе с тестовым набором данных для возможности повторной проверки, валидации и анализа результатов. Документация должна включать в себя описание методики разметки и используемых инструментов.
7.4.11 В случае, когда ОР находится вблизи других объектов или имеет сложную структуру, раз-метка ОР должна учитывать контекст вокруг него, чтобы предоставить полную информацию о его положении и отношении к окружающим элементам.
7.4.12 Разметка ОР должна быть устойчивой к возможным искажениям и артефактам, возникающим в процессе сбора данных или обработки изображений. Она должна обеспечивать адекватное представление ОР даже в условиях шума или деформации.
7.4.13 Для ОР, имеющих дополнительные свойства или атрибуты, такие как числа, буквы, стрелки и иные символы, разметка должна включать указание на эти дополнительные элементы семантической информации.
7.4.14 Разметка ОР должна быть проверена на согласованность и корректность с привлечением независимых экспертов или специалистов, обладающих опытом в области транспорта и ИИ.
7.4.15 Для обеспечения возможности масштабируемости и повторного использования разметки ОР она должна быть выполнена с учетом стандартных форматов и протоколов для хранения аннотаций и метаданных, таких как форматы COCO, Pascal VOC и др.
7.4.16 В случае использования автоматических методов разметки ОР, таких как сегментация на основе алгоритмов компьютерного зрения, требуется проведение валидации результатов с использованием референсной разметки ОР, выполненной вручную.
8 Весовые коэффициенты для оценки алгоритмов искусственного интеллекта
8.1 Факторы качества, критерии и метрики для алгоритмов ИИ описаны в соответствии с ГОСТ Р 70250.
8.2 Для проведения оценки алгоритмов ИИ в таблице 1 — таблице 5 приведены весовые коэффициенты для критериев и метрик качества. В первой графе указаны весовые коэффициенты для критериев. Сумма всех коэффициентов в этой графе должна равняться 1. В строке каждого критерия указаны весовые коэффициенты для соответствующих метрик. Сумма всех коэффициентов метрик в строке должна равняться 1. Символ «#» в наименовании метрик заменяется на номер критерия, к которому относится данная метрика. Например, для критерия «Надежность» метрика «Н#-1» заменяется на «Н1 -1», а для критерия «Н2» — на «Н2-1».
8.3 В таблице 1 представлены конкретные весовые коэффициенты для критериев и метрик фактора качества «Надежность».
Таблица 1 — Весовые коэффициенты фактора качества «Надежность»
Вес критерия | Критерий | Метрика 1 Н#-1 | Метрика 2 Н#-2 | Метрика 3 н#-з |
0,5 | Н1 | 0,6 | 0,3 | 0,1 |
0.5 | Н2 | 0,4 | 0,6 | — |
8.4 В таблице 2 содержатся конкретные весовые коэффициенты для критериев и метрик фактора качества «Сопровождаемость».
Таблица 2 — Весовые коэффициенты фактора качества «Сопровождаемость»
Вес критерия | Критерий | Метрика 1 С#-1 | Метрика 2 С#-2 | Метрика 3 С#-3 | Метрика 4 С#-4 |
0,7 | С2 | 0,1 | 0,35 | 0,35 | 0,2 |
0,3 | СЗ | 0,8 | 0,1 | 0,1 | — |
9
ГОСТ Р 71533—2024
8.5 В таблице 3 представлены конкретные весовые коэффициенты для критериев и метрик фактора качества «Удобство применения».
Таблица 3 — Весовые коэффициенты фактора качества «Удобство применения»
Вес критерия | Критерий | Метрика 1 У#-1 | Метрика 2 У#-2 | Метрика 3 У#-3 | Метрика 4 У#-4 | Метрика 5 У#-5 |
0,3 | У1 | 0,7 | 0,3 | — | — | — |
0,2 | У2 | 0,3 | 0,3 | 0,2 | 0,1 | 0,1 |
0,5 | УЗ | 0,15 | 0,35 | 0,35 | 0,15 | — |
8.6 Для фактора качества «Эффективность» применяются следующие весовые коэффициенты: для критериев Э2 и ЭЗ — по 0,25, для Э4 — 0,5.
8.7 В таблице 4 содержатся конкретные весовые коэффициенты для критериев и метрик фактора качества «Корректность».
Таблица 4 — Весовые коэффициенты фактора качества «Корректность»
Вес критерия | Критерий | Метрика 1 К#-1 | Метрика 2 К#-2 | Метрика 3 К#-3 | Метрика 4 К#-4 | Метрика 5 К#-5 | Метрика 6 К#-6 | Метрика 7 К#-7 | Метрика 8 К#-8 |
0,1 | К1 | 0,5 | 0,5 | — | — | — | — | — | — |
0,2 | К2 | 0,1 | 0,05 | 0,1 | 0,05 | 0,2 | 0,3 | 0,1 | 0,1 |
0,3 | КЗ | 0,3 | 0,5 | 0.2 | — | — | — | — | — |
0,4 | К4 | 1,0 | — | — | — | — | — | — | — |
8.8 В таблице 5 представлены конкретные весовые коэффициенты для критериев и метрик фактора качества «Доверенность».
Таблица 5 — Весовые коэффициенты фактора качества «Доверенность»
Вес критерия | Критерий | Метрика 1 Д#-1 | Метрика 2 Д#-2 | Метрика 3 Д#-3 | Метрика 4 Д#-4 |
0,5 | Д1 | 0,3 | 0,5 | 0,1 | 0,1 |
0,5 | Д2 | 0,05 | 0,05 | 0,2 | 0,7 |
8.9 Представленные в таблицах 1—5 весовые коэффициенты для критериев и метрик являются рекомендуемыми. В процессе испытаний конкретной реализации алгоритмов ИИ организация, осуществляющая такие испытания, может использовать самостоятельно назначенные специфические значения коэффициентов, выбор которых должен быть обоснован и значения которых должны быть описаны в документации о проведении испытаний.
8.10 Пример расчета интегрального показателя качества алгоритма ИИ приведен в ГОСТ Р 70250.
9 Тестовые наборы данных и сценарии испытания алгоритмов обнаружения и распознавания дорожной разметки
9.1 Общие положения
9.1.1 В настоящем разделе изложены требования к тестовым наборам данных и сценариям испытаний алгоритмов ИИ. Представлен необходимый уровень представительности данных, кратко охарактеризованы демонстрационные фрагменты тестовых наборов данных, а также принципы формирования представительных тестовых наборов данных. Также дано объяснение принципов расширения тестовых наборов данных.
9.1.2 При формировании тестовых наборов данных для проведения испытаний алгоритмов ИИ обязательно должна обеспечиваться согласованность измерений согласно стандартам.
10
ГОСТ Р 71533—2024
9.2 Требования к представительности тестовых наборов данных
9.2.1 Тестовые наборы данных должны точно отражать разнообразие и реалии ситуаций дорожной разметки, включая важные аспекты эксплуатации.
9.2.2 Для обеспечения представительности тестовых наборов данных следует:
а) осуществлять испытания алгоритмов ИИ на тестовых данных, созданных с учетом статистических закономерностей, чтобы отразить реальное распределение дорожных ситуаций;
б) проводить повторные испытания на специально сформированных наборах данных, учитывающих редкие случаи, для более глубокого анализа работы алгоритмов ИИ.
9.2.3 Создание наборов данных повышенного уровня представительности включает следующие этапы:
а) выделение редких случаев дорожной разметки, которые встречаются менее часто, чем среднее значение (редкие варианты);
б) подготовку специальных наборов данных для редких случаев, что позволяет более детально проверить алгоритмы ИИ на этих случаях;
в) проведение испытаний с такими наборами данных для проверки качества обработки алгоритмами ИИ редких вариантов.
9.2.4 Кроме этого для проверки реакции алгоритмов ИИ на редкие случаи дорожной разметки можно использовать другие методы, такие как использование весовых коэффициентов для разных ситуаций, создание альтернативных наборов данных (сэмплирование) и улучшение наборов данных путем добавления вариаций (аугментация).
9.2.5 Такой метод подбора тестовых данных обеспечивает проверку алгоритмов ИИ на различных вариантах дорожной разметки и контекстах, гарантируя, что точность работы алгоритмов ИИ не зависит от частоты встречаемости определенных ОР, что существенно для обеспечения доверия к результатам работы алгоритмов ИИ.
9.3 Фрагменты тестовых наборов данных (демонстрационные тестовые наборы данных)
9.3.1 Основной демонстрационный тестовый набор данных для тестирования алгоритмов ИИ, содержащий в себе фрагменты различных вариантов дорожной разметки с учетом разнообразных значений СФЭ, приведен в [1].
9.3.2 Демонстрационный тестовый набор данных предоставляет примеры ОР в различных вариантах комбинаций значений СФЭ и содержит разметку изображений в формате JSON, в котором описываются полигоны, охватывающие ОР, к каждому из которых приписано множество значений СФЭ. Значения СФЭ также приписаны к изображениям в целом в соответствии с 6.2.
9.3.3 В состав архива, содержащего демонстрационный тестовый набор данных, входит индексный файл в формате электронной таблицы, в котором перечислены все варианты ОР и все возможные значения каждого СФЭ с указанием файла изображения и соответствующей ему JSON-разметки, в которых приводятся примеры этих ОР и значений СФЭ.
9.4 Принципы расширения тестовых наборов данных
9.4.1 В целях увеличения репрезентативности тестовой или обучающей выборки рекомендуется использовать методы из числа следующих:
а) применение поворотов (rotation);
б) применение масштабирования (scaling);
в) применение сдвигов (shear);
г) кадрирование (crop);
д) изменение яркости (brightness);
е) изменение контраста (contrast);
ж) изменение резкости (sharpen);
и) добавление шума по Гауссу (Gaussian noise);
к) удаление случайных пикселей (pixel dropout);
л) снижение качества изображения (downscale).
9.4.2 Также возможно использование более сложных методов расширения в целях повышения обобщающей способности модели:
а) добавление цифрового шума (ISO noise);
б) размытие входного изображения с помощью фильтра Гаусса (Gaussian blur);
11
ГОСТ Р 71533—2024
в) размытие в движении к входному изображению (motion blur);
г) добавление бликов (lens flare);
д) преобразование расфокусировки (defocus);
е) дополнительные линии на изображениях.
9.4.3 Приведенный набор методов расширения данных допускается использовать для обогащения изображений с целью создания более обобщенных тестовых наборов данных, что способствует более объективному тестированию алгоритмов ИИ в отношении их способности к обобщению и устойчивости к следующим факторам:
- переобученность. Создание дополнительных вариаций изображений позволяет оценить, насколько модель склонна к переобучению. Если модель продемонстрирует хорошую производительность на различных вариациях данных, это свидетельствует о ее способности к обобщению;
- шум и артефакты. Включение шума и артефактов в данные позволяет проверить, насколько алгоритмы ИИ могут корректно обрабатывать изображения, полученные в реальных условиях с различными артефактами и шумом;
- дефекты изображений. Разнообразные дефекты, такие как механические повреждения камеры или дефекты в оптике, могут влиять на качество изображений. Тестирование с дефектами позволяет оценить, насколько модель устойчива к таким аномалиям;
- настройки камеры. Различные камеры и их настройки могут влиять на характеристики изображений. Включение различных настроек камеры в данные позволяет учесть этот фактор при оценке производительности алгоритмов ИИ.
9.4.4 Таким образом, расширение данных с использованием вышеперечисленных методов помогает создать более репрезентативные и разнообразные тестовые наборы данных, что, в свою очередь, способствует более надежному и объективному тестированию алгоритмов ИИ в реальных условиях.
12
ГОСТ Р 71533—2024
Библиография
[1] Демонстрационный тестовый набор данных для алгоритмов обнаружения и распознавания дорожной разметки/ООО «Симетра Групп», ООО «A-Я эксперт». — М., 2024
13
ГОСТ Р 71533—2024
УДК 62-52:006.354
ОКС 35.240.60
Ключевые слова: система искусственного интеллекта, автомобильный транспорт, система управления, движение, транспортное средство, требования, алгоритм, обнаружение, распознавание, дорожная разметка
14
Редактор М.В. Митрофанова Технический редактор В.Н. Прусакова Корректор Л.С. Лысенко Компьютерная верстка М.В. Малеевой
Сдано в набор 09.09.2024. Подписано в печать 10.09.2024. Формат 60x84%. Гарнитура Ариал. Усл. печ. л. 2,32. Уч.-изд. л. 1,64.
Подготовлено на основе электронной версии, предоставленной разработчиком стандарта
Создано в единичном исполнении в ФГБУ «Институт стандартизации» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.
