ФЕДЕРАЛЬНОЕ АГЕНТСТВО
ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ГОСТ Р
71535-2024
Системы искусственного интеллекта на автомобильном транспорте
СИСТЕМЫ УПРАВЛЕНИЯ ИНТЕЛЛЕКТУАЛЬНОЙ ТРАНСПОРТНОЙ ИНФРАСТРУКТУРОЙ.
АЛГОРИТМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ РАСПОЗНАВАНИЯ НАРУШЕНИЙ ПРАВИЛ ОСТАНОВКИ И СТОЯНКИ ТРАНСПОРТНЫХ СРЕДСТВ
Методы испытаний
Издание официальное
Москва Российский институт стандартизации 2024
ГОСТ Р 71535—2024
Предисловие
1 РАЗРАБОТАН Обществом с ограниченной ответственностью «Симетра Групп» (ООО «Омметра Групп»), Обществом с ограниченной ответственностью «A-Я эксперт» (ООО «A-Я эксперт»)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 6 сентября 2024 г. № 1182-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
© Оформление. ФГБУ «Институт стандартизации», 2024
Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии
II
ГОСТ Р 71535—2024
Содержание
1 Область применения..................................................................1
2 Нормативные ссылки..................................................................1
3 Термины и определения...............................................................2
4 Сокращения.........................................................................3
5 Общие требования...................................................................3
6 Существенные факторы эксплуатации алгоритмов искусственного интеллекта..................3
7 Принципы разметки тестовых наборов данных.............................................6
8 Весовые коэффициенты для оценки алгоритмов искусственного интеллекта....................6
9 Тестовые наборы данных и сценарии испытания алгоритмов искусственного интеллекта для распознавания нарушений правил остановки и стоянки транспортных средств..............8
Библиография.........................................................................9
III
ГОСТ Р 71535—2024
Введение
Технологии искусственного интеллекта открывают широкие возможности для повышения безопасности дорожного движения, оптимизации транспортных потоков и обеспечения соблюдения правил дорожного движения. Настоящий стандарт устанавливает основные положения и методы испытаний алгоритмов распознавания правил остановки и стоянки транспортных средств при использовании технологий искусственного интеллекта в системах управления интеллектуальной транспортной инфраструктурой.
Применение методов, моделей и технологий искусственного интеллекта в системах управления интеллектуальной транспортной инфраструктурой предоставляет широкие возможности для решения проблем городской мобильности, перегруженности дорог и управления парковками. Применение алгоритмов искусственного интеллекта для распознавания нарушений правил остановки и стоянки транспортных средств (далее — нарушения) позволяет транспортным службам эффективно контролировать дорожную деятельность, выявлять нарушения и принимать соответствующие меры для обеспечения бесперебойного движения.
Настоящий стандарт устанавливает методы испытаний для оценки различных аспектов функционирования и применения алгоритмов искусственного интеллекта, предназначенных для обнаружения нарушений. Принятие стандартизированных процедур испытаний позволяет проводить последовательную и объективную оценку, способствуя разработке надежных и безопасных решений на основе технологий искусственного интеллекта для управления транспортной инфраструктурой.
Обеспечивая структурированный подход к испытаниям алгоритмов искусственного интеллекта для распознавания нарушений, настоящий стандарт призван повысить безопасность дорожного движения, оптимизировать управление дорожным движением и внести вклад в развитие интеллектуальных транспортных систем, отвечающих за современные и будущие задачи мобильности.
IV
ГОСТ Р 71535—2024
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Системы искусственного интеллекта на автомобильном транспорте
СИСТЕМЫ УПРАВЛЕНИЯ ИНТЕЛЛЕКТУАЛЬНОЙ ТРАНСПОРТНОЙ ИНФРАСТРУКТУРОЙ. АЛГОРИТМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ РАСПОЗНАВАНИЯ НАРУШЕНИЙ ПРАВИЛ ОСТАНОВКИ И СТОЯНКИ ТРАНСПОРТНЫХ СРЕДСТВ
Методы испытаний
Intelligent transport infrastructure management systems. Artificial intelligence algorithms for recognition of violations of the rules of stopping and parking of vehicles. Test methods
Дата введения — 2024—12—01
1 Область применения
Настоящий стандарт определяет методы испытаний алгоритмов искусственного интеллекта (ИИ) в системах управления интеллектуальной транспортной инфраструктурой (СУИТИ) в целях выявления нарушений правил остановки и стоянки транспортных средств (ТС) (далее — алгоритмы ИИ).
Стандарт распространяется на алгоритмы ИИ, специально разработанные для распознавания и обнаружения нарушений. Такие алгоритмы используются в интеллектуальном управлении транспортной инфраструктурой для повышения эффективности управления транспортными потоками, обеспечения соблюдения правил дорожного движения и повышения безопасности дорожного движения.
Настоящий стандарт предназначен для всех заинтересованных сторон, участвующих в разработке, развертывании и эксплуатации СУИТИ и ИТС, включая дорожные службы, транспортных операторов, производителей и системных интеграторов, и является руководящим документом для обеспечения ответственной и эффективной интеграции решений на основе технологий ИИ для управления дорожным движением.
Не определяя конкретных технических деталей алгоритмов ИИ, стандарт устанавливает методы испытаний для оценки различных аспектов функционирования таких алгоритмов при обнаружении и распознавании нарушений. Принятие стандартизированных процедур испытаний позволяет проводить последовательную и объективную оценку алгоритмов ИИ, способствуя разработке и внедрению надежных и безопасных решений на основе ИИ для управления дорожным движением.
Обеспечивая использование алгоритмов ИИ в управлении дорожным движением, стандарт направлен на повышение безопасности дорожного движения, оптимизацию транспортных потоков и содействие развитию ИТС.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 52051 Механические транспортные средства и прицепы. Классификация и определения
ГОСТ Р 53613 (МЭК 60721-2-2:1988) Воздействие природных внешних условий на технические изделия. Общая характеристика. Осадки и ветер
ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения
ГОСТ Р 70250—2022 Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта
Издание официальное
1
ГОСТ Р 71535—2024
ГОСТ Р 70252 Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к испытанию алгоритмов низкоуровневого слияния данных
ГОСТ Р 71533—2024 Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к испытанию алгоритмов обнаружения и распознавания дорожной разметки
Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями: 3.1
интеллектуальная транспортная система; ИТС: Система управления, интегрирующая современные информационные и телематические технологии и предназначенная для автоматизированного поиска и принятия к реализации максимально эффективных сценариев управления транспортно-дорожным комплексом региона, конкретным транспортным средством или группой транспортных средств с целью обеспечения заданной мобильности населения, максимизации показателей использования дорожной сети, повышения безопасности и эффективности транспортного процесса, комфортности для водителей и пользователей транспорта.
[ГОСТ Р 56829—2015, статья 1]
3.2
низкоуровневое слияние данных: Слияние данных, при котором комбинируются необработанные данные от разных источников.
[ГОСТ Р 70249—2022, статья 22]
3.3
сцена: Пространство в поле зрения видеокамеры.
[ГОСТ Р 71534—2024, пункт 3.4]
3.4
сумерки: Интервал времени, в течение которого Солнце находится под горизонтом, а естественная освещенность на Земле обеспечивается рассеиванием солнечного света в атмосфере и остаточным люминесцентным свечением самой атмосферы, вызываемым ионизирующими излучениями Солнца.
Примечание — В целях настоящего стандарта под сумерками понимаются гражданские сумерки, то есть период времени, для которого на открытой местности искусственного освещения практически не требуется. Продолжительность вечерних сумерек исчисляется от заката Солнца до темной границы, утренних сумерек — от темной границы — до рассвета. Время темной границы зависит от географической широты места и от времени года.
[ГОСТ Р 71533—2024, пункт 3.6]
2
ГОСТ Р 71535—2024
4 Сокращения
В настоящем стандарте использованы следующие сокращения:
БПЛА — беспилотный летательный аппарат;
ДТНД — демонстрационный тестовый набор данных;
ОР — объект распознавания;
СИИ — система искусственного интеллекта;
СФЭ — существенный фактор эксплуатации;
JSON — объектная нотация на языке программирования JavaScript (JavaScript Object Notation).
5 Общие требования
5.1 Целью проведения испытаний алгоритмов ИИ является повышение доверия к СИИ, в соответствии с ГОСТ Р 59276.
5.2 Общие требования, принципы и основные положения, касающиеся проведения испытаний, а также общие стандарты для тестирования алгоритмов ИИ, приведены в ГОСТ Р 70250.
5.3 Испытательная организация, проводящая тестирование алгоритмов ИИ, должна использовать утвержденные в ГОСТ Р 70250—2022 (раздел 8) показатели и критерии для оценки качества этих алгоритмов ИИ.
5.4 ОР являются нарушения правил остановки и стоянки ТС на автомобильных дорогах, которые обнаруживаются с помощью средств визуального восприятия в составе СУИТИ.
5.5 Для улучшения показателей качества алгоритмов ИИ они могут использовать дополнительные информационные источники для обнаружения и распознавания ОР на автомобильных дорогах. Такие источники данных включают, но не ограничиваются:
а) ИТС в части подсистемы фотовидеофиксации нарушений правил дорожного движения;
б) снимки или видеопотоки с БПЛА, осуществляющих мониторинг дорожного движения.
5.6 Для повышения качества алгоритмов ИИ могут использоваться методы низкоуровневого слияния данных, также называемые мультисенсорной интеграцией. При использовании таких технологий, испытания мультисенсорной интеграции должны соответствовать ГОСТ Р 70252.
6 Существенные факторы эксплуатации алгоритмов искусственного интеллекта
6.1 Общие положения СФЭ приведены в ГОСТ Р 71533—2024 (подраздел 6.1).
6.2 Классы ОР — главный СФЭ. Для алгоритмов ИИ классы ОР определяются следующим образом:
а) нарушения отсутствуют;
б) нарушение правил остановки;
в) нарушение правил стоянки.
6.3 СФЭ для сцены в целом:
а) баланс света и тени;
б) время суток;
в) засвечивание;
г) ракурс;
д) осадки;
е) освещенность;
ж) тип освещенности.
6.4 СФЭ для отдельных ОР:
а) нарушение правила остановки в соответствии с правилами дорожного движения;
б) нарушение правила стоянки в соответствии с правилами дорожного движения;
в) категория ТС по ГОСТ Р 52051;
г) категория ТС по водительским удостоверениям;
д) расположение ОР;
е) нахождение ОР от видеокамеры;
ж) расстояние от ТС до ОР.
3
ГОСТ Р 71535—2024
6.5 Для тестирования алгоритмов ИИ могут использоваться дополнительные СФЭ, не указанные в 6.6 и 6.7.
6.6 Значения СФЭ «Баланс света и тени»:
а) тень — ОР находится полностью в тени: общая площадь ОР, попадающая в освещенную зону, не превышает 10 %;
б) свет — ОР полностью освещен: общая площадь ОР, попадающая в освещенную зону, равна или превышает 90 %;
в) смешанный — ОР находится частично в тени, частично освещен: общая площадь ОР, попадающая в освещенную зону, более 10 %, но менее 90 %.
6.7 Значения СФЭ «Время суток»:
а) день;
б) сумерки;
в) ночь.
6.8 Значения СФЭ «Засвечивание»:
а) да — на сцене присутствует засвечивание от ярких источников внешнего освещения (произвольной природы — естественного или искусственного);
б) нет.
6.9 Значения СФЭ «Ракурс»:
а) с проезжей части — ОР наблюдается с проезжей части;
б) с обочины или тротуара — ОР наблюдается с обочины или тротуара;
в) со столба — ОР наблюдается при помощи видеокамеры, расположенной на опоре на обочине.
6.10 Значения СФЭ «Осадки»:
а) нет;
б) дождь — капли дождя не мешают распознавать ОР на воспринимаемой сцене (легкий или умеренный дождь по ГОСТ Р 53613);
в) сильный дождь — потоки воды от дождя мешают распознавать ОР на воспринимаемой сцене (интенсивный или сильный дождь, а также ливень по ГОСТ Р 53613);
г) морось — многочисленные капельки воды могут искажать воспринимаемую сцену (моросящий дождь по ГОСТ Р 53613);
д) туман — взвешенная смесь водного пара мешает воспринимать ОР на сцене;
е) снег — снежинки не мешают распознавать ОР на воспринимаемой сцене;
ж) сильный снег — снегопад мешает распознавать ОР на воспринимаемой сцене.
6.11 Значения СФЭ «Освещенность»:
а) яркое солнце — ясная погода, на небе отсутствует облачность либо она спорадическая;
б) рассеянный солнечный свет — на небе отдельные кучевые облака, солнце за облаком;
в) тень — небо полностью затянуто тучами, пасмурно, светлое время суток;
г) натриевая лампа — искусственное освещение в темное время суток при помощи натриевых светильников («желтый» свет).
д) светодиодная лампа — искусственное освещение в темное время суток при помощи светодиодных светильников (яркий «белый» свет).
е) ближний свет фар — внешнее искусственное освещение на автомобильной дороге отсутствует, используется ближний свет фар ТС;
ж) дальний свет фар — внешнее искусственное освещение на автомобильной дороге отсутствует, используется дальний свет фар ТС;
и) нет освещения — освещение отсутствует полностью в сумеречное или темное время суток.
6.12 Значения СФЭ «Тип освещенности»:
а) естественная;
б) искусственная.
6.13 Значения СФЭ «Нарушение правила остановки в соответствии с Правилами дорожного движения»:
а) на трамвайных путях, а также в непосредственной близости от них, если это создаст помехи движению трамваев;
б) на железнодорожных переездах, в тоннелях, а также на эстакадах, мостах, путепроводах (если для движения в данном направлении имеется менее трех полос) и под ними;
4
ГОСТ Р 71535—2024
в) в местах, где расстояние между сплошной линией разметки (кроме обозначающей край проезжей части), разделительной полосой или противоположным краем проезжей части и остановившимся транспортным средством менее 3 м;
г) на пешеходных переходах и ближе 5 м перед ними;
д) на проезжей части вблизи опасных поворотов и выпуклых переломов продольного профиля дороги при видимости дороги менее 100 м хотя бы в одном направлении;
е) на пересечении проезжих частей и ближе 5 м от края пересекаемой проезжей части, за исключением стороны напротив бокового проезда трехсторонних пересечений (перекрестков), имеющих сплошную линию разметки или разделительную полосу;
ж) ближе 15 м от мест остановки маршрутных ТС или стоянки легковых такси, обозначенных разметками 1.17.1 и 1.17.2, а при ее отсутствии — от указателя места остановки маршрутных ТС или стоянки легковых такси (кроме остановки для посадки и высадки пассажиров, если это не создаст помех движению маршрутных ТС или ТС, используемых в качестве легкового такси);
и) в местах, где ТС закроет от других водителей сигналы светофора, дорожные знаки или сделает невозможным движение (въезд или выезд) других ТС (в том числе на велосипедных или велопешеход-ных дорожках, а также ближе 5 м от пересечения велосипедной или велопешеходной дорожки с проезжей частью), или создаст помехи для движения пешеходов (в том числе в местах сопряжения проезжей части и тротуара в одном уровне, предназначенных для движения маломобильных граждан);
к) на полосе для велосипедистов;
л) на направляющих островках и островках безопасности.
6.14 Значения СФЭ «Нарушение правила стоянки в соответствии с правилами дорожного движения»:
а) в местах, где запрещена остановка;
б) вне населенных пунктов на проезжей части дорог, обозначенных знаком 2.1;
в) ближе 50 м от железнодорожных переездов.
6.15 Значения СФЭ «Категория ТС (по ГОСТ Р 52051)»:
a) L1 —двухколесный мопед;
б) L2 — трехколесный мопед;
в) L3 — мотоцикл;
г) L4 — мотоцикл с коляской;
д) L5 — трицикл;
е) L6 — легкий квадрицикл;
ж) L7 — квадрицикл;
и) М1 — пассажиры, не более восьми мест для сидения;
к) М2 — пассажиры, более восьми мест для сидения, менее 5 т;
л) М3 — пассажиры, более восьми мест для сидения, более 5 т;
м) N1 — грузы, менее 3,5 т;
н) N2 — грузы, более 3,5 и менее 12 т;
п) N3 — грузы, более 12 т;
р) 01 — прицепы, менее 0,75 т;
с) 02 — прицепы, более 0,75, но менее 3,5 т;
т) ОЗ — прицепы, более 3,5, но менее 10 т;
у) 04 — прицепы более Ют;
ф) Т — трактор;
х) G — транспортные средства повышенной проходимости.
6.16 Значения СФЭ «Категория ТС по водительским удостоверениям»:
а) М—L1, велосипеды (без передач), мопеды;
б) М1—L6, велосипеды с передачами более 6;
в) А—L3 — мотоциклы;
г) А1—L3, но не более 125 см3 и максимальной мощностью не более 11 кВт (но не L1);
д) В — M1/N1, разрешенная максимальная масса которых не превышает 3,5 т; M1/N1+O1;
е) BE— М1, разрешенная максимальная масса которых не превышает 3,5 т, с прицепом тяжелей его (выше 3,5 т вместе);
ж) В1— L2, L4, L5, L7;
и) С—M1/N2/N3, разрешенная максимальная масса которых превышает 3,5 т;
5
ГОСТ Р 71535—2024
к) С1—M1/N2, разрешенная максимальная масса которых 3,5—7,5 т (но не М2/МЗ), допускается с 01;
л) С1Е—M1/N2, разрешенная максимальная масса которых 3,5—7,5 т (но не М2/МЗ), с прицепом более 750 кг (до 12 т вместе);
м) СЕ—M1/N2/N3, разрешенная максимальная масса которых превышает 3,5 т (но не М2/МЗ) сцепленные с прицепом более 750 кг;
н) D — М2/МЗ, допускается с 01;
п) D1—М2/МЗ не более чем с 16 пассажирскими сидячими местами, допускается с 01;
р) D1Е—М2/МЗ не более чем с 16 пассажирскими сидячими местами и с 01, не предназначенным для пассажиров (до 12 т вместе);
с) DE—М2/МЗ с прицепом более 750 кг; сочлененные автобусы, дуобусы;
т) Тт—М2/МЗ, являющиеся трамваями;
у) ТЬ—М2/МЗ, являющиеся троллейбусами.
6.17 Значения СФЭ «Расположение ОР»:
а) параллельно на проезжей части;
б) по диагонали на проезжей части;
в) перпендикулярно на проезжей части;
г) параллельно на тротуаре;
д) по диагонали на тротуаре;
е) перпендикулярно на тротуаре;
ж) параллельно на обочине;
и) по диагонали на обочине;
к) перпендикулярно на обочине.
6.18 Значения СФЭ «Расстояние от ОР до видеокамеры»:
а) небольшое — ОР находится прямо непосредственно перед видеокамерой;
б) среднее — расстояние ОР от видеокамеры примерно 10 м или менее, но не непосредственно перед ТС;
в) большое — расстояние ОР от видеокамеры более 10 м.
6.19 Значения СФЭ «Нахождение ОР от видеокамеры»:
а) слева;
б) напротив;
в) справа.
6.20 При тестировании алгоритмов ИИ могут применяться значения СФЭ, дополнительные к множествам значений, перечисленных в 6.2—6.19.
7 Принципы разметки тестовых наборов данных
Разметка тестовых наборов данных должны осуществляться на основе принципов, изложенных в ГОСТ Р 71533—2024 (раздел 7).
8 Весовые коэффициенты для оценки алгоритмов искусственного интеллекта
8.1 Факторы качества, критерии и метрики для алгоритмов ИИ описаны в соответствии с ГОСТ Р 70250.
8.2 Для проведения оценки алгоритмов ИИ в таблицах 1—5 приведены весовые коэффициенты для критериев и метрик качества. В первой графе указаны весовые коэффициенты для критериев. Сумма всех коэффициентов в этой графе должна равняться 1. В строке каждого критерия указаны весовые коэффициенты для соответствующих метрик. Сумма всех коэффициентов метрик в строке должна равняться 1. Символ «#» в наименовании метрик заменяется на номер критерия, к которому относится данная метрика. Например, для критерия «Надежность» метрика «Н#-1» заменяется на «Н1-1», а для критерия «Н2» — на «Н2-1».
8.3 В таблице 1 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества «Надежность».
6
Таблица 1 — Весовые коэффициенты фактора качества «Надежность»
ГОСТ Р 71535—2024
Вес критерия | Критерий | Метрика 1 Н#-1 | Метрика 2 Н#-2 | Метрика 3 Н#-3 |
0,45 | Н1 | 0,6 | 0,2 | 0,2 |
0,55 | Н2 | 0,3 | 0,7 | — |
8.4 В таблице 2 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества «Сопровождаемость».
Таблица 2— Весовые коэффициенты фактора качества «Сопровождаемость»
Вес критерия | Критерий | Метрика 1 С#-1 | Метрика 2 С#-2 | Метрика 3 С#-3 | Метрика 4 С#-4 |
0,6 | С2 | 0,2 | 0,25 | 0,35 | 0,2 |
0,4 | сз | 0,6 | 0,2 | 0,2 | — |
8.5 В таблице 3 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества «Удобство применения».
Таблица 3 — Весовые коэффициенты фактора качества «Удобство применения»
Вес критерия | Критерий | Метрика 1 У#-1 | Метрика 2 У#-2 | Метрика 3 У#-3 | Метрика 4 У#-4 | Метрика 5 У#-5 |
0,15 | У1 | 0,5 | 0,5 | — | — | — |
0,3 | У2 | 0,15 | 0,5 | 0,15 | 0,15 | 0,05 |
0,55 | УЗ | 0,15 | 0,35 | 0,35 | 0,15 | — |
8.6 Для фактора качества «Эффективность» применяют следующие весовые коэффициенты: для критериев Э2 и ЭЗ — по 0,25, для Э4 — 0,5.
8.7 В таблице 4 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества «Корректность».
Таблица 4 — Весовые коэффициенты фактора качества «Корректность»
(К о Q-ф Ф со | | S ф н | го ЬС т- n Tt н bi ф 2 | см го см Н bi ф 2 | со го ^ со н bi ф S | СО хГ 0.4: Н bi Ф S | ID ГО * со 0.4: Н bi Ф S | со го ^ со q ф S | го ь- О. Н bi ф S | оо го со 0.4: Н bi Ф |
0,2 | К1 | 0,5 | 0,5 | — | — | — | — | — | — |
0,2 | К2 | 0,1 | 0,1 | 0,05 | 0,1 | 0,2 | 0,3 | о,1 | 0,005 |
0,2 | КЗ | 0,2 | 0,4 | 0,4 | — | — | — | — | — |
0,4 | К4 | 1,0 | — | — | — | — | — | — | — |
8.8 В таблице 5 приведены конкретные весовые коэффициенты для критериев и метрик фактора качества «Доверенность».
Таблица 5 — Весовые коэффициенты фактора качества «Доверенность»
Вес критерия | Критерий | Метрика 1 Д#-1 | Метрика 2 Д#-2 | Метрика 3 Д#-3 | Метрика 4 Д#-4 |
0,5 | Д1 | 0,45 | 0,45 | 0,05 | 0,05 |
0,5 | Д2 | 0,1 | 0,15 | 0,2 | 0,55 |
7
ГОСТ Р 71535—2024
8.9 Приведенные в таблицах 1—5 весовые коэффициенты для критериев и метрик являются рекомендуемыми. В процессе испытаний конкретной реализации алгоритмов ИИ можно выбирать специфические значения коэффициентов, которые должны быть описаны в документации о проведении испытаний.
9 Тестовые наборы данных и сценарии испытания алгоритмов искусственного интеллекта для распознавания нарушений правил остановки и стоянки транспортных средств
9.1 Общие положения по тестовым наборам данных, требования к представительности тестовых наборов данных и принципы расширения тестовых наборов данных приведены в ГОСТ Р 71533—2024 (подразделы 9.1, 9.2 и 9.4 соответственно).
9.2 Основной ДТНД для тестирования алгоритмов ИИ, содержащий в себе фрагменты различных вариантов ОР с учетом разнообразных значений СФЭ, приведен в [1].
9.3 ДТНД предоставляет примеры ОР в различных вариантах комбинаций значений СФЭ и содержит разметку изображений в формате JSON, в котором описываются полигоны, охватывающие ОР, к каждому из которых приписано множество значений СФЭ. Значения СФЭ также приписаны к изображениям в целом.
9.4 В состав архива, содержащего ДТНД, входит индексный файл в формате электронной таблицы, в котором перечислены все варианты ОР и все возможные значения каждого СФЭ с указанием файла изображения и соответствующей ему JSON-разметки, в которых приводятся примеры этих ОР и значений СФЭ.
8
ГОСТ Р 71535—2024
Библиография
[1] Демонстрационный тестовый набор данных для алгоритмов искусственного интеллекта для распознавания нарушений правил остановки и стоянки транспортных средств/ООО «Симетра Групп», ООО «A-Я эксперт». — М., 2024
9
ГОСТ Р 71535—2024
УДК 62-52:006.354
ОКС 35.240.60
Ключевые слова: искусственный интеллект, система искусственного интеллекта, автомобильный транспорт, система управления, интеллектуальная транспортная инфраструктура, алгоритм искусственного интеллекта, распознавание правил стоянки и остановки транспортных средств, методы испытаний
10
Редактор Н.В. Таланова Технический редактор И.Е. Черепкова Корректор С.И. Фирсова Компьютерная верстка Л.А. Круговой
Сдано в набор 09.09.2024. Подписано в печать 23.09.2024. Формат 60x84%. Гарнитура Ариал. Усл. печ. л. 1,86. Уч.-изд. л. 1,58.
Подготовлено на основе электронной версии, предоставленной разработчиком стандарта
Создано в единичном исполнении в ФГБУ «Институт стандартизации» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.
