ГОСТ Р 70254-2022 Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к испытанию алгоритмов прогнозирования поведения участников дорожного движения

        ГОСТ Р 70254-2022

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА НА АВТОМОБИЛЬНОМ ТРАНСПОРТЕ

Системы управления движением транспортным средством. Требования к испытанию алгоритмов прогнозирования поведения участников дорожного движения

Artificial intelligence systems in road transport. Vehicle traffic control systems. Requirements for testing algorithms for predicting the behavior of road users

ОКС 11.040.01*

Дата введения 2023-01-01

Предисловие

1 РАЗРАБОТАН Обществом с ограниченной ответственностью "Агентство искусственного интеллекта"

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 5 октября 2022 г. 1057-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Развитие технологий искусственного интеллекта (ИИ) на прикладном уровне происходит во всех уровнях жизни. На автомобильном транспорте разработка высокоавтоматизированных транспортных средств (ВАТС) основана на применении ряда алгоритмов, реализованных с использованием методов ИИ, для распознавания образов, восстановления сцены, точного позиционирования ВАТС на высокоточной карте, прогнозирования траекторий участников дорожного движения и др.

Для решения задач точного позиционирования ВАТС на высокоточной карте окружающего пространства и оперативного планирования маршрута одним из алгоритмов является алгоритм прогнозирования поведения участников дорожного движения. При использовании сенсоров различной модальности для восприятия окружающей среды СИИАУД ВАТС может использовать алгоритм прогнозирования поведения участников дорожного движения для получения информации о будущем состоянии своего окружения в целях планирования собственных тактических действий при реализации стратегической цели движения.

Для испытания алгоритмов прогнозирования поведения участников дорожного движения для обеспечения доверия к СИИАУД ВАТС, основанных на использовании методов ИИ, настоящий стандарт устанавливает общие принципы проведения испытаний. В настоящем стандарте приведены перечень весовых коэффициентов для показателей качества алгоритма и описание тестовых наборов данных с приведением сценариев испытаний описываемого алгоритма. Приведены требования к представительности (полноте и несмещенности) тестовых данных, демонстрационные тестовые наборы данных, правила формирования представительных тестовых наборов данных и принципы расширения (аугментации) тестовых наборов данных.

Настоящий стандарт является частью комплекса стандартов по установлению требований к применению технологий ИИ на транспорте для повышения доверия к технологиям ИИ, обеспечения безопасности дорожного движения, жизни и здоровья людей, сохранности их имущества и охраны окружающей среды, эффективности транспортных процессов.

1 Область применения

Настоящий стандарт распространяется на процессы испытания частных алгоритмов, реализованных с использованием методов искусственного интеллекта (ИИ), подсистемы оценки дорожной обстановки - алгоритмов прогнозирования поведения участников дорожного движения в системах управления движением высокоавтоматизированными транспортными средствами (ВАТС) высоких уровней автоматизации (4 и выше) (см. [1]).

Требования к испытаниям, установленные в настоящем стандарте, допускается применять исключительно к ВАТС категорий L, M и N (см. [2]), эксплуатируемым на автомобильных дорогах.

Настоящий стандарт предназначен для применения при проведении всех типов испытаний алгоритмов прогнозирования поведения участников дорожного движения при управлении системами искусственного интеллекта для автоматизированного управления движением ВАТС (СИИАУД ВАТС).

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 70249 Системы искусственного интеллекта на автомобильном транспорте. Высокоавтоматизированные транспортные средства. Термины и определения

ГОСТ Р 70250-2022 Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ 70249*.

4 Общие требования к испытаниям алгоритма прогнозирования поведения участников дорожного движения

Общие требования к испытанию алгоритма прогнозирования поведения участников дорожного движения - по ГОСТ Р 70250.

5 Показатели качества алгоритма прогнозирования поведения участников дорожного движения

Организация, осуществляющая тестирование алгоритма прогнозирования поведения участников дорожного движения, должна применять показатели и критерии для проведения оценки качества этого алгоритма (раздел 8 ГОСТ Р 70250-2022).

6 Весовые коэффициенты для оценки алгоритма прогнозирования поведения участников дорожного движения

Для конкретизации процедуры оценки качества алгоритма прогнозирования поведения участников дорожного движения в таблицах 1-5 приведены весовые коэффициенты для критериев и метрик качества. Весовые коэффициенты для критериев даны в первой графе. Сумма всех коэффициентов первой графы должна быть равна 1. Весовые коэффициенты для всех метрик качества заданного критерия даны в строке соответствующего критерия. Сумма всех коэффициентов для каждой строки должна быть равна 1.

Конкретные весовые коэффициенты для критериев и метрик фактора качества "Надежность" приведены в таблице 1.

Таблица 1 - Весовые коэффициенты фактора качества "Надежность"

Конкретные весовые коэффициенты для критериев и метрик фактора качества "Сопровождаемость" приведены в таблице 2.

Таблица 2 - Весовые коэффициенты фактора качества "Сопровождаемость"

Конкретные весовые коэффициенты для критериев и метрик фактора качества "Удобство применения" приведены в таблице 3.

Таблица 3 - Весовые коэффициенты фактора качества "Удобство применения"

Для фактора качества "Эффективность" используются следующие весовые коэффициенты: для критериев Э2 и Э3 - 0.25, для Э4 - 0.5.

Конкретные весовые коэффициенты для критериев и метрик фактора качества "Корректность" приведены в таблице 4.

Таблица 4 - Весовые коэффициенты фактора качества "Корректность"

Конкретные весовые коэффициенты для критериев и метрик фактора качества "Доверенность" приведены в таблице 5.

Таблица 5 - Весовые коэффициенты фактора качества "Доверенность"

Представленные в таблицах 1-5 весовые коэффициенты для критериев и метрик являются рекомендуемыми, однако при испытании частного алгоритма для конкретной задачи можно выбирать специфические коэффициенты для этой задачи.

7 Тестовые наборы данных и сценарии испытания алгоритма прогнозирования поведения участников дорожного движения

В настоящем разделе описаны тестовые наборы данных и сценарии испытания алгоритма прогнозирования поведения участников дорожного движения, а именно приведены требования к представительности (полноте и несмещенности) тестовых наборов данных, фрагменты тестовых наборов данных - демонстрационные наборы данных, правила формирования представительных тестовых наборов данных, включая, в случае необходимости, описание представительной совокупности тестовых сценариев, а также принципы расширения (аугментации) тестовых наборов данных.

7.1 Требования к представительности (полноте и несмещенности) тестовых наборов данных

Тестовый набор данных должен быть репрезентативен, содержать целевой набор изображений и ситуаций по отношению к каждому существенному фактору эксплуатации.

Для обеспечения представительности тестового набора данных необходимо:

а) проводить испытания алгоритма прогнозирования поведения участников дорожного движения на тестовом наборе, подготовленном в соответствии со статистическими закономерностями распределения существенных факторов эксплуатации, что позволит обеспечить тестирование алгоритма на соответствие реальной картине распределения дорожно-транспортных ситуаций;

б) обеспечить повторные испытания со специально смещенной выборкой относительно количества ситуаций независимо от их реального статистического распределения. Для этих целей можно воспользоваться следующей процедурой:

1) выделить ситуации, частота встречаемости которых в реальном окружении ВАТС ниже средней частоты встречаемости всех ситуаций более, чем на 3 стандартных отклонения (редкие ситуации).

Примечание - Уровень определения редких данных является рекомендуемым и может быть изменен;

2) для выделенных ситуаций подготовить для испытаний "смещенную" выборку, которая позволяет лучше проанализировать поведение алгоритма в части редких ситуаций. Например, путем семплирования с изменением частоты соответствующих ситуаций, которая приближена к среднему по всем вариантам ситуаций, или путем ввода весовых коэффициентов при оценке ошибки в соответствующих классах. Конкретный способ должен быть явно определен в программе испытаний алгоритма до начала этих испытаний;

3) провести испытания с подготовленной выборкой, чтобы убедиться, что алгоритм прогнозирует поведение участников дорожного движения с достаточным качеством.

Кроме того, при испытаниях алгоритма прогнозирования поведения участников дорожного движения на предмет реагирования на редкие дорожно-транспортные ситуации допускается использовать иные методы тестирования, включая применение весовых коэффициентов для различных существенных факторов эксплуатации, семплирования, аугментации (7.4) и другие техники.

Такой принцип подбора тестового набора данных позволит обеспечить проверку возможностей алгоритма по прогнозированию всех ситуаций в различных контекстах (вариантах комбинаций значений существенных признаков), поскольку для обеспечения доверия к результатам работы алгоритма необходимо, чтобы точность прогнозирования не зависела от частоты встречаемости конкретной ситуации при эксплуатации алгоритма.

При испытании СИИАУД необходимо руководствоваться принципами проведения испытаний: объективность испытаний, обоснованность применяемых методов (методик) испытаний, обеспечение единства измерений (аттестация методик измерений), воспроизводимость результатов испытаний и др.

7.2 Фрагменты тестовых наборов данных (демонстрационные наборы данных)

Основной набор тестовых исходных и уже сведенных данных вариантов ситуаций дорожного движения доступен по ссылке:

https://clck.ru/XufRv

Тестовый набор описывает существенные факторы эксплуатации и содержит следующие подборки (множество файлов из демонстрационного набора, описывающих конкретную шкалу существенных признаков ситуации):

- вид осадков;

- виды совершаемых нарушений;

- категория автомобильной дороги;

- количество и ширина полос;

- наличие вертикальной разметки;

- наличие дорожных знаков;

- наличие засветки;

- наличие и состояние горизонтальной разметки;

- наличие иных технических средств организации дорожного движения;

- наличие пешеходных тротуаров и пешеходных переходов в одном уровне;

- наличие примыканий и пересечений в одном уровне;

- наличие светофоров;

- наличие тумана;

- наличие участников дорожного движения, нарушающих правила дорожного движения;

- плотность потока транспортных средств;

- попадание посторонних предметов и объектов на дорогу;

- профиль автомобильной дороги - наибольший продольный уклон;

- скорость потока и отдельных транспортных средств;

- состав потока транспортных средств;

- состояние дорожного покрытия;

- тип осадков;

- условия освещенности.

Тестовый набор данных содержит тактико-технические характеристики видеорегистратора, метаданные видеосъемки (координаты транспортного средства, пример видеодорожки с наличием перечня различных ситуаций, время съемки).

Приведенный классификатор является исчерпывающим перечнем существенных факторов эксплуатации для рассматриваемого алгоритма прогнозирования поведения участников дорожного движения, при этом сценарии дорожно-транспортных ситуаций должны генерироваться на основе приведенного перечня существенных факторов эксплуатации при испытании алгоритма прогнозирования поведения участников дорожного движения с учетом тех или иных законов распределения существенных факторов эксплуатации.

7.3 Правила формирования представительных тестовых наборов данных (включая, в случае необходимости, описание представительной совокупности тестовых сценариев)

Прилагаемый к настоящему стандарту демонстрационный набор тестовых данных содержит следующий набор файлов:

- device.txt - данные и параметры самого записывающего устройства видеорегистратора внутри кабины ВАТС;

- gps.csv - данные о координатах ВАТС с приложенной видеодорожки, с указанием точных GPS-координат и времени записи;

- heading.csv, motion.csv, times.txt - файлы с технической информацией по приложенной видеодорожке;

- snapshots.zip - архив с примерами-скриншотами с приложенной видеодорожки с целевыми случаями соответствующих объектов на ней;

- video.mp4 - сама видеодорожка, содержащая в себе пример целевой ситуации/объекта с подтвержденным набором соответствующих сущностей.

Сам тестовый набор данных должен содержать в себе исходный набор видеодорожек с выборкой подтвержденных соответствующих ситуаций. Формат файла должен быть доступен для применения подходов синтетического расширения обучающей выборки, описанных в 7.4.

7.4 Принципы расширения (аугментации) тестовых наборов данных

Для увеличения репрезентативности обучающей выборки допускается использование следующих методов:

- сдвиги;

- повороты;

- дополнительные линии на изображениях;

- добавление шума на изображения;

- блики;

- дефокус;

- сжатие и растяжение вдоль осей.

Также возможно использование более сложных методов аугментации для повышения обобщающей способности модели.

Библиография