ГОСТ Р 60.6.3.11-2019 Роботы и робототехнические устройства. Методы испытаний сервисных мобильных роботов для работы в экстремальных условиях. Взаимодействие человека с роботом при выполнении поисковых работ. Произвольные лабиринты на сложной местности

ГОСТ Р 60.6.3.11-2019

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Роботы и робототехнические устройства

МЕТОДЫ ИСПЫТАНИЙ СЕРВИСНЫХ МОБИЛЬНЫХ РОБОТОВ ДЛЯ РАБОТЫ В ЭКСТРЕМАЛЬНЫХ УСЛОВИЯХ

Взаимодействие человека с роботом при выполнении поисковых работ. Произвольные лабиринты на сложной местности

Robots and robotic devices. Test methods for service mobile emergency response robots. Human-robot interaction during search task execution. Random mazes with complex terrain

ОКС 13.200
25.040.30
ОКПД2 28.99.39.190

Дата введения 2020-03-25

Предисловие

1 ПОДГОТОВЛЕН Федеральным государственным автономным научным учреждением "Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики" (ЦНИИ РТК) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 141 "Робототехника"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 8 ноября 2019 г. N 1220-ст

4 Настоящий стандарт является модифицированным по отношению к стандарту АСТМ Е2853-12* "Стандартный метод испытаний для оценки возможностей роботов для работы в экстремальных условиях. Взаимодействие человека с роботом. Поисковые задачи. Произвольные лабиринты на сложной местности" (ASTM E2853-12 "Standard test method for evaluating emergency response robot capabilities: Human-system interaction (HSI): Search tasks: Random mazes with complex terrain", MOD) путем внесения технических отклонений, объяснение которых приведено во введении к настоящему стандарту.

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .

Наименование настоящего стандарта изменено относительно наименования указанного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5) и для увязки с наименованиями, принятыми в существующем комплексе национальных стандартов Российской Федерации.

Сведения о соответствии ссылочных национальных стандартов стандартам, использованным в качестве ссылочных в примененном стандарте, приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Стандарты комплекса ГОСТ Р 60 распространяются на роботов и робототехнические устройства. Их целью является повышение интероперабельности роботов и их компонентов, а также снижение затрат на их разработку, производство и обслуживание за счет стандартизации и унификации процессов, интерфейсов, узлов и параметров.

Стандарты комплекса ГОСТ Р 60 представляют собой совокупность отдельно издаваемых стандартов. Стандарты данного комплекса относятся к одной из следующих тематических групп: "Общие положения, основные понятия, термины и определения", "Технические и эксплуатационные характеристики", "Безопасность", "Виды и методы испытаний", "Механические интерфейсы", "Электрические интерфейсы", "Коммуникационные интерфейсы", "Методы программирования", "Методы построения траектории движения (навигация)", "Конструктивные элементы". Стандарты любой тематической группы могут относиться как ко всем роботам и робототехническим устройствам, так и к отдельным группам объектов стандартизации - промышленным роботам в целом, промышленным манипуляционным роботам, промышленным транспортным роботам, сервисным роботам в целом, сервисным манипуляционным роботам и сервисным мобильным роботам.

Настоящий стандарт относится к тематической группе "Виды и методы испытаний" и распространяется на сервисных мобильных роботов, предназначенных для работы в экстремальных условиях. Настоящий стандарт определяет метод испытаний взаимодействия человека с роботом, предназначенным для работы в экстремальных условиях при решении поисковых задач.

Настоящий стандарт является модифицированным по отношению к стандарту АСТМ Е2853-12, разработанному техническим комитетом E54 ASTM International "Прикладные системы для национальной безопасности" в соответствии с принципами стандартизации, установленными в Решении о принципах разработки международных стандартов, руководств и рекомендаций Комитета по техническим барьерам в торговле Всемирной торговой организации, для приведения его в соответствие с требованиями основополагающих национальных и межгосударственных стандартов.

В настоящий стандарт внесены следующие технические отклонения по отношению к стандарту АСТМ Е2853-12:

- в настоящий стандарт не включены примечания и сноски примененного стандарта, которые нецелесообразно применять в российской национальной стандартизации в связи с их содержанием, имеющим справочный характер и относящимся к системе стандартизации США;

- в настоящем стандарте значения физических величин указаны только в Международной системе единиц (СИ), используемой в российской национальной стандартизации в соответствии с требованиями ГОСТ 8.417-2002, тогда как в примененном стандарте значения измерений указаны как в системе единиц СИ, так и в американских единицах (дюйм-фунт); соответственно пункт 1.3 примененного стандарта об использовании двух систем единиц измерения не включен в настоящий стандарт;

- раздел 1 "Область применения" приведен в соответствие с требованиями ГОСТ 1.5-2001, подраздел 3.7: пункты 1.1.1 и 1.1.2 примененного стандарта объединены в пункт 1.1; пункты 1.1.3 и 1.1.5 перенесены в раздел 4, где имеют нумерацию 4.1 и 4.2, соответственно пункты 4.1-4.6 примененного стандарта в настоящем стандарте имеют нумерацию 4.3-4.8; пункт 1.1.4 примененного стандарта перенесен в раздел 6, пункт 6.1; пункт 1.2 примененного стандарта перенесен в раздел 4, пункт 4.10; нумерация пункта 1.4 примененного стандарта изменена на 1.2;

- в раздел 2 "Нормативные ссылки" настоящего стандарта не включены стандарты АСТМ E2592 и АСТМ Е2566, не имеющие аналогов среди межгосударственных и национальных стандартов, и подраздел 2.2 примененного стандарта, содержащий ссылки на документы системы стандартизации США, которые нецелесообразно применять в российской национальной стандартизации; соответственно из пунктов 3.13, 4.2, 5.2, 5.6 и 8.1 исключены ссылки на эти документы, имеющие справочный характер, что не влияет на техническое содержание данных пунктов;

- в настоящий стандарт в соответствии с ГОСТ Р 1.7-2014, ГОСТ 1.3-2014, ГОСТ Р 1.5-2012 и ГОСТ 1.5-2001 включен раздел 3 "Термины и определения" вместо использованного в примененном стандарте раздела 3 "Терминология", состоящего из подраздела 3.1 "Определения";

- в раздел 3 добавлен термин "взаимодействие человек-робот", пропущенный в примененном стандарте;

- в настоящем стандарте терминологические статьи расположены в алфавитном порядке русского языка для обеспечения соответствия требованиям ГОСТ 1.5-2001;

- пояснения к терминологическим статьям в настоящем стандарте оформлены как примечания в соответствии с ГОСТ 1.5-2001 вместо использованных в примененном стандарте подпунктов "Обсуждение";

- в настоящем стандарте для обеспечения более четкого структурирования основных положений стандарта и обеспечения соответствия требованиям ГОСТ 1.5-2001 пункты 6.4 и 8.7 примененного стандарта, содержащие одинаковые положения, объединены и перенесены в раздел 4, пункт 4.9; пункт 6.3 примененного стандарта перенесен в раздел 5, пункт 5.5; пункт 5.4 примененного стандарта перенесен в раздел 6, пункт 6.4; пункт 6.5 примененного стандарта перенесен в раздел 5, пункт 5.7; пункт 8.2 примененного стандарта перенесен в раздел 5, пункт 5.4; в соответствии с этими переносами изменилась нумерация пунктов в разделах 5 и 8: 5.5 на 5.6, 8.3-8.6 на 8.2-8.5, 8.8 на 8.6;

- рисунок 1 из примененного стандарта, содержащий фотографию конкретного стенда, не включен в настоящий стандарт, при этом нумерация рисунков 2-5 поменялась на 1-4;

- на рисунках 3 и 4 не приведены наименование и символы национальных институтов США и информация о попытках выполнения задания представлена в более компактной форме, что не затрагивает технического содержания рисунков;

- в настоящем стандарте в примере заполнения протокола испытаний (рисунок 4) заполнены все поля протокола информацией на русском языке для более полного представления данного примера в отличие от примененного стандарта, в котором некоторые поля оставлены пустыми;

- нумерация пунктов 7.1 и 12.1 примененного стандарта исключена в настоящем стандарте в соответствии с требованиями ГОСТ 1.5-2001, пункт 4.2.3;

- в настоящем стандарте ключевые слова приведены в библиографических данных в соответствии с ГОСТ 1.5-2001 вместо раздела 13 "Ключевые слова" в примененном стандарте.

1 Область применения

1.1 Настоящий стандарт распространяется на телеуправляемых наземных роботов, соответствующих определению по ГОСТ Р 60.6.3.1, с массогабаритными параметрами, сопоставимыми с параметрами человека, и устанавливает метод испытаний, испытательное оборудование, порядок проведения испытаний и показатели для количественной оценки способности телеуправляемых наземных роботов осуществлять поисковые работы в лабиринте.

Примечание - Возможность осуществлять поисковые работы в строениях, напоминающих лабиринты, является одной из характеристик телеуправляемых наземных роботов для работы в экстремальных условиях. Проходы, образованные на сложных участках местности и обладающие сложными и визуально похожими ответвлениями, представляют тип внешней среды, который встречается как в условиях аварийных ситуаций, так и при других внешних условиях.

1.2 Требования настоящего стандарта не распространяются на все проблемы безопасности, связанные с его применением, если таковые имеются. Пользователи настоящего стандарта отвечают за разработку необходимых мер безопасности и охраны здоровья, а также за определение применимости законодательных ограничений до использования настоящего стандарта.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 60.6.3.1 Роботы и робототехнические устройства. Методы испытаний сервисных мобильных роботов для работы в экстремальных условиях. Термины и определения

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочного стандарта в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

3.2

3.3

Примечание - До начала перемещения мобильный робот находится на позиции СТАРТ и перемещается в позицию ФИНИШ для завершения данной попытки. В методе испытаний может быть задано возвращение на позицию СТАРТ для завершения выполнения задания. Многократные попытки, выполненные в одинаковых условиях, могут быть использованы для установления рабочих характеристик с определенной степенью статистической значимости, заданной заказчиком испытаний.

3.4

Примечание - Испытания робота включают оценку проходимости, манипуляционных характеристик, работы датчиков, энергетической оснащенности, работы каналов управления и передачи данных, взаимодействия человек-робот, логистики, безопасности при эксплуатации, а также работоспособности в любое время суток и в любых климатических условиях.

3.5

3.6

3.7

Примечания

1 Неисправные состояния снижают доверие к выполненной попытке. Время проведения испытания длится до тех пор, пока оператор не определит, что он не может продолжить выполнение задания, и сообщит об этом руководителю испытаний, который приостанавливает испытание и заносит в протокол испытаний информацию о причине возникновения неисправного состояния с отметкой времени.

2 К неисправным состояниям относятся неправильная работа робототехнического комплекса, например отсутствие траекторного контроля, и проблемы с выполнением задания, например чрезмерное отклонение от заданного маршрута или невозможность распознать цель.

3.8

Примечание - В обязанности оператора входят:

- проверка и обеспечение готовности робота к выполнению задания;

- ответственность за соблюдение мер безопасности и использование страховочного средства с помощью назначенного помощника;

- определение того, следует ли отказаться от проведения испытаний.

3.9

Примечания

1 Если изготовитель решил отказаться от проведения испытаний, то он объявляет об этом до их начала. В протоколе испытаний отмечают, что технические характеристики не были подтверждены испытаниями, несмотря на наличие условий для проведения испытаний.

2 Отказ от проведения испытаний возможен в том случае, если робот соответствует области применения данного метода испытаний, но представленная конфигурация робота конструктивно не подходит или не имеет необходимого оснащения для выполнения заданий, предписанных в методе испытаний. Правила эксплуатации испытательного оборудования позволяют до начала испытаний определить применимость метода испытаний для данной конфигурации робота.

3.10

Примечания

1 Прочность материала, используемого в этих элементах, позволяет испытуемым роботам выполнять тестовые задания. Материалом, обычно используемым для изготовления элементов наклонной поверхности, являются ориентированно-стружечные плиты (ОСП), которые представляют собой общедоступный конструкционный материал. Фрикционные характеристики ОСП напоминают покрытый пылью бетон и другие искусственные напольные покрытия, часто встречающиеся при чрезвычайных ситуациях. Наклонную поверхность обычно поддерживают опоры из твердой древесины с поперечным сечением 0,10,1 м.

2 Элементы данного типа собирают в разных конфигурациях для создания препятствий различного уровня сложности для испытания функциональных возможностей роботов.

3.11

3.12

3.13

Примечание - Рабочее место оператора располагают так, чтобы изолировать оператора от прямого визуального и звукового контактов с испытательным оборудованием и роботом.

3.14

Примечание - Робот для работы в экстремальных условиях является развертываемой машиной, предназначенной для выполнения оперативных задач в различных рабочих режимах при чрезвычайных ситуациях. Он сконструирован так, чтобы обеспечить оператору дополнительные возможности для получения достоверной информации о ситуации на удаленном расстоянии и реализации его намерений благодаря имеющемуся оснащению, а также уменьшить риск для оператора при одновременном повышении эффективности и результативности выполнения задания. К желательным характеристикам робота для работы в экстремальных условиях относятся:

- быстрое развертывание;

- дистанционное управление на требуемом удалении от оператора;

- проходимость в сложных внешних условиях;

- достаточная прочность в жестких условиях эксплуатации;

- надежность и возможность технического обслуживания в полевых условиях;

- долговечность и/или экономическая эффективность;

- оснащенность средствами обеспечения безопасности.

3.15

Примечание - В обязанности руководителя входят:

- обеспечение готовности оборудования, наличия протокола испытаний и всех необходимых измерительных приборов, таких как секундомер и люксметр;

- обеспечение соблюдения заданных или необходимых условий внешней среды;

- информирование оператора о наличии страховочного средства и проверка того, что оператор либо решил не использовать его, либо назначил человека, который умеет с ним обращаться;

- подача команд оператору на начало и завершение испытаний и регистрация в протоколе данных о рабочих характеристиках испытуемого робота и значимых наблюдениях в ходе испытаний.

3.16

Примечания

1 Подобные конструкции и внешняя среда, хотя и могут преодолеваться человеком, могут быть достаточно разрушенными и опасными, чтобы ограничить доступ к ним человека.

2 Испытуемые роботы для работы в экстремальных условиях по своим массогабаритным параметрам соответствуют эксплуатации в подобной внешней среде.

3 Для данного термина не заданы точные массогабаритные диапазоны. Испытательное оборудование ограничивает внешнюю среду, в которой выполняют задания. Данные ограничения, в свою очередь, определяют типы роботов, которые допускается рассматривать как подходящие для проведения поисково-спасательных работ.

3.17

Примечание - В методе испытаний может быть установлено несколько заданий.

3.18

3.19

3.20

4 Условия проведения испытаний

4.1 Роботы для работы в экстремальных условиях должны помогать оператору выполнять разные типы заданий. Необходимые для этого способности роботов по ВЧР включают поиск и навигацию на различных типах местности, в проходах и ограниченных пространствах. Стандартные методы испытаний необходимы для оценки соответствия этим требованиям испытуемых роботов.

4.2 Испытательный комплект по ВЧР обеспечивает количественную оценку возможностей по ВЧР, необходимых телеуправляемым наземным роботам, действующим в экстремальных условиях. Заказчики испытаний могут применять весь испытательный комплект или его часть, основываясь на своих технических требованиях. Кроме того, заказчики испытаний могут установить дифференцированные весовые коэффициенты для конкретных методов испытаний или для определенных показателей данного метода испытаний на основе своих технических требований. Результаты испытаний должны в совокупности представлять общую оценку возможностей наземного робота по ВЧР. Эти данные могут быть использованы при выборе роботов или при проведении приемочных испытаний роботов, предназначенных для работы в экстремальных условиях.

Примечания

1 На характеристики управления роботом влияют возможности как робота, так и оператора. Среди всех стандартных методов испытаний некоторые методы больше зависят от первого фактора, а другие от второго, но чрезвычайно трудно полностью изолировать эти факторы друг от друга. Испытательный комплект по ВЧР сфокусирован на оценке возможностей оператора по взаимодействию с роботом, в то время как другой испытательный комплект по датчикам сфокусирован на способности роботов воспринимать внешнюю среду.

2 Дополнительные методы испытаний в составе данного испытательного комплекта могут быть разработаны для обеспечения соответствия дополнительным или ужесточенным требованиям к возможностям роботов по ВЧР, включая вновь появившиеся требования и даже новые прикладные области. Аварийно-спасательным службам могут потребоваться роботы с более высоким уровнем автономности, помимо телеуправления, чтобы снизить рабочую нагрузку на оператора. Кроме того, аварийно-спасательные службы, работающие в особо сложных экстремальных условиях, могут предъявлять специфические требования к возможностям роботов, что потребует разработки новых стандартов. Тем не менее, настоящий стандарт является самостоятельным и полным.

4.3 Тестовым заданием для данного метода испытаний является перемещение телеуправляемого робота в заданном лабиринте для обнаружения и распознавания целевых объектов. В качестве целевых объектов следует использовать стандартные маркировки опасных материалов. Обнаружением целевого объекта считается правильное определение оператором его наличия с помощью видеоизображения на экране операторского пульта управления и информирование об этом руководителя испытаний. Распознаванием целевого объекта считается правильное информирование руководителя испытаний по меньшей мере о трех из следующих четырех параметров целевого объекта: цвет, пиктограмма, число и текст. Если оператор правильно информировал руководителя об одном или двух параметрах, то это засчитывается только как обнаружение целевого объекта. Попыткой в данном методе испытаний является поиск в лабиринте очередного целевого объекта для его распознавания.

________________

Маркировка опасных материалов определена в ГОСТ 19433-88 и в Европейском соглашении о международной дорожной перевозке опасных грузов (ДОПОГ-2019).

4.4 Технические возможности робота влияют на способность оператора выполнять задания. Заказчик испытаний может выбрать весовой коэффициент показателя обнаружения больше, чем показателя распознавания, чтобы снизить влияние телекамер и/или освещенности, если его основной задачей является определение способности оператора. Другим способом определения соотношения способностей робота и оператора для заказчика испытаний является задание соответствующих значений надежности и доверительной вероятности этим двум показателям согласно требованиям заказчика (см. раздел 8).

4.5 Испытуемый робот должен начать движение из исходной позиции и вернуться на исходную позицию в конце испытания. Исходная позиция должна быть задана заказчиком испытаний, а оператор не должен знать о ней до начала испытания.

4.6 Для испытаний робота должно быть использовано телеуправление из указанного руководителем рабочего места оператора с помощью операторского пульта управления. Рабочее место оператора должно быть расположено и оборудовано так, чтобы изолировать оператора от прямого визуального и звукового контактов с испытательным оборудованием и роботом.

4.7 Оператор может провести тренировку до начала испытания. Он также может отказаться от проведения испытаний до их начала. В ходе испытания не должно быть общения между оператором и руководителем испытаний, кроме команды начать испытание и сообщений о неисправностях робота или нарушении мер безопасности. Оператор несет полную ответственность за определение того, завершил ли робот и когда завершил очередную попытку, и за уведомление об этом руководителя. Решение о выполнении очередной попытки принимает только руководитель испытаний.

Примечание - Тренировка на данном испытательном оборудовании может помочь установить пригодность робота для данного метода испытаний. Она позволяет оператору ознакомиться со стандартным оборудованием и условиями внешней среды. Она также помогает руководителю испытаний, если требуется, установить начальные параметры оборудования для проведения испытаний.

4.8 Заказчик испытаний имеет право установить порядок и условия проведения испытаний, включая:

- список роботов, допущенных к участию в испытаниях;

- график проведения испытаний;

- испытательный полигон, который подготовлен для данного метода испытаний;

- условия внешней среды во время испытаний;

- настройки испытательного оборудования;

- значения статистической надежности и достоверности результатов испытаний.

4.9 По требованию заказчика испытаний должны быть обеспечены условия освещенности и другие параметры внешней среды, которые могут повлиять на результаты испытаний, например типы и состояния поверхностей оборудования, включая уровень водяной пленки на поверхности, коэффициент трения, температуру, задымленность, влажность воздуха и дождь. Для проведения испытаний в темноте должен быть предоставлен люксметр для измерения освещенности 0,1 лк и менее. Уровень освещенности должен быть повторно измерен, если условия освещенности изменились. Средства измерений для контроля параметров внешней среды обеспечивает организация, предоставляющая испытательное оборудование для проведения испытаний. Требования к точностным характеристикам средств измерений не предъявляют. Фактические значения параметров внешней среды должны быть занесены в протокол испытаний.

Примечание - Испытательное оборудование может быть масштабировано с уменьшением размеров составляющих его элементов и размещено в стандартном транспортировочном контейнере, установленном Международной организацией по стандартизации (ИСО), в котором могут быть обеспечены условия проведения испытаний. Для достижения заданной темноты, выключают все источники освещения, и вход полностью закрывается светонепроницаемыми шторами. Темнота определена как освещенность 0,1 лк из-за стоимости реализации оборудования, а также из-за того, что телекамеры роботов менее чувствительны, чем глаза человека. Поэтому любой уровень освещенности менее 0,1 лк не фиксируется телекамерами, хотя внешняя среда в реальных условиях может быть более темной, чем указанные условия испытаний.

4.10 Испытания согласно данному методу могут быть проведены в полевых условиях или в испытательной лаборатории, где можно воспроизвести необходимые условия внешней среды и установить испытательное оборудование.

5 Требования к проведению испытаний

5.1 Основной целью использования роботов в аварийно-спасательных операциях является повышение безопасности и эффективности работы сотрудников аварийно-спасательных служб, работающих в опасных средах и труднодоступных местах. При многократном выполнении попыток результаты испытаний робота статистически демонстрируют надежность выполнения роботом задания и таким образом обеспечивают заказчика испытаний достоверными данными по применимости данного робота.

5.2 Данный метод испытаний относится к проверке соответствия требованиям, предъявляемым сотрудниками аварийно-спасательных служб и представителями других заинтересованных организаций к рабочим характеристикам роботов. Рабочие характеристики робота, полученные с помощью данного метода испытаний, свидетельствуют о возможности его применения в чрезвычайных ситуациях. Доступная номенклатура роботов, успешно прошедших испытания, с соответствующими данными об их рабочих характеристиках может быть использована сотрудниками аварийно-спасательных служб при закупках и вводе в эксплуатацию роботов.

5.3 Данный метод испытаний является частью испытательного комплекта по ВЧР и обеспечивает информацию о возможностях подсистемы взаимодействия робота с оператором. Достоверная характеристика, полученная с использованием данного метода испытаний, не обеспечит успешную работу робота в различных экстремальных условиях из-за возможных непредсказуемых эксплуатационных трудностей. Данный метод испытаний обеспечивает общее сравнение технологий ВЧР при моделировании внешней среды во время чрезвычайных ситуаций и предоставляет количественные данные о рабочих характеристиках робота. Настоящий стандарт также предназначен для стимулирования разработки усовершенствованных и инновационных систем ВЧР для роботов.

5.4 В процессе испытания робот должен выполнить задание согласно 4.3. При этом робот должен выполнить заданное число попыток в режиме телеуправления, не покидая оборудование. Во время выполнения роботом попыток человек не должен осуществлять какое-либо физическое вмешательство, включая регулировку, техническое обслуживание или ремонт робота и операторского пульта управления, а также подзаряжать источники питания робота и пульта управления. Любые подобные действия следует рассматривать как неисправное состояние.

5.5 Заказчик испытаний имеет право задать исходную позицию для поиска, которая может находиться как на входе в лабиринт, так и внутри него. При сравнении показателей по ВЧР разных роботов исходная позиция должна быть одинаковой для всех испытуемых роботов.

5.6 Хотя данный метод испытаний был разработан для роботов, предназначенных для выполнения заданий в экстремальных условиях, он также может быть использован и в других областях применения роботов.

5.7 При проведении испытаний должен быть обеспечен хронометраж с использованием секундомера.

6 Требования к испытательному оборудованию

6.1 Данный метод испытаний по поиску в произвольном лабиринте является частью испытательного комплекта по ВЧР. Используемое оборудование обеспечивает оценку конкретных способностей роботов с высокой степенью повторяемости, что облегчает сравнение разных моделей роботов, а также разных конфигураций роботов одной модели.

6.2 Испытательное оборудование должно собираться из элементов плоской поверхности размером 1,21,2 м. Каждая из четырех сторон такого элемента должна быть сконструирована таким образом, чтобы на ней могла быть установлена стена высотой 2,4 м, либо она могла бы оставаться открытой. Стены изготавливаются из ОСП или фанеры размером 1,22,4 м (рисунок 1). Лабиринт формируется из 48 таких элементов. На ровном полу устанавливают полноразмерные и половинные элементы наклонной поверхности (рисунок 2). Оттенки серого цвета на рисунке 2 обозначают высоту от поверхности - чем темнее, тем выше. Стороны элементов плоской поверхности, на которых не установлены стены, обозначены белыми линиями, а стороны с установленными стенами - синими линиями. Дополнительные штриховые линии обозначают гребни, образованные половинными элементами наклонной поверхности.

Рисунок 1 - Произвольный лабиринт

Рисунок 2 - Пол лабиринта с установленными элементами наклонной поверхности

6.3 Стандартные маркировки опасных материалов должны быть размещены случайным образом на стенах лабиринта, чтобы служить в качестве целевых объектов для поиска. Заказчик испытаний имеет право задать количество используемых целевых объектов и места их размещения, включая высоту. При этом заказчик испытаний может установить несколько диапазонов высоты размещения целевых объектов на стенках лабиринта, чтобы ограничить область поиска или дифференцировать по высоте способность робота по поиску. При сравнении показателей по ВЧР разных роботов целевые объекты должны быть размещены одинаково для всех испытуемых роботов.

________________

Маркировка опасных материалов определена в ГОСТ 19433-88 и в Европейском соглашении о международной дорожной перевозке опасных грузов (ДОПОГ-2019).

6.4 Стандартное испытательное оборудование должно быть легко изготавливаемым из доступных материалов с использованием нетрудоемких технологий для того, чтобы обеспечить возможность разработчикам и изготовителям роботов самостоятельно оценивать рабочие характеристики роботов, а сотрудникам аварийно-спасательных служб осуществлять обучение и определение квалификации операторов.

7 Требования безопасности

Помимо положения, приведенного в 1.2, которое относится к безопасности человека и охране здоровья, пользователи настоящего стандарта должны также учитывать вопросы сохранности оборудования и проблемы, связанные с присутствием человека и робота в общей зоне проведения испытаний.

Примечание - Заказчик испытаний имеет право задать условия внешней среды, при которых данное испытание будет проведено. Эти условия могут оказаться тяжелыми не только для людей, но и для роботов, например, высокие или низкие температуры, чрезмерная влажность и неровный рельеф, которые могут повредить компоненты робота или вызвать неуправляемые движения робота.

8 Определение характеристик и показателей

8.1 Конфигурация робота при проведении испытаний должна быть подробно описана в протоколе испытаний, включая все подсистемы и компоненты с их характеристиками и функциональными возможностями. Конфигурация робота, при необходимости, должна быть проверена всеми методами испытаний, установленными заказчиком испытаний, чтобы обеспечить достоверное и всестороннее определение его рабочих характеристик. При любом изменении конфигурации робота необходимо проведение повторных испытаний.

8.2 Показателями для данного метода испытаний являются число обнаруженных целевых объектов, число распознанных целевых объектов, средняя скорость обнаружения и средняя скорость распознавания целевых объектов, то есть усредненное число целевых объектов, которые робот обнаружил или распознал за единицу времени.

8.3 Кроме того, заказчик испытаний имеет право потребовать регистрировать в протоколе испытаний маршруты перемещения или то, как оператор передает сообщения руководителю испытаний. Данная информация должна показать, существуют ли зоны и целевые объекты, которые либо неоднократно посещались, либо вообще были пропущены, демонстрируя эффективность и полноту поиска.

8.4 Заказчик испытаний имеет право задать относительные весовые коэффициенты установленным показателям.

Примечание - Если заказчик испытаний задает в качестве критерия поиска обнаружение целевого объекта или обнаружение всех целевых объектов в лабиринте, то оператор может проигнорировать эффективность поиска и выбрать вместо этого многократное посещение некоторых зон, чтобы обеспечить достижение требуемых результатов поиска.

8.5 Данные показатели и испытательное оборудование разработаны для оценки работы робота в режиме телеуправления, хотя автономная работа робота на данном испытательном оборудовании с использованием установленных показателей также возможна при условии, что будет соблюден порядок проведения испытаний автономного робота с отражением связанных с этим действий в протоколе испытаний. Однако при этом будет оценена не подсистема ВЧР, а способность автономного робота обнаруживать и распознавать целевые объекты.

8.6 Должны быть заданы надежность робота (Н) при выполнении задания с конкретными параметрами оборудования и связанная с этим доверительная вероятность (Д). Заданные значения Н и Д определяют необходимое число успешных обнаружений и распознаваний и допустимое число сбоев во время испытаний. Для заданной пары значений Н и Д при увеличении допустимого числа сбоев необходимо большее число успешных попыток. Заказчик испытаний имеет право задать значения Н и Д в соответствии со своими целями испытаний. Факторами, которые следует учитывать при определении данных значений, являются:

- требования целевого назначения робота;

- соответствие условиям эксплуатации;

- возможность выполнения необходимого числа попыток;

- материальные затраты на испытания, связанные со временем и персоналом.

Допустимое число сбоев для заданных значений Н и Д может быть рассчитано с помощью общих методов статистического анализа. В разделе 11 представлены примеры значений этих параметров.

9 Порядок проведения испытаний

9.1 Для обеспечения повторяемости данных и организации испытаний руководитель испытаний должен перед началом испытаний получить и зарегистрировать в протоколе указанные в 9.2 исходные данные. Неисправные состояния следует фиксировать в ходе испытаний и регистрироваться в протоколе испытаний.

Примечание - Разные модели роботов могут частично объяснить различия в результатах испытаний. Разное число попыток может отчасти указывать на то, сколько усилий оператор затратил для достижения результата.

9.2 К информации, предваряющей испытания и регистрируемой в протоколе испытаний, относятся:

9.2.1 "Дата" - дата проведения испытаний.

Примечание - Информация о времени проведения испытаний также может быть приведена в данном поле.

9.2.2 "Место" - наименование организации или полигона, где проводятся испытания.

9.2.3 "Адрес" - наименование населенного пункта, района или области, где проводятся испытания.

9.2.4 "Мероприятие/заказчик" - наименование мероприятия по проведению испытаний и заказчика испытаний.

Примечание - Если робота испытывают с целью определения его рабочих характеристик независимо от какого-либо конкретного мероприятия, то в поле "Мероприятие" указывают "Независимое", а в качестве заказчика может выступать, например, изготовитель робота.

9.2.5 "Изготовитель робота" - наименование изготовителя робота.

9.2.6 "Модель робота" - собственное наименование и номер модели, включая любое расширение или примечание, полностью идентифицирующее конкретную модель испытуемого робота.

9.2.7 "Конфигурация робота" - идентификатор конкретной конфигурации робота.

9.2.8 "Оператор/организация" - фамилия и инициалы человека, который будет осуществлять телеуправление роботом при проведении испытаний, наименование организации, к которой относится оператор, и контактная информация.

9.2.9 "Освещенность" - условия освещенности, при которых будут проводиться испытания; заказчик испытаний может задать условия освещенности и другие параметры внешней среды.

9.2.10 "Связь с роботом" - указывают, использует ли оператор для связи с роботом радиоканал, кабель или их комбинацию при проведении испытаний.

9.2.11 "Номер испытания" - порядковый номер регистрируемого испытания данного робота.

9.2.12 "Руководитель испытаний/организация" - фамилия и инициалы руководителя испытаний, организация, которую он представляет, и контактная информация.

9.2.13 В нижней части протокола испытаний может быть приведена дополнительная информация, например наименования видеофайлов с фиксацией хода испытаний робота.

9.2.14 Примеры представления перечисленной выше информации в верхней и нижней частях протокола испытаний показаны на рисунках 3 и 4.

Рисунок 3 - Пример незаполненного протокола испытаний

Рисунок 4 - Пример заполнения протокола испытаний

9.3 Порядок проведения испытаний

9.3.1 Перед началом испытаний оператор должен принять решение: отказаться от проведения испытаний или приступить к испытаниям. После того, как оператор приступил к испытаниям, он уже не имеет права отказаться от их проведения.

9.3.2 Руководитель испытаний устанавливает и проверяет настройки оборудования и объявляет количество попыток, которые должны быть выполнены. Число целей и их расположение не сообщают оператору.

9.3.3 Руководитель испытаний устанавливает заданные параметры внешней среды для проведения испытаний и проверяет соответствие им.

9.3.4 Оператор помещает робота на исходную позицию.

9.3.5 Руководитель испытаний дает команду оператору приступить к выполнению задания, запускает секундомер, когда оператор начинает испытание, и регистрирует общее затраченное время.

9.3.6 Оператор управляет перемещением робота по лабиринту, наблюдая за ним на экране операторского пульта управления и следя за появлением целевых объектов. Руководитель испытаний регистрирует в протоколе расположение и распознанные параметры обнаруженных целевых объектов по сообщениям оператора. Если робот не может продвинуться в каком-либо месте лабиринта, то это считается неисправным состоянием. Руководитель испытаний должен остановить общее время испытаний и разрешить оператору устранить неполадки, вернуть робота обратно на исходную позицию и продолжить испытание по команде руководителя. Руководитель должен отметить в протоколе испытаний наличие неисправного состояния и время, когда произошла остановка, и должен включить в протокол испытаний подробный отчет о техническом обслуживании и ремонте робота, если данные действия имели место. Оператор должен сообщить руководителю о произведенных действиях, чтобы облегчить ему их регистрацию.

9.3.7 Испытание завершается, когда робот возвращается на исходную позицию. Оператор может уведомить руководителя о завершении испытания до его полного выполнения.

9.4 Регистрируемые неисправные состояния:

- невозможность завершить выполнение начатого задания;

- наличие постороннего контакта с оператором по поводу состояния робота или других обстоятельств;

- вмешательство человека в работу робота, например, регулировка, техническое обслуживание или ремонт.

10 Требования к отчетности

10.1 Для данного метода испытаний заполняют протокол испытаний. Протокол должен отражать следующие факторы и позволять фиксировать как информацию об испытаниях, так и результаты испытаний:

- контрольные параметры;

- любые дополнительные особенности испытаний, например отражающие профессиональный уровень оператора, проводящего испытания;

- важные замечания, зафиксированные в ходе испытаний, в том числе: возникшие неисправные состояния робота; причины, по которым оператор отказался от проведения испытаний; любые наблюдения руководителя, которые могут дополнить зафиксированные результаты в положительную или отрицательную сторону; любые комментарии, которые оператор потребует занести в протокол;

- условия внешней среды и административную информацию.

10.2 Протокол испытаний, по мере возможности, должен быть заполнен полностью. В 10.3 указано, как заполнять протокол испытаний. На рисунке 3 приведен пример незаполненного протокола испытаний.

10.3 Возможны следующие результаты испытаний, фиксируемые в протоколе испытаний:

10.3.1 Робот не испытывался: раздел результатов в протоколе испытаний должен остаться пустым. В разделе примечаний необходимо указать причину(ы) непроведения испытаний, например:

- метод испытаний не был доступен для проведения испытаний,

- оборудование не могло быть правильно установлено,

- неконтролируемые условия внешней среды,

- трудности составления графика испытаний,

- робот не соответствует области применения данного метода испытаний, например, метод испытаний для наземных роботов не применим к воздушным роботам.

10.3.2 Отказ от испытаний: в правом нижнем углу протокола, например, может быть проставлен соответствующий штамп красного цвета. Условия проведения испытаний и административная информация должны быть приведены в протоколе испытаний. Часть протокола с результатами испытания должна остаться незаполненной.

10.3.3 Успешное распознавание: успешное распознавание очередного целевого объекта может быть обозначено, например, кругом или квадратом синего цвета или полученным числовым значением. Все успешные результаты испытаний должны быть четко выделены в протоколе.

10.3.4 Неудачное завершение испытания: данный результат может быть обозначен, например, незаполненным кругом или квадратом, либо символом "Х" красного цвета. Если робот не прошел испытания при данной настройке оборудования, то все более сложные настройки оборудования считаются непреодолимыми.

10.3.5 Результат испытания принят, но необходима техническая пауза: данный результат может быть обозначен, например, кругом или квадратом оранжевого цвета, с соответствующей отметкой времени и примечанием, описывающим причину данной технической паузы. Этот результат испытаний соответствует случаю, когда испытательное оборудование требует ремонта или технического обслуживания по причинам, не связанным с ошибкой оператора или неисправностью испытуемого робота, а также при возникновении ошибок, не препятствующих завершению испытаний.

10.4 На рисунке 4 приведен пример заполнения протокола испытаний.

Примечание - Конкретный вид протокола испытаний не стандартизован. Протоколы испытаний могут быть разными по форме, но они должны соответствовать требованиям настоящего стандарта.

11 Результаты испытаний и систематическая ошибка

11.1 Результаты испытаний

11.1.1 Данный метод испытаний, входящий в испытательный комплект по ВЧР, предназначен для количественной оценки возможностей роботов, предназначенных для работы в средах, сопоставимых с параметрами человека, где возможно проведение многодневных операций на расстояниях километрового диапазона с множеством препятствий на местности с разными фрикционными свойствами поверхности. Для того чтобы определить общую степень пригодности данной конфигурации робота к таким работам, чаще предпочтительной является приблизительная оценка как можно большего числа разнобразных* характеристик робота. Поэтому в качестве настройки оборудования для данного метода испытаний выбрано размещение в лабиринте 14 целевых объектов, представляющих маркировку опасных материалов, на вертикальных стенах всех доступных элементов лабиринта в трех установленных дипазонах высоты. Хотя испытательное оборудование может быть разработано для испытания способности робота по ВЧР с более мелкой дискретизацией, такие настройки считаются слишком точными для условий эксплуатации, связанных со строениями и средами, сопоставимыми с параметрами человека, что приведет к увеличению общего времени и стоимости испытаний каждого робота. Достаточной точностью измерения времени является одна минута. Таким образом, испытания с более мелкой дискретизацией настроек оборудования считаются находящимися вне области применения данного метода испытаний.

________________

* Текст документа соответствует оригиналу. - .

11.1.2 Повторяемость результатов испытаний необходима для подтверждения применимости данного метода испытаний, демонстрируя, что для роботов с разными массогабаритными характеристиками и типами движителей данный метод испытаний дает повторяемые результаты для определенного диапазона настроек оборудования - множества типов целей и диапазонов высоты их размещения. Оборудование и выбранная дискретизация значений данных показателей обеспечивают четкие разграничения между успешными и неудачными попытками и демонстрируют, что данный метод испытаний подходит для оценки способности робота выполнять поисковые работы в лабиринте со сложной поверхностью.

11.1.3 В таблицах 1-3 показан пример расчета повторяемости результатов испытаний для трех испытанных роботов. На оборудовании были установлены 14 целевых объектов, расположение которых было неизвестно оператору. Целевые объекты расположены на стенах в трех диапазонах высоты, чтобы увеличить сложность поиска: диапазон A - от 1,6 до 2,4 м, диапазон B - от 0,8 до 1,6 м и диапазон C - от 0 до 0,8 м. Условия освещенности - естественное освещение. В каждом диапазоне высоты установлены четыре или пять целевых объектов. По результатам испытаний вычисляют следующие статистические характеристики точности и погрешности:

- уровень достоверности для оператора, обнаруживающего цель с 60% надежности;

- уровень достоверности для оператора, обнаруживающего цель с 80% надежности;

- уровень достоверности для оператора, распознающего цель с 60% надежности;

- уровень достоверности для оператора, распознающего цель с 80% надежности;

- уровень достоверности для оператора, распознающего цель, которая была обнаружена, с надежностью 60%;

- уровень достоверности для оператора, распознающего цель, которая была обнаружена, с надежностью 80%.

Таблица 1 - Результаты испытаний по поиску в произвольном лабиринте для робота A

Таблица 2 - Результаты испытаний по поиску в произвольном лабиринте для робота B

Таблица 3 - Результаты испытаний по поиску в произвольном лабиринте для робота C

11.1.3.1 Как показано в таблице 1, оператор, управляя роботом A, обнаружил целевой объект N 13, но не смог распознать его с помощью робота. Оператор обнаружил два целевых объекта в диапазоне высот B, но не смог распознать ни один из них. Данный оператор при распознавании целевых объектов в диапазоне высот C имеет, по крайней мере, уровень достоверности 59% и уровень надежности 60%.

11.1.3.2 Как показано в таблице 2, оператор, управляя роботом B, обнаружил и распознал три целевых объекта в диапазоне высот A и один целевой объект в диапазоне высот B. Оператор при распознавании целевых объектов в диапазоне высот C имеет, по крайней мере, уровень достоверности 26% и уровень надежности 80%.

11.1.3.3 Как показано в таблице 3, оператор, управляя роботом С, обнаружил и распознал по одному целевому объекту в диапазонах высот A и B. Оператор при распознавании целевых объектов в диапазоне высот C имеет, по крайней мере, уровень достоверности 32% и уровень надежности 60%.

11.1.4 Как указано в 4.3, заказчикам данного метода испытаний рекомендуется оценить его область применения относительно своих технических требований. Характеристику, полученную на основании только данного метода испытаний, не следует рассматривать как общую характеристику всего робототехнического комплекса или подсистемы ВЧР. Испытания, проводимые с использованием всей совокупности установленных методов, позволяют определить возможности робота в целом.

11.2 Систематическая ошибка

11.2.1 Систематическая ошибка определяется переменной, соответствующей уровню подготовки оператора. Производительность оператора, как правило, является самой низкой, если он не имел предварительного опыта проведения испытаний с использованием данного метода. При этом производительность оператора повышается до стабильного уровня получения достаточной практики.

11.2.1.1 Существуют дополнительные человеческие факторы, которые могут вызывать систематические ошибки, в том числе уровень квалификации, уровень усталости и уровень концентрации оператора. Оператор, который получил соответствующую подготовку и обладает богатым практическим опытом, может работать на более высоком уровне, особенно в случае, когда все возможности робота были полностью проверены на тренировках.

11.2.2 Возможности робота по контролю состояния внешней среды могут повлиять на выполнение задания. Диапазон и поле зрения телевизионной камеры, а также количество камер могут повлиять на способность оператора адекватно воспринимать испытательное оборудование и перемещение в нем робота и, соответственно, управлять роботом надлежащим образом.

11.2.3 Еще одной переменной, определяющей возможную систематическую ошибку, является уровень освещенности. В некоторых ситуациях условия освещенности могут в определенной степени изменяться, что может привести к разным результатам поиска. Однако заказчик испытаний может выбрать проведение испытаний только при определенном и согласованном уровне освещенности, чтобы предотвратить эту потенциальную систематическую ошибку.

Примечание - Причина, вызывающая возможные отклонения, заключается в том, что данный стандарт определяет испытательное оборудование, которое может быть реализовано с незначительными затратами и усилиями. Усложненный контроль условий внешней среды может оказаться значительно дороже. При анализе результатов испытаний необходимо учитывать условия освещенности.

12 Погрешность испытаний

Использование данного метода испытаний для определения способности поиска целевых объектов в произвольном лабиринте дает в результате погрешность, соответствующую половине единицы измерения времени или 30 с, а также погрешность распознавания, соответствующую одному целевому объекту. В 11.1.1 показано, что более мелкая дискретизация является несущественной для данного метода испытаний.

Приложение ДА
(справочное)

Сведения о соответствии ссылочных национальных стандартов стандартам, использованным в качестве ссылочных в примененном стандарте

Таблица ДА.1

Электронный текст документа
и сверен по:

, 2019