ПНСТ 776-2022 Информационные технологии. Интеллект искусственный. Управление рисками

        ПНСТ 776-2022

ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии

ИНТЕЛЛЕКТ ИСКУССТВЕННЫЙ

Управление рисками

Information technology. Artificial intelligence. Guidance on risk management

ОКС 35.020

Срок действия с 2023-01-01

до 2026-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 ноября 2022 г. N 90-пнст

4 Настоящий стандарт разработан с учетом основных нормативных положений проекта международного стандарта ИСО/МЭК 23894* "Информационные технологии. Искусственный интеллект. Управление рисками" (ISO/IEC FDIS 23894 "Information technology - Artificial intelligence - Guidance on risk management", NEQ)

Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).

Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: [email protected] и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112 Москва, Пресненская набережная, д.10, стр.2.

В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе "Национальные стандарты" и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Целью управления рисками является создание и защита ценности, что повышает производительность работы, способствует инновационному процессу, а также достижению поставленных целей.

Настоящий стандарт в качестве нормативной основы использует ГОСТ Р ИСО 31000. Каждый раз, когда настоящий стандарт расширяет положения ГОСТ Р ИСО 31000, приводится соответствующая ссылка на пункт ГОСТ Р ИСО 31000 с последующим конкретным руководством по искусственному интеллекту (ИИ). Для большего удобства работы структура настоящего стандарта повторяет структуру ГОСТ Р ИСО 31000-2019.

Настоящий стандарт состоит из нескольких разделов, основными из которых являются следующие:

- раздел 4 "Принципы управления рисками, связанными с использованием искусственного интеллекта". В этом разделе описаны основополагающие принципы управления рисками. Использование ИИ требует особых подходов в отношении некоторых из этих принципов, как описано в ГОСТ Р ИСО 31000;

- раздел 5 "Структура". Цель структуры управления рисками состоит в том, чтобы помочь организации интегрировать управление рисками в наиболее значимые виды деятельности и функции. Аспекты, относящиеся к разработке, предоставлению, предложению или использованию систем ИИ, приведены в ГОСТ Р ИСО 31000;

- раздел 6 "Процесс". Процессы управления рисками включают систематическое применение политик, процедур и практик к деятельности по обмену информацией и консультированию, определению области применения, среды и критериев, а также по оценке, обработке, мониторингу, пересмотру, документированию и отчетности о рисках. Специализация таких процессов для ИИ описана в ГОСТ Р ИСО 31000.

Общие цели и источники рисков, связанные с ИИ, перечислены в приложениях А и Б; в приложении В приведен пример сопоставления процессов управления рисками и жизненного цикла системы ИИ.

1 Область применения

В настоящем стандарте представлены рекомендации по управлению рисками, с которыми сталкиваются организации при разработке и применении методов и систем искусственного интеллекта (ИИ). Рекомендации также направлены на оказание помощи организациям с интеграцией управления рисками в их деятельность и функции, связанные с ИИ. Кроме того, в нем описаны процессы эффективного внедрения и интеграции интеллектуальных систем управления риском.

Применение этих рекомендаций можно адаптировать к любой организации и ее среде.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 51897 (ISO Guide 73:2009) Менеджмент риска. Термины и определения

ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения

ГОСТ Р ИСО 13008 Информация и документация. Процессы конверсии и миграции электронных документов

ГОСТ Р ИСО 15489-1 Система стандартов по информации, библиотечному и издательскому делу. Информация и документация. Управление документами. Часть 1. Понятия и принципы

ГОСТ Р ИСО 31000-2019 Менеджмент риска. Принципы и руководство

ГОСТ Р ИСО/МЭК 25010-2015 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ Р ИСО 13008, ГОСТ Р ИСО 15489-1, ГОСТ Р ИСО/МЭК 25010, ГОСТ Р ИСО 31000, ГОСТ Р 51897, ГОСТ Р 59276.

Примечания

1 Изменениями могут быть исправления, усовершенствования или адаптация программного обеспечения с учетом изменений в производственной среде, а также в требованиях и функциональных спецификациях. Изменения включают те из них, которые выполняет специализированный вспомогательный персонал, и те, которые осуществляют менеджер или оперативный персонал, или конечные пользователи.

2 Поддержка включает установку обновлений и модернизированных дополнений.

3 Удобство в эксплуатации (сопровождаемость) может быть истолковано(а) либо как способность продукта или системы облегчать деятельность по техническому обслуживанию, либо как качество использования, испытуемое сопровождающими при обслуживании продукта или системы (см. ГОСТ Р ИСО/МЭК 25010-2015, 4.2.7).

4 Принципы управления рисками, связанными с использованием искусственного интеллекта

Управление рисками должно учитывать потребности организации на основе комплексного, структурированного и всеобъемлющего подхода. Управляющие принципы позволяют организации определять приоритеты и принимать решения о том, как регулировать последствия неопределенности для ее целей.

В системах и процессах обычно использовано сочетание различных технологий и функций. Данные системы и процессы задействованы в различных средах для определенных вариантов применения. Управление рисками должно учитывать систему со всеми ее технологиями, функциональными возможностями и окружением.

Методы ИИ могут привносить новые риски как с отрицательными, так и положительными результатами или увеличивать их вероятность за счет специфических характеристик технологии. Данным методам следует уделять пристальное внимание и при необходимости привести дополнительные указания в отношении структуры и процесса управления рисками в организации.

Примечание - Следует отметить, что в различных стандартах имеются существенно различающиеся определения слова "риск". В некоторых стандартах "риск" предполагает потенциальные негативные последствия, например проблемы, связанные с безопасностью. В других стандартах "риск" предполагает отрицательное или положительное отклонение от целей. Такое различие в направленности зачастую может приводить к путанице при попытке понять и надлежащим образом внедрить отвечающий требованиям процесс управления рисками.

В ГОСТ Р ИСО 31000-2019 (раздел 4) определен ряд общих принципов управления рисками, в дополнение к которому в таблице 1 приведены указания относительно того, как применять такие принципы. Дополнительная информация представлена, например, в [1] и [2].

Таблица 1 - Принципы управления рисками, применяемые к ИИ

5 Структура

5.1 Общие положения

Задача системы управления рисками состоит в том, чтобы помочь интегрировать управление рисками в наиболее значимые виды деятельности и функции организации. Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.1).

Управление рисками включает в себя сбор соответствующей информации, необходимой организации для принятия решений и устранения рисков. Руководящий орган определяет общие тенденции к возникновению риска и ставит организационные цели, а также делегирует процесс принятия решений по выявлению, оценке и управлению рисками менеджерам внутри организации.

Организациям следует применять основанный на учете рисков подход к выявлению, оценке и пониманию рисков ИИ, которым они подвергаются, и принимать надлежащие меры по уменьшению рисков в соответствии с их уровнем. Цель системы управления рисками заключается в оказании организации содействия в интеграции управления рисками в значимые виды деятельности. Риски следует определять применительно к связанным с ИИ целям. Не все цели имеют отношение ко всем видам применения, и в зависимости от характера применения, возможно, потребуется поставить дополнительные цели. В 6.3 содержатся дополнительные рекомендации по постановке целей, специфичных для ИИ, и их значимости для систем ИИ (продуктов) и услуг ИИ предоставляющей их организации.

5.2 Лидерство и приверженность

Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.2).

В связи с особой важностью вопросов доверия и подотчетности, связанных с разработкой и использованием ИИ, руководству организаций следует рассмотреть вопрос о том, каким образом документация, касающаяся рисков ИИ и управления рисками, доводится до сведения заинтересованных сторон. Демонстрация такого уровня лидерства и приверженности может иметь решающее значение для уверенности заинтересованных сторон в том, что ИИ разрабатывается и используется ответственно.

Руководство организации также должно быть осведомлено о специализированных ресурсах, которые могут потребоваться для управления рисками ИИ, и распределять эти ресурсы надлежащим образом.

В соответствии с ГОСТ Р ИСО 31000-2019 (подраздел 5.2) управленческие и/или надзорные органы (где это применимо) должны документально оформить или стратегически разработать подход или план действий по управлению рисками. Применительно к организациям, предоставляющим продукты или услуги ИИ, в нем должно быть четко указано, какие риски, связанные с разработкой или применением систем ИИ, являются приемлемыми для организации. Такая политика должна также стимулировать членов организации указывать на существенные проблемы, такие как конфиденциальное использование систем ИИ самой организацией или ее клиентами и партнерами, содержать обязательство рассматривать варианты использования систем ИИ, которые будут соответствовать их принципам управления, и учитывать такие варианты для постоянного совершенствования процессов управления рисками.

5.3 Адаптация

Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.3).

5.4 Проектирование и разработка

5.4.1 Понимание организации и ее среды

Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.1).

В дополнение к руководству, представленному в ГОСТ Р ИСО 31000-2019 (5.4.1), таблица 2 содержит дополнительные факторы, которые следует учитывать при понимании внешней среды организации.

Таблица 2 - Факторы, учитываемые при оценке внешней среды организации

В дополнение к рекомендациям, приведенным в ГОСТ Р ИСО 31000-2019 (5.4.1), при изучении своей внутренней среды организациям, которые разрабатывают системы ИИ или предоставляют услуги ИИ, а также организациям, использующим системы на основе ИИ, следует учитывать, по крайней мере, факторы, перечисленные в таблице 3.

Таблица 3 - Факторы, учитываемые при оценке внутренней среды организации

В дополнение к положениям ГОСТ Р ИСО 31000 использование систем ИИ организациями может увеличить потребность в специализированной подготовке.

5.4.2 Демонстрация приверженности менеджменту риска

Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.2).

5.4.3 Определение организационных ролей, полномочий, обязанностей и ответственности

Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.3).

В дополнение к ГОСТ Р ИСО 31000-2019 (5.4.3) высшие управленческие и надзорные органы, где это применимо, должны распределять ресурсы и выявлять лиц:

- с полномочиями по устранению рисков, связанных с ИИ;

- ответственностью за разработку и мониторинг процессов, направленных на устранение рисков, связанных с ИИ.

5.4.4 Распределение ресурсов

Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.4).

5.4.5 Установление механизмов обмена информацией и консультирования

Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.5).

5.5 Внедрение

Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.5).

5.6 Оценка эффективности

Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.6).

5.7 Улучшение

5.7.1 Обновление

Применяют положения ГОСТ Р ИСО 31000-2019 (5.7.1).

5.7.2 Постоянное улучшение структуры

Применяют положения ГОСТ Р ИСО 31000-2019 (5.7.2).

6 Процесс

6.1 Общие положения

Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 6.1).

Организациям следует применять риск-ориентированный подход к выявлению, оценке и пониманию рисков ИИ, которым они подвергаются, и принимать надлежащие меры воздействия в соответствии с уровнем риска. Качество управления рисками ИИ в организации зависит от выявления, создания и эффективного внедрения узкоспециализированных процессов управления рисками на стратегическом, оперативном, программном и проектном уровнях. Из-за ситуаций, связанных (но не ограничиваясь ими) с потенциальной сложностью, отсутствием прозрачности и непредсказуемостью некоторых основанных на технологиях ИИ, особое внимание следует уделять процессам управления рисками на уровне проекта системы ИИ. Эти системные процессы на уровне проекта должны быть согласованы с целями организации и получать и передавать информацию на другие уровни управления рисками. Например, уроки, извлеченные на проектном уровне, должны быть учтены на более высоких уровнях, таких как стратегический, оперативный и программный уровни, а также других, если это применимо.

Объем, среда и критерии процесса управления рисками на уровне проекта напрямую зависят от этапов жизненного цикла системы ИИ, которые включены в проект. В приложении В показаны возможные взаимосвязи между процессом управления рисками на уровне проекта и жизненным циклом системы ИИ.

6.2 Обмен информацией и консультирование

Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 6.2).

Набор заинтересованных сторон, на которые могут повлиять системы ИИ, может быть шире, чем первоначально предполагалось, включать в себя внешние заинтересованные стороны, которые изначально не рассматривались, и распространяться на другие части общества.

6.3 Область применения, среда и критерии

6.3.1 Общие положения

Применяют положения ГОСТ Р ИСО 31000-2019 (6.3.1).

В дополнение к руководству, приведенному в ГОСТ Р ИСО 31000-2019 (6.3.1), для организаций, использующих ИИ, необходимо расширить сферу управления рисками ИИ, среду процесса управления рисками ИИ и критерии оценки значимости риска для поддержки процессов принятия решений, чтобы определить, где в организации разрабатывают или используют системы ИИ. Такой перечень разработки и применения ИИ должен быть задокументирован и включен в процесс управления рисками организации.

6.3.2 Определение области применения

Применяют положения ГОСТ Р ИСО 31000-2019 (6.3.2).

Сфера охвата должна учитывать конкретные задачи и обязанности различных уровней организации. Кроме того, следует учитывать цели и назначение систем ИИ, разработанных или используемых организацией.

6.3.3 Внешняя и внутренняя среда

Применяют положения ГОСТ Р ИСО 31000-2019 (6.3.3).

Из-за масштабов потенциальных последствий систем ИИ организация должна уделять особое внимание среде заинтересованных сторон при формировании и установлении среды процесса управления рисками.

Следует внимательно рассмотреть список заинтересованных сторон, включая, но не ограничиваясь ими:

- непосредственно организация;

- клиенты, партнеры и третьи стороны;

- поставщики;

- конечные пользователи;

- регуляторы;

- гражданские организации;

- физические лица;

- общество в целом.

6.3.4 Определение критериев риска

Применяют положения ГОСТ Р ИСО 31000-2019 (6.3.4).

В дополнение к ГОСТ Р ИСО 31000-2019 (6.3.4) в таблице 4 приведены рекомендации по факторам, которые следует учитывать при определении критериев риска.

Таблица 4 - Дополнительные рекомендации при определении критериев риска

6.4 Оценка рисков

6.4.1 Общие положения

Применяют положения ГОСТ Р ИСО 31000-2019 (6.4.1).

Риски ИИ должны быть идентифицированы, количественно или качественно описаны и расставлены по приоритетам в соответствии с критериями оценки рисков и целями организации. В приложении Б приведен примерный общий перечень источников риска, связанного с ИИ, и примеры способов устранения источников риска с помощью контрмер или специальных мер контроля ИИ. С данным перечнем должна ознакомиться организация, рассматривающая возможность разработки или применения методов ИИ или систем ИИ. Хотя такой примерный перечень не считается всеобъемлющим, опыт показывает, что его использование в качестве основы для любой организации, впервые выполняющей оценку рисков, или организации, которая интегрирует управление рисками ИИ в существующие структуры управления, оказывается полезным. Такие организации могут использовать каталог общих источников риска для того, чтобы убедиться в том, что базовый список источников риска рассмотрен.

Оценка рисков является комплексным процессом, который следует применять на протяжении всего жизненного цикла услуги ИИ или продукта ИИ. Поэтому организации, занимающиеся разработкой или предоставлением систем ИИ, должны соотносить свою деятельность по оценке управления рисками с жизненным циклом системы. Различные методы оценки рисков могут быть применены на разных этапах жизненного цикла.

6.4.2 Идентификация рисков

6.4.2.1 Общие положения

Применяют положения ГОСТ Р ИСО 31000-2019 (6.4.2).

6.4.2.2 Идентификация активов и их значения

Организация должна определить перечень активов, связанный с разработкой и использованием ИИ, которые подпадают под сферу действия процесса управления рисками, как определено в 6.3.2. Понимание того, какие активы входят в сферу действия процесса управления рисками, их относительная критичность или ценность являются неотъемлемой частью оценки воздействия. Следует учитывать как ценность актива, так и тип актива (материального или нематериального). Кроме того, в отношении разработки и использования ИИ активы следует рассматривать в контексте элементов, включая, но не ограничиваясь следующим:

а) активы и их ценность для организации:

1) материальные активы могут включать в себя данные, модели и непосредственно систему ИИ,

2) нематериальные активы могут включать репутацию и доверие;

б) активы и их ценность для физических лиц:

1) материальные активы могут включать в себя персональные данные физического лица,

2) нематериальные активы могут включать частную жизнь, здоровье и безопасность человека;

в) активы и их ценность для сообществ и обществ:

1) материальные активы могут включать окружающую среду,

2) нематериальные активы могут быть основаны на ценностях, таких как социокультурные убеждения, знания сообщества, доступ к образованию и равенство.

6.4.2.3 Идентификация источников риска

Организация должна определить список источников риска, связанных с разработкой или использованием ИИ, или и того и другого в пределах определенной области.

Источники риска могут быть выявлены в следующих областях, но не ограничиваясь ими:

- организация;

- процессы и процедуры, включая процедуры управления;

- персонал;

- физическая среда;

- данные;

- конфигурация системы ИИ;

- среда развертывания;

- оборудование, программное обеспечение, сетевые ресурсы и услуги;

- зависимость от внешних сторон.

Примеры источников риска, связанных с ИИ, приведены в приложении Б.

6.4.2.4 Идентификация потенциальных событий и результатов

Организация должна определить события, которые связаны с разработкой или использованием ИИ и могут привести к различным материальным или нематериальным последствиям.

События могут быть идентифицированы с помощью одного или нескольких из следующих методов и источников:

- опубликованные стандарты;

- опубликованные технические характеристики;

- опубликованные технические отчеты;

- опубликованные научные работы;

- рыночные данные по аналогичным системам или приложениям, которые уже используются;

- сообщения об инцидентах в аналогичных системах или приложениях, которые уже применяют;

- полевые испытания;

- исследования удобства использования;

- результаты соответствующих исследований;

- отчеты заинтересованных сторон;

- интервью с внутренними или внешними экспертами и их отчеты;

- моделирование.

6.4.2.5 Идентификация средств контроля

Организация должна определить средства контроля, относящиеся к разработке и/или использованию ИИ. Средства контроля должны быть определены в ходе деятельности по управлению рисками и задокументированы (во внутренних системах, отчетах и т.д.).

Средства контроля могут быть использованы для позитивного воздействия на общий риск путем смягчения источников риска, событий и результатов.

Следует принимать во внимание эффективность выявленных средств контроля.

6.4.2.6 Идентификация последствий

В процессе оценки рисков ИИ организация должна определить источники риска, события или результаты, которые могут привести к возникновению рисков. В нем также должны быть указаны любые последствия для самой организации, отдельных лиц, сообществ, групп и обществ. Организациям следует проявлять особую осторожность при выявлении любых различий между теми группами, которые пользуются преимуществами технологии, и группами, которые испытывают негативные последствия.

В зависимости от среды последствия для отдельных лиц и общества могут быть более общими, и в этом случае организация может быть не в состоянии точно оценить, какими являются последствия для отдельного человека или общества.

Вместо того чтобы конкретизировать каждый тип воздействия, воздействия можно рассматривать в целом, поскольку ключевым элементом является степень критичности воздействия (например, на частную жизнь, справедливость, права человека и т.д., когда это касается отдельного человека, или на окружающую среду в случае общества).

Точные последствия могут зависеть от среды, в которой работает организация, и областей, для которых разработана и используется система ИИ.

6.4.3 Анализ риска

6.4.3.1 Общие положения

Применяют положения ГОСТ Р ИСО 31000-2019 (6.4.3).

Подход к анализу должен соответствовать критериям риска, разработанным в рамках определения среды (см. 6.3).

6.4.3.2 Оценка последствий

При оценке последствий, выявленных в ходе оценки рисков, организация должна проводить различие между оценкой воздействия на бизнес, оценкой воздействия для отдельных лиц и оценкой воздействия на общество.

Анализ воздействия на бизнес должен определять степень воздействия на организацию и учитывать следующие элементы:

- критичность воздействия;

- материальные и нематериальные последствия;

- критерии, используемые для определения общего воздействия (как определено в 6.3.4).

Анализ воздействия на отдельных лиц должен определять степень влияния разработки и/или использования ИИ организацией. Должны быть учтены следующие элементы:

- типы данных, используемых отдельными лицами;

- предполагаемое воздействие разработки или применения ИИ;

- потенциальное влияние предвзятости на отдельного человека;

- потенциальное воздействие на основные права, которое может привести к материальному и нематериальному ущербу для отдельного лица;

- безопасность отдельного человека;

- культурная среда индивида (которая может повлиять на то, как определяется относительное воздействие).

Анализ воздействия на общество должен определять ту степень, в которой общество может быть затронуто разработкой и/или использованием ИИ организацией. Должны быть учтены следующие элементы:

- масштаб воздействия на общество (насколько широк охват системой ИИ различных групп населения), в том числе для кого система применяется или предназначена (например, ее использование правительством потенциально может оказать большее влияние на общество, чем частное задействование);

- каким образом система ИИ влияет на социальные и культурные ценности, которых придерживаются различные группы населения (включая конкретные способы, которыми система ИИ усиливает или уменьшает ранее существовавшие модели причинения вреда разным социальным группам).

6.4.3.3 Оценка вероятности

Организация при возможности должна оценить вероятность возникновения событий и результатов, вызывающих риски. Вероятность может быть определена по качественной или количественной шкале и должна соответствовать критериям, установленным в 6.3.4. Вероятность может зависеть от следующих составляющих:

- типы, значимость и количество источников риска;

- частота, серьезность и распространенность угроз;

- внутренние факторы, такие как эффективность политики и процедур и мотивация внутренних участников;

- внешние факторы, такие как география и другие социальные, экономические и экологические проблемы;

- эффективный (смягчающий) или нерезультативный контроль (см. 6.4.2.5).

Организациям следует включать расчеты вероятности только в тех случаях, когда они применимы и полезны для определения границ применения методов оценки рисков. Могут возникнуть значительные технические и экономические проблемы с принятием решений на основе вероятностей, особенно когда вероятность не может быть рассчитана или расчет имеет большую погрешность.

6.4.4 Сравнительная оценка риска

Применяют положения ГОСТ Р ИСО 31000-2019 (6.4.4).

6.5 Обработка риска

6.5.1 Общие положения

Применяют положения ГОСТ Р ИСО 31000-2019 (6.5.1).

6.5.2 Выбор вариантов обработки риска

Применяют положения ГОСТ Р ИСО 31000-2019 (6.5.2).

Варианты обработки рисков, определенные организацией, должны быть разработаны таким образом, чтобы снизить риски до приемлемого уровня. Если выяснится, что требуемое снижение риска не может быть достигнуто путем применения различных вариантов обработки рисков, организация должна провести анализ рисков и выгод для остаточных рисков.

6.5.3 Подготовка и реализация планов обработки риска

Применяют положения ГОСТ Р ИСО 31000-2019 (6.5.3).

Как только план устранения рисков будет составлен, в соответствии с ним должны быть реализованы мероприятия по устранению рисков, выбранные в пункте 6.5.2.

Выполнение каждого мероприятия по устранению рисков и его эффективность должны быть проверены и зарегистрированы в соответствии с положениями, установленными в подразделе 6.7.

6.6 Мониторинг и пересмотр

Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 6.6).

6.7 Документирование и отчетность

Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 6.7).

Организация должна создать, зарегистрировать и поддерживать систему сбора и проверки информации о системах ИИ, продуктах или услугах на этапах внедрения и после внедрения, а также собирать и анализировать общедоступную информацию об аналогичных продуктах на рынке.

Затем эту информацию следует оценить на предмет возможной значимости для надежности системы, продукта или услуг ИИ. В частности, в ходе оценки необходимо определить, существуют ли ранее не выявленные риски или уже оцененные риски более неприемлемы. Данная информация может быть передана и учтена в процессе управления рисками ИИ организации в качестве корректировки целей, вариантов использования или извлеченных уроков.

Если применено какое-либо из вышеперечисленных условий, организации должны предпринять следующие действия:

а) оценить влияние на предыдущие мероприятия по управлению рисками и возвратиться к процессу управления рисками;

б) провести обзор деятельности по управлению рисками для системы, продукта или услуг ИИ. Если существует вероятность того, что остаточный риск или его приемлемость изменились, следует оценить влияние на ранее выполненные меры по контролю рисков.

Результаты этой оценки должны быть зафиксированы.

Отчет об управлении рисками должен обеспечивать возможность отслеживания каждого выявленного риска в следующих точках:

- анализ рисков;

- оценка рисков;

- устранение рисков.

В дополнение к документации о внедрении и результатах оценки рисков по 6.4.2-6.4.4 запись должна включать, по крайней мере, следующую информацию:

- описание и идентификацию системы, которая была проанализирована;

- описание предполагаемого использования системы;

- личность лица(лиц) и организации, которые проводили оценку риска;

- техническое задание и дату оценки рисков;

- статус высвобождения при оценке риска.

Доказана целесообразность создания и ведения централизованного журнала управления рисками или хранилища для документирования всех действий и результатов процесса управления рисками. Журнал управления рисками или хранилище не обязательно должны содержать все документы, но должны ссылаться на них, чтобы упростить сбор всей информации. Журнал управления рисками или репозиторий могут быть реализованы в любой форме или на любом носителе.

Приложение А

(справочное)

Цели

А.1 Общие положения

При выявлении рисков, связанных с системами ИИ, следует принимать во внимание различные цели, связанные с ИИ, в зависимости от характера рассматриваемой системы и среды ее применения. Цели, связанные с ИИ, которые необходимо учитывать, перечислены в А.2-А.12. Этот перечень не является исчерпывающим или применимым для каждой организации. Организации должны определить те цели, которые имеют для них наиболее важное значение.

А.2 Подотчетность

Организационная подотчетность означает, что организация берет на себя ответственность за свои решения и действия, разъясняя их и отвечая за них перед руководством, государственными органами и заинтересованными сторонами.

Системная подотчетность связана с возможностью отслеживания решений и действий в рамках этой организации.

А.3 Опыт в области ИИ

Системы ИИ и их разработка отличаются от программных решений, не связанных с ИИ. Необходимым является набор специалистов с междисциплинарными навыками и опытом в оценке, разработке и внедрении систем ИИ. Организации должны вовлекать людей с таким опытом в разработку и проектирование систем ИИ.

Опыт в области ИИ должен распространяться на конечных пользователей систем ИИ. Пользователи должны иметь четкое представление о том, как функционирует система ИИ, и иметь возможность обнаруживать и отменять ошибочные решения или результаты.

А.4 Доступность и качество обучающих и тестовых данных

Системы ИИ, основанные на машинном обучении, нуждаются в обучающих и тестовых данных для обучения и проверки систем на предмет предполагаемых результатов работы. Развернутая система ИИ работает с производственными данными. Все типы данных должны обладать заданными характеристиками качества.

Данные обучения и тестирования следует проверять на предмет их актуальности и соответствия намеченной цели. Объем требуемых обучающих и тестовых данных может варьироваться в зависимости от предполагаемой функциональности и сложности окружения. Обучающие и тестовые данные должны обладать разнообразными характеристиками, чтобы обеспечить высокую предсказательную способность системы ИИ. Кроме того, следует обеспечить согласованность данных обучения и тестирования при одновременном использовании независимых наборов данных, когда это применимо.

Возможно, что данные об обучении и тестировании недоступны непосредственно в компании и получены из внешних источников. Качество данных должно быть обеспечено и в этом случае.

А.5 Воздействие на окружающую среду

Использование ИИ может вызвать как позитивные, так и негативные экологические последствия. Например, система ИИ может быть использована для уменьшения содержания оксида азота в газовой турбине. Примером негативного воздействия может служить обучение некоторых систем ИИ, требующее значительных вычислительных ресурсов, и, как результат, значительно повышать потребление электроэнергии.

А.6 Справедливость

Применение технологий ИИ для автоматизированного принятия решений может быть несправедливым по отношению к конкретным лицам или группам лиц. Несправедливость может быть вызвана несовершенством алгоритмов, а в случае машинного обучения - неудачно выбранным подходом: метода классического машинного обучения, вида нейросети и т.д. Несбалансированность и неполнота обучающих данных при недостаточных мерах проверки и переподготовки также может вызвать предсказуемое поведение системы.

А.7 Эксплуатационная пригодность

Эксплуатационная пригодность связана со способностью организации осуществлять изменения в системе ИИ, такие как исправление ошибок или адаптация к новым требованиям. Ввиду того, что системы ИИ часто требуют самообучения, дообучения и переобучения и не следуют подходу, основанному на правилах, этот аспект и его последствия необходимо изучить.

А.8 Конфиденциальность

Конфиденциальность связана со способностью отдельных лиц контролировать или влиять на то, какая информация, относящаяся к ним, может быть собрана и сохранена и кем эта информация может быть раскрыта. С учетом [3] "многие методы ИИ (например, глубокое обучение) чрезвычайно зависят от больших данных, поскольку их точность обусловлена полнотой и сбалансированностью представленных данных для обучения, большие данные упрощают задачу и позволяют улучшить результаты. Неправильное использование или разглашение некоторых данных, особенно личных и конфиденциальных данных (например, медицинских записей), может привести к вредным последствиям для субъектов данных. Таким образом, защита конфиденциальности - это задача, которую необходимо решать при анализе больших данных и ИИ".

Для систем ИИ защита конфиденциальности включает защиту данных, применяемых для построения системы ИИ, обеспечение того, чтобы система ИИ не могла быть использована для предоставления несанкционированного доступа к ее данным, и защиту доступа к персонализированным моделям.

А.9 Надежность

Надежность связана со способностью системы обеспечивать заданное поведение и результаты. Вероятностный характер методов машинного обучения может привести к снижению предсказуемости, а также к непрозрачности и отсутствию функциональной транспарентности, в результате чего возможны трудности с оценкой надежности системы. Надежность является проблемой для использования систем ИИ в течение всего жизненного цикла ИИ, особенно когда эти системы действуют автономно. Более того, хотя системы ИИ и технологии ИИ предназначены для обеспечения предсказуемых результатов, неожиданные ситуации могут привести к непредсказуемому поведению.

А.10 Защита

Использование систем ИИ может привести к появлению новых угроз. Например, использование систем ИИ в автоматизированных транспортных средствах, производственных устройствах и роботах может привести к возникновению рисков, связанных с безопасностью.

Для систем ИИ в этих областях следует учитывать конкретные стандарты для конкретных областей применения (например, проектирование машин, транспорта, медицинских устройств).

А.11 Безопасность

Безопасность предполагает, что система не повышает вероятность и масштаб рисков для жизни, здоровья, имущества и окружающий среды, без обоснования и мер по купированию и исправлению последствий. В системах, предполагающих вероятность несоблюдения требований к условиям их эксплуатации, необходимы специальные методы/подсистемы позволяющие безопасно завершить работу (если это возможно) или принять меры, минимизирующие риски. Технологии ИИ используют в системах, которые могут создавать риски, связанные с безопасностью, таких как автономные транспортные средства, производственные устройства, роботы и т.д. Поскольку аспекты безопасности зависят от области применения, для систем ИИ в этих областях следует принимать во внимание конкретные стандарты, такие как [4] и [5]. Указания по включению вопросов безопасности в стандарты приведены в [6].

Использование систем ИИ и технологий, связанных с ИИ, может привести к появлению новых, ранее не встречавшихся угроз безопасности. Если, например, пользователи принимали свои решения на основе интерпретации представленной ранее информации, то в настоящее время такая информация может интерпретироваться ИИ по-другому, что может повлиять на решение, принятое пользователем.

В случае систем ИИ необходимо учитывать следующие новые угрозы, включая, но не ограничиваясь ими:

- автономная работа с неожиданным поведением;

- изменение поведения в случае постоянного обучения систем ИИ.

По мере усложнения систем ИИ все более важное значение приобретает понимание методов, используемых для обеспечения безопасности, и фактической или потенциальной причинно-следственной связи с несчастными случаями. Например:

- достаточно ли четко определены целевые функции и ограничения безопасности, чтобы избежать непреднамеренных вредных побочных эффектов и враждебных атак?

- существуют ли после развертывания систем ИИ инструменты для постоянного понимания, мониторинга, настройки или управления ими во время работы?

Поведение систем ИИ необязательно полностью предсказуемо во время разработки. Причинами такого непредсказуемого поведения могут быть, в частности:

- адаптация системы ИИ во время выполнения;

- работа в открытой контекстной среде с непредвиденными событиями и условиями;

- использование непрозрачных методов машинного обучения.

Методы обеспечения безопасности систем ИИ должны решать эту проблему либо путем ограничения систем ИИ такими системами, чье поведение полностью предсказуемо во время разработки, либо путем использования соответствующих методов обеспечения безопасности.

А.12 Прозрачность и объяснимость

Свойство прозрачности связано как с характеристиками организации, эксплуатирующей системы ИИ, так и непосредственно с этими системами.

С одной стороны, деятельность организации может быть или не быть прозрачной в отношении того, как в организации применяют такие системы, как используют собранные данные (такие как данные потребителей и пользователей, общедоступные данные, другие собранные наборы данных), какие меры задействуют для управления системами ИИ, понимания и контроля их рисков и т.д. С другой стороны, системы ИИ могут быть непрозрачными в отношении их внутренних операций и того, как на основе конкретных входных данных они получают конкретный результат, так как их может быть трудно объяснить.

Приложение Б

(справочное)

Источники риска

Определение риска в ГОСТ Р ИСО 31000 представляет собой отклонение от общепринятого словарного определения как потенциальной(го) опасности или вреда. Это отклонение вызывает затруднения у инженеров, сосредоточенных на снижении рисков, когда организационные цели, ориентированные на положительные преимущества риска, вступают в противоречие с вопросами, связанными с безопасностью, защитой и этическим поведением.

Обычно риск рассматривают как поиск возможностей, особенно при оценке выгод от использования ИИ с точки зрения производительности, точности и других организационных возможностей. Стремление к положительным преимуществам риска как для организации, так и для пользователя ИИ ставит системных инженеров в затруднительное положение при оценке элементов безопасности, защиты и других потенциальных вредных аспектов потенциального использования ИИ. Примеры таких конфликтов включают:

- организационные цели и требования в отношении отдачи от инвестиций, в рамках которых основное внимание уделяется быстрому выходу на рынок, что может привести к маргинализации вопросов охраны и безопасности;

- инициативы, направленные на устранение рыночных диспропорций, в рамках которых не учитываются ранее не участвующие и новые потенциальные заинтересованные стороны и возможность непредвиденных последствий;

- стремление инновационных продуктов к повышению потенциала положительного риска, который не учитывает негативные последствия, возникающие из непредвиденной сложности.

Подобные дилеммы возникают из-за неспособности согласовать противоречивые цели, пороговые значения риска и потребности заинтересованных сторон. Однако согласование происходит, когда риск рассматривают как "неопределенность риска в отношении целей", поскольку это поддерживает совместимость элементов системы таким образом, чтобы согласовывать риски во всех областях.

Посредством целевых организационных систем, ориентированных на получение позитивных преимуществ от рисков, можно обеспечить согласование с теми, кто несет ответственность за смягчение негативных рисков, например: рисков, которые могут возникать при помощи прогностического моделирования, потенциально ненадежных обучающих данных, и других потенциальных опасностей, которые могут появиться при разработке ИИ.

В структуре, основанной на принципах ГОСТ Р ИСО 31000, установлена процедура настройки в качестве средства, с помощью которого может произойти это согласование. Поскольку все риски являются контекстуальными, управление предприятием осуществляется как последовательный процесс, в соответствии с которым могут быть идентифицированы и измерены различные типы рисков. Адаптация процесса оценки рисков к конкретной среде риска предоставляет как организации, так и проектам возможность сопоставлять различные элементы риска с применением разных интерпретаций риска в рамках одной интегрированной структуры для достижения любых целевых задач, которые преследуются.

Определяя риск таким образом, чтобы обеспечить возможность применения совместимого комплексного системного подхода как между границами, так и в рамках границ, а также вариаций в их определениях, дилеммы, связанные с риском, могут решаться подотчетным и прозрачным способом.

Это один из наиболее важных способов, с помощью которого в ГОСТ Р ИСО 31000 представлена навигация по рискам и связанным с ними сложностям, обеспечивая базовую организационную способность согласовывать положительные и отрицательные риски в одной области.

В ГОСТ Р ИСО 31000 рассмотрен риск как переменная, которой можно управлять с помощью процессов, независимо от типа риска, положительного или отрицательного. Когда организация устанавливает свои цели, которые включают и ориентированы на положительный риск (доля рынка, рентабельность инвестиций, прибыль и т.д.), работает в рамках одной структуры и использует принцип настройки, эти цели организации с положительным риском могут быть согласованы с целями предотвращения и смягчения негативных рисков на инженерном уровне. Учет мнений заинтересованных сторон способствует укреплению индивидуального определения и учета рисков, позволяя сообществу инженеров быть более уверенными в своей способности предоставлять доказательства последствий применительно к организационным целям.

Использование принципа индивидуализации позволяет организациям решать дилеммы, связанные с опасностями, в рамках такой же модели рисков, как и при выявлении возможностей получения выгоды, с достижением в последующем согласования с конкурирующими целями.

Различные перспективы риска могут быть приняты и использованы для любой среды и в конкретных ситуациях, связанных с рисками, в качестве средства сопоставления как внутри, так и за пределами границ организации для достижения общего понимания того, какие риски являются желательными, а какие неприемлемыми.

Ниже приведена выдержка из ГОСТ Р ИСО 31000-2019 [раздел 4, перечисление с)].

Принцип адаптированности, установленный в ГОСТ Р ИСО 31000, позволяет гармонизировать любую перспективу риска.

Эффективное управление рисками требует соблюдения принципов ГОСТ Р ИСО 31000-2019 (раздел 4).

Адаптированность позволяет управлять контекстуальными рисками.

Система оценки рисков ГОСТ Р ИСО 31000 поддерживает принцип адаптированности, обеспечивая необходимую адаптацию индивидуальных оценок рисков с помощью элемента структуры рисков "Проектирование":

- проектирование обеспечивает понимание и учет в процессе управления рисками конкретных контекстуальных потребностей оценки рисков, включая любые внешние требования в отношении способов выявления, регулирования и смягчения рисков;

- среда риска определяет оценку риска, следовательно, контекстуальное определение риска. Среда определяет тип оценки рисков, которую необходимо выполнить, включая те типы рисков, которые необходимо идентифицировать.

Документирование и отчетность обеспечивают передачу соответствующей информации о рисках по интегрированным каналам управления для предоставления необходимой информации для принятия обоснованных решений по всем аспектам риска, как положительным, так и отрицательным, что позволяет согласовать все определения риска.

Приложение В

(справочное)

Управление риском и жизненный цикл системы искусственного интеллекта

В таблице В.1 показан пример сопоставления процессов управления рисками и жизненного цикла системы ИИ, как определено в [7].

Таблица В.1 - Управление риском и жизненный цикл системы ИИ

Библиография