ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ГОСТ Р
71737—
2024
Системы искусственного интеллекта в здравоохранении
ПРИМЕНЕНИЕ МЕНЕДЖМЕНТА РИСКА К МЕДИЦИНСКИМ ИЗДЕЛИЯМ
Общие положения
Издание официальное
Москва Российский институт стандартизации 2024
ГОСТ Р 71737—2024
Предисловие
1 РАЗРАБОТАН Государственным бюджетным учреждением здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (ГБУЗ «НПКЦ ДиТ ДЗМ»)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 октября 2024 г. № 1518-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
© Оформление. ФГБУ «Институт стандартизации», 2024
Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии
II
ГОСТ Р 71737—2024
Содержание
1 Область применения..................................................................1
2 Нормативные ссылки..................................................................1
3 Термины и определения................................................................2
4 Общие требования к менеджменту риска.................................................2
4.1 Процесс менеджмента риска........................................................2
4.2 Ответственность руководства.......................................................3
4.3 Компетентность персонала.........................................................4
4.4 План менеджмента риска..........................................................4
4.5 Файл менеджмента риска..........................................................4
5 Анализ риска.........................................................................4
5.1 Процесс анализа риска............................................................4
5.2 Предусмотренное применение и обоснованно прогнозируемое неправильное применение ... .4
5.3 Идентификация характеристик, связанных с безопасностью..............................5
5.4 Идентификация опасностей и опасных ситуаций.......................................5
5.5 Определение риска...............................................................5
6 Оценивание риска....................................................................6
6.1 Общие положения................................................................6
6.2 Оценка последствий...............................................................6
6.3 Оценка вероятности...............................................................7
6.4 Оценка надежности изготовителей систем искусственного интеллекта......................7
6.5 Оценка пригодности систем искусственного интеллекта к использованию в конкретных условиях........................................................................7
6.6 Оценка соответствия заявляемых параметров диагностической точности систем искусственного интеллекта реальным................................................8
7 Управление риском....................................................................8
7.1 Анализ возможностей управления риском.............................................8
7.2 Выполнение мер по управлению рисками.............................................8
7.3 Оценивание остаточного риска......................................................8
7.4 Анализ соотношения риск/польза....................................................8
7.5 Риски, возникающие вследствие выполнения мер по управлению риском...................9
7.6 Полнота управления риском........................................................9
7.7 Соответствие выходных параметров работы систем искусственного интеллекта экспертному мнению врача.........................................................9
8 Оценивание совокупности остаточного риска..............................................9
9 Анализ менеджмента риска.............................................................9
10 Деятельность на стадии производства и постпроизводственная деятельность.................10
10.1 Общие требования..............................................................10
10.2 Сбор информации..............................................................10
10.3 Анализ информации.............................................................10
10.4 Предпринимаемые действия......................................................11
Библиография........................................................................12
III
ГОСТ Р 71737—2024
Введение
Настоящий стандарт содержит руководящие указания по применению положений ГОСТ ISO 14971 в отношении процесса управления рисками при оценке систем искусственного интеллекта в качестве программного обеспечения, являющегося медицинским изделием.
Настоящий стандарт адаптирует и дополняет принципы и процесс для управления рисками, связанными с применением медицинских изделий. Представленные дополнения предназначены для оказания помощи изготовителям систем искусственного интеллекта по управлению рисками при разработке и по применению систем искусственного интеллекта в качестве программного обеспечения, являющегося медицинским изделием.
Настоящий стандарт позволит изготовителям эффективно управлять рисками, связанными с применением систем искусственного интеллекта, являющихся медицинскими изделиями, и будет способствовать безопасности, качеству и инновационному развитию в данной области.
IV
ГОСТ Р 71737—2024
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Системы искусственного интеллекта в здравоохранении
ПРИМЕНЕНИЕ МЕНЕДЖМЕНТА РИСКА К МЕДИЦИНСКИМ ИЗДЕЛИЯМ
Общие положения
Artificial intelligence systems in healthcare. Risk management for medical devices. General provisions
Дата введения — 2025—01—01
1 Область применения
Настоящий стандарт определяет порядок управления рисками при разработке систем искусственного интеллекта (СИИ):
- оценку условий возникновения рисков, связанных с работой СИИ;
- анализ репутационной надежности изготовителя СИИ;
- проверку пригодности использования СИИ в конкретных условиях;
- порядок оценки соответствия характеристик СИИ установленным требованиям;
- тестирование на наличие технологических дефектов работы СИИ и соответствие выходных параметров работы СИИ результатам экспертного мнения врача.
Настоящий стандарт не изменяет и не противоречит требованиям ГОСТ ISO 14971, ГОСТ Р 55544.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ ISO 13485—2017 Изделия медицинские. Системы менеджмента качества. Требования для целей регулирования
ГОСТ ISO 14971—2021 Изделия медицинские. Применение менеджмента риска к медицинским изделиям
ГОСТ Р 55544—2013/IEC/TR 80002-1:2009 Программное обеспечение медицинских изделий. Часть 1. Руководство по применению ИСО 14971 к программному обеспечению медицинских изделий
ГОСТ Р 55544—2013/IEC/TR 80002-1:2009 Программное обеспечение медицинских изделий. Часть 1. Руководство по применению ИСО 14971 к программному обеспечению медицинских изделий
ГОСТ Р 57449/ISO/TR 24971:2013 Изделия медицинские. Руководство по применению ИСО 14971
ГОСТ Р 59921.0 Системы искусственного интеллекта в клинической медицине. Основные положения
ГОСТ Р 59921.5 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов
ГОСТ Р ИСО 31000—2019 Менеджмент риска. Принципы и руководство
Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, рекомендуется использовать версию этого стандарта с указанным выше годом утверждения
Издание официальное
1
ГОСТ Р 71737—2024
(принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены термины по ГОСТ Р 59921.0, а также следующие термины с соответствующими определениями:
3.1 менеджмент риска (медицинских изделий): Систематическое применение политики, процедур и практических методов менеджмента для решения задач анализа, оценивания, управления и мониторинга риска медицинских изделий при оценке систем искусственного интеллекта в качестве программного обеспечения, являющегося медицинским изделием.
3.2
файл менеджмента риска: Совокупность записей и других документов, создаваемых в процессе менеджмента риска.
[ГОСТ ISO 14971—2021, пункт 2.23]
3.3
высшее руководство: Лицо или группа лиц, осуществляющих руководство и управление изготовителем на высшем уровне.
[ГОСТ ISO 14971—2021, пункт 2.26]
4 Общие требования к менеджменту риска
4.1 Процесс менеджмента риска
Изготовитель должен установить, внедрить, документировать и поддерживать в рабочем состоянии непрерывный процесс.
а) для идентификации опасностей и опасных ситуаций, связанных с медицинским изделием;
Ь) определения и оценивания сопутствующих рисков;
с) управления этими рисками;
d) мониторинга результативности мер по управлению рисками.
Этот процесс должен применяться на протяжении всего жизненного цикла медицинского изделия и включать в себя следующие элементы:
- анализ риска;
- оценивание риска;
- управление риском;
- деятельность на стадии производства и постпроизводственную деятельность.
Если существует документированный процесс, устанавливающий создание продукции в рамках жизненного цикла, то он должен включать соответствующие части процесса менеджмента риска.
Примечания
1 Процессы жизненного цикла описаны, например, в разделе 7 ГОСТ ISO 13485—2017.
2 Документированный процесс в рамках системы менеджмента качества может быть использован для систематического решения вопросов безопасности, в частности для обеспечения возможности ранней идентификации опасностей и опасных ситуаций в сложных медицинских изделиях.
3 Схематическое представление процесса менеджмента риска приведено на рисунке 1. В зависимости от конкретной стадии жизненного цикла отдельным элементам менеджмента риска может быть уделено особое значение. Кроме того, деятельность по менеджменту риска может быть выполнена итеративно или поэтапно в зависимости от конкретного медицинского изделия.
2
ГОСТ Р 71737—2024
5 S Q I Q
2
Рисунок 1 — Схематичное представление процесса менеджмента риска
Оценку соответствия осуществляют посредством проверки соответствующих документов. [Адаптировано по ГОСТ ISO 14971—2021, подраздел 4.1]
Изготовителю СИИ следует применять основанный на учете рисков подход к выявлению, оценке и пониманию рисков искусственного интеллекта, которым они подвергаются, и принимать надлежащие меры по уменьшению рисков в соответствии с их уровнем. Цель системы управления рисками заключается в оказании изготовителю СИИ содействия в ее интеграции в значимые виды деятельности заказчика. Риски следует определять таким образом, чтобы они были связаны с целями применения СИИ. При этом не все цели имеют отношение ко всем видам использования СИИ, и в зависимости от характера применения в некоторых случаях необходимо определить дополнительные цели.
4.2 Ответственность руководства
Степень ответственности руководства определена в соответствии с приведенной в ГОСТ ISO 14971—2021 (подраздел 4.2).
3
ГОСТ Р 71737—2024
При установлении критериев допустимости риска следует учитывать отличия СИИ от традиционных медицинских изделий.
Примечание — Некоторые СИИ могут предоставлять дополнительную функцию расширения или замены обязанностей, которые ранее (без применения СИИ) входили в обязанности персонала, поэтому при необходимости следует уточнять требования безопасности.
Требования безопасности должны включать результаты оценок ограничений и производительности СИИ, а также необходимую подготовку персонала для адекватной реакции на возможные ошибки работы СИИ.
4.3 Компетентность персонала
Компетентность лиц, выполняющих задачи менеджмента риска, определяют в соответствии с требованиями ГОСТ ISO 14971—2021 (подраздел 4.3).
Лица, выполняющие задачи менеджмента риска медицинских изделий, должны обладать достаточным объемом специальных знаний в конкретной предметной области, а также общими знаниями о данных (наборах данных), которые используют для обучения и валидации (тестирования) СИИ. Помимо качества данных необходимо понимать контекст данных.
Примечание — У людей существуют некоторые физиологические различия, которые можно объяснить различиями в их демографических характеристиках (например, плотность ткани молочной железы). Разработка СИИ без учета демографических характеристик может привести к непреднамеренному смещению и последующей некорректной работе СИИ.
4.4 План менеджмента риска
Разработку плана менеджмента риска осуществляют в соответствии с приведенным в ГОСТ ISO 14971—2021 (подраздел 4.4). Дополнительные руководящие указания по плану менеджмента риска представлены в ГОСТ Р 57449.
4.5 Файл менеджмента риска
Руководящие указания относительно файла менеджмента риска приведены в ГОСТ ISO 14971—2021 (подраздел 4.5). Дополнительные руководящие указания относительно файла менеджмента риска в части программного обеспечения как медицинского изделия представлены в ГОСТ Р 55544.
5 Анализ риска
5.1 Процесс анализа риска
Анализ риска проводят в соответствии с приведенным в ГОСТ ISO 14971—2021 (подраздел 5.1). В процессе анализа риска применяют также положения ГОСТ Р ИСО 31000—2019 (пункт 6.4.3).
5.2 Предусмотренное применение и обоснованно прогнозируемое неправильное применение
Документирование предусмотренного применения и обоснованно прогнозируемого неправильного применения проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (подраздел 5.2).
Дополнительно в рамках менеджмента риска медицинских изделий применительно к СИИ применяют положения ГОСТ Р ИСО 31000—2019 (пункты 6.3.1, 6.3.2).
В дополнение к положениям, приведенным в ГОСТ Р ИСО 31000—2019 (пункт 6.3.1), для медицинских организаций, использующих СИИ, необходимо расширить сферу управления рисками применения СИИ, среду процесса управления рисками СИИ и критерии оценки значимости риска для поддержки процессов принятия решений. Перечень разработки или применения СИИ должен быть задокументирован и включен в процесс управления рисками медицинской организации или у изготовителя СИИ.
Кроме того, следует учитывать цели и назначение СИИ, разработанных или используемых медицинской организацией.
Документирование предусмотренного применения СИИ включает (но не ограничивается) следующее:
- предназначение (например, для диагностики, профилактики, наблюдения, лечения или облегчения течения заболеваний);
4
ГОСТ Р 71737—2024
- основные задачи (например, интерпретация медицинских изображений);
- целевую группу (например, пациенты с подозрением на наличие патологии);
- условия применения;
- способность к непрерывному обучению;
- наличие противопоказаний.
5.3 Идентификация характеристик, связанных с безопасностью
Идентификацию характеристик, связанных с безопасностью, проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (подраздел 5.3).
Помимо общих свойств, влияющих на безопасность и производительность программного обеспечения, особое значение для СИИ имеют качество и адекватность данных (наборов данных), используемых для обучения и валидации (тестирования) СИИ. Результаты валидационных тестирований СИИ следует проанализировать, чтобы оценить риски ошибки в выходных данных, которые могут прямо или косвенно повлиять на безопасность пациента.
Данные обучения и тестирования следует проверять на предмет их актуальности и соответствия намеченной цели. Объем требуемых обучающих и тестовых данных (наборов данных) может варьироваться в зависимости от предполагаемой функциональности и сложности окружения. Обучающие и тестовые наборы данных должны обладать такими характеристиками, как баланс классов, их распределение и т. д., чтобы обеспечить высокую прогнозируемую способность СИИ.
Наборы данных для обучения и тестирования должны соответствовать требованиям ГОСТ Р 59921.5.
5.4 Идентификация опасностей и опасных ситуаций
Идентификацию опасностей и опасных ситуаций проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (подраздел 5.4).
Изготовитель должен идентифицировать и документировать выявленные и предполагаемые риски. Для СИИ предполагаемыми рисками использования могут являться следующие:
- ошибки эксплуатации (некорректно заданные параметры могут повлиять на работу СИИ и привести к нежелательным последствиям для принятого решения врача и, как следствие, для пациента);
- некорректная настройка баланса между чувствительностью и специфичностью СИИ (может привести к ошибочным результатам работы СИИ и потенциально к пропуску диагноза или его изменению);
- сложный (комплексный) дизайн интерфейса СИИ (может привести к предвзятости или чрезмерному ненадлежащему влиянию на медицинский персонал в качестве пользователя);
- применение СИИ не по назначению.
Примечание — Предполагаемые риски не ограничиваются вышеперечисленными.
При возникновении предполагаемых рисков при эксплуатации СИИ медицинским организациям необходимо направлять информацию о возникшем событии изготовителю посредством заранее определенных видов коммуникации (обратной связи). Изготовитель в свою очередь обязан отражать данную информацию в отчете по мониторингу работы СИИ для регулирующего органа.
5.5 Определение риска
Определение риска проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (подраздел 5.5).
С целью идентификации (определения) риска применяют положения ГОСТ Р ИСО 31000—2019 (пункт 6.4.2).
В дополнение к положениям, приведенным в ГОСТ Р ИСО 31000—2019 (пункт 6.4.2), при определении риска необходимо учитывать следующее:
- анализ рисков включает оценку рисков, связанных с медицинским изделием (риск определяют как сочетание вероятности причинения вреда и тяжести этого вреда);
- СИИ имеют много общих характеристик с системами, не относящимися к искусственному интеллекту, и на вероятность причинения потенциального вреда влияют такие факторы, как надежность аппаратного обеспечения и удобство использования (как и в случае с другими рисками, связанными с программным обеспечением, вероятность непрогнозируемого поведения СИИ сложно оценить, и к ней следует относиться так же, как и к сбоям программного обеспечения);
5
ГОСТ Р 71737—2024
- исходя из выявленных рисков могут потребоваться дополнительные мероприятия по оценке рисков.
Примечания
1 Возможность чрезмерного доверия к результатам работы СИИ может привести к необходимости дополнительных оценок рисков использования СИИ.
2 Вероятность низкого качества наборов данных (например, несбалансированные данные) может привести к повышенной вероятности рисков в процессе работы СИИ.
3 Следует учитывать возможное влияние СИИ на медицинские устройства.
6 Оценивание риска
6.1 Общие положения
Для каждой идентифицированной опасной ситуации изготовитель должен оценить риски, которые уже определены, и установить, является ли риск допустимым, используя критерии допустимости риска, установленные в плане менеджмента риска.
Если риск является допустимым, то относительно этой опасной ситуации, установленные в 7.1—7.5 требования не применяют (т. е. переход непосредственно к 7.6), и оцененный риск должен быть рассмотрен как остаточный риск.
Если риск является недопустимым, то изготовитель должен осуществить деятельность по управлению риском, установленную в 7.1—7.6.
Результаты этого оценивания риска должны быть зарегистрированы в файле менеджмента риска.
Оценку соответствия осуществляют посредством проверки файла менеджмента риска.
[ГОСТ ISO 14971—2021, раздел 6]
Для комплексного анализа риска применяют также положения ГОСТ Р ИСО 31000—2019 (пункт 6.4.3).
6.2 Оценка последствий
При оценке последствий, выявленных в ходе оценки рисков, изготовитель должен проводить различие между оценкой воздействия на отдельных лиц (персонал) и оценкой воздействия на общество.
Анализ воздействия должен определять степень воздействия и учитывать следующие элементы: - критичность воздействия;
- материальные и нематериальные последствия;
- критерии, используемые для определения воздействия.
Анализ воздействия на отдельных лиц должен определять степень влияния разработки и/или использования СИИ изготовителем или медицинской организацией. Должны быть учтены следующие элементы:
- типы данных, используемых отдельными лицами;
- прогнозируемое воздействие разработки или применения СИИ;
- потенциальное влияние предвзятости на отдельного человека;
- потенциальное воздействие на основные права, которое может привести к материальному и нематериальному ущербу для отдельного лица;
- безопасность отдельного лица;
- культурная среда индивида (которая может повлиять на то, как определяется относительное воздействие).
Анализ воздействия на общество должен определять ту степень, в которой общество может быть затронуто разработкой и/или использованием СИИ медицинской организацией. Должны быть учтены следующие элементы:
- масштаб воздействия на общество (насколько широк охват СИИ различных групп населения), в том числе для кого СИИ применяется или предназначена (например, ее использование правительством потенциально может оказать большее влияние на общество, чем частное задействование);
- каким образом СИИ влияет на социальные и культурные ценности, которых придерживаются различные группы населения (включая конкретные способы, которыми СИИ усиливает или уменьшает ранее существовавшие модели причинения вреда разным социальным группам).
6
ГОСТ Р 71737—2024
6.3 Оценка вероятности
Изготовитель СИИ должен оценить вероятность возникновения событий и результатов, вызывающих риски. Вероятность может быть определена по качественной или количественной шкале. Вероятность может зависеть от следующих причин:
- типов, значимости и количества источников риска;
- частоты, существенности и распространенности угроз;
- внутренних факторов, таких как эффективность политики и процедур и мотивация внутренних участников;
- внешних факторов, таких как география и другие социальные, экономические и экологические проблемы;
- эффективного (смягчающего) или нерезультативного контроля.
Организациям следует включать расчеты вероятности только в тех случаях, когда они применимы и полезны для определения границ использования методов оценки рисков. Могут возникнуть значительные технические и экономические задачи, связанные с принятием решений на основе вероятностей, особенно когда вероятность не может быть рассчитана или расчет имеет значительную погрешность.
6.4 Оценка надежности изготовителей систем искусственного интеллекта
При оценке риска следует проводить оценку надежности изготовителя СИИ, пригодности СИИ к использованию в конкретных условиях, соответствия заявляемых параметров валидации (при оценке эффективности) СИИ.
Оценка надежности изготовителя СИИ должна быть основана на следующих критериях:
- наличие профессиональных навыков и опыта работы с СИИ;
- наличие знаний в области этики и прав человека в контексте использования СИИ в сфере здравоохранения (как медицинского изделия);
- соблюдение стандартов качества и безопасности при разработке СИИ;
- наличие документов о государственной регистрации юридического лица на территории Российской Федерации;
- наличие документов, подтверждающих разработку и (или) право на предоставление в использование представленной СИИ.
Оценку надежности изготовителя СИИ проводят путем:
- анализа документации и сертификатов соответствия (проверки наличия и актуальности сертификатов соответствия стандартам безопасности информации и защиты данных);
- оценки качества управления рисками (исследования механизмов идентификации, оценки и контроля рисков, связанных с использованием СИИ в здравоохранении, включая процедуры внутреннего аудита и мониторинга);
- изучения истории и репутации компании (анализа отзывов клиентов, партнеров и конкурентов, а также участия в судебных процессах, связанных с нарушениями прав потребителей или недобросовестной конкуренцией);
- экспертизы технического уровня и квалификации персонала (оценки уровня знаний и опыта сотрудников).
6.5 Оценка пригодности систем искусственного интеллекта к использованию в конкретных условиях
При оценке пригодности СИИ к использованию в конкретных условиях, включая определенные модели медицинского оборудования, рекомендуется выполнить следующие действия:
- провести детальный анализ требований и спецификаций медицинского оборудования с учетом его технических характеристик, стандартов безопасности и регуляторных требований;
- оценить степень совместимости СИИ с существующими системами и процессами в здравоохранении, выявив потенциальные проблемы взаимодействия;
- провести технические испытания с целью определения соответствия характеристик медицинского изделия требованиям нормативной документации, технической и эксплуатационной документации производителя и принятия последующего решения о возможности проведения клинических испытаний;
- провести клинические испытания (при завершенном проведении технических испытаний), которые представляют собой разработанное и запланированное систематическое исследование, предпринятое для оценки безопасности и эффективности медицинского изделия;
- оценить риски для конфиденциальности персональных данных пациентов.
7
ГОСТ Р 71737—2024
6.6 Оценка соответствия заявляемых параметров диагностической точности систем искусственного интеллекта реальным
Основным инструментом для оценки соответствия являются методы статистического анализа. Использование таких методов позволяет сравнить результаты работы СИИ с данными, полученными в ходе проведения клинических испытаний или в процессе эксплуатации СИИ. В зависимости от решаемой СИИ задачи могут быть применены различные сочетания параметров валидации (при оценке эффективности), например: анализ характеристической кривой и определение коэффициента согласованности классификаций и т. д. Такие основные показатели, как чувствительность, специфичность, площадь под характеристической кривой, должны быть использованы для характеристики каждого типового действия СИИ.
При оценке риска снижения параметров валидации (при оценке эффективности) при внедрении СИИ в новых условиях пристальное внимание необходимо уделять следующим аспектам:
- анализу изменений параметров валидации СИИ в новых условиях использования, включая окружающую среду, процессы работы и поведение пользователей;
- анализу условий применения СИИ.
Примечание — Испытуемые СИИ следует использовать по целевому назначению в рамках типового производственного процесса. Процедуры, выполняемые с применением СИИ, оценивают с позиций производительности и качества. Изготовителю следует предусмотреть меры по минимизации рисков и обеспечению безопасности (безвредности для пациентов и их законных представителей) производственных процессов;
- мониторингу работы СИИ после внедрения в новых условиях для своевременного выявления и корректировки возникающих задач, минимизации рисков снижения параметров валидации.
7 Управление риском
7.1 Анализ возможностей управления риском
Анализ возможностей управления риском проводят по представленному в ГОСТ ISO 14971—2021 (подраздел 7.1).
В рамках анализа возможностей управления риском следует учесть контроль качества наборов данных. Управление рисками, связанными с качеством наборов данных, включают в себя действия на протяжении всего жизненного цикла данных, такие как проверка полноты, правильности и согласованности данных, а также проверка того, что данные являются наиболее репрезентативными на данный момент для данной СИИ.
7.2 Выполнение мер по управлению рисками
Выполнение мер по управлению рисками проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (подраздел 7.2).
Дополнительные руководящие указания относительно управления рисками в программном обеспечении медицинских изделий представлены в ГОСТ Р 55544—2013 (раздел 6).
7.3 Оценивание остаточного риска
Оценивание остаточного риска проводят в соответствии с приведенным в ГОСТ ISO 14971—2021 (подраздел 7.3).
При оценивании остаточного риска применяют также положения ГОСТ Р ИСО 31000—2019 (пункт 6.5.2), ГОСТ Р 55544—2013 (подраздел 6.4) и ГОСТ Р 57449—2017 (раздел 5).
Варианты обработки рисков, определенные изготовителем СИИ, должны быть разработаны таким образом, чтобы снизить риски до приемлемого уровня. Если выяснится, что требуемое снижение риска не может быть достигнуто путем применения различных вариантов обработки рисков, изготовитель СИИ должен проводить анализ рисков и выгод для остаточных рисков.
7.4 Анализ соотношения риск/польза
Анализ соотношения риск/польза проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (подраздел 7.4).
8
ГОСТ Р 71737—2024
7.5 Риски, возникающие вследствие выполнения мер по управлению риском
Анализ рисков, возникающих вследствие выполнения мер по управлению риском, проводят в соответствии с приведенным в ГОСТ ISO 14971—2021 (подраздел 7.5).
Дополнительные руководящие указания приведены в ГОСТ Р 55544—2013 (подраздел 6.6).
7.6 Полнота управления риском
Изготовитель должен проводить анализ деятельности по управлению рисками с целью обеспечения рассмотрения всех рисков от всех идентифицированных опасных ситуаций, а также завершенности всей деятельности по управлению риском.
Результаты этого анализа должны быть зарегистрированы в файле менеджмента риска.
Оценку соответствия осуществляют посредством проверки файла менеджмента риска.
[ГОСТ ISO 14971—2021, подраздел 7.6]
Тестирование работы СИИ на наличие технологических дефектов включает регулярную проверку СИИ для выявления сбоев в работе, несовместимости с иными системами, несоответствия функциональным требованиям, предъявляемым изготовителем к СИИ.
Оценка производительности работы СИИ включает оценку времени выполнения ключевых операций, потребления ресурсов (центральный процессор, память), а также нагрузочное тестирование в условиях реальной эксплуатации.
Для обеспечения непрерывной работы медицинских организаций производительность СИИ должна соответствовать требованиям, установленным изготовителем.
С целью минимизации рисков необходимо проводить регулярные проверки на уязвимость, тестирование на проникновение и оценку соответствия стандартам безопасности данных.
Необходимо обеспечивать шифрование данных и соблюдение стандартов конфиденциальности.
7.7 Соответствие выходных параметров работы систем искусственного интеллекта экспертному мнению врача
В ходе оценки использования СИИ необходимо проводить анализ частоты и условий использования СИИ медицинскими работниками (врачами) для выявления задач применения и интеграции в клинические процессы.
Также необходимо получать обратную связь от медицинских работников (врачей) для отслеживания состояния работы СИИ.
С целью минимизации рисков использования СИИ рекомендуется проведение регулярных тренингов для медицинского персонала (врачей) по использованию СИИ.
Для повышения удобства и эффективности использования СИИ в клинической практике адаптацию СИИ проводят на основе обратной связи от медицинских работников (врачей).
8 Оценивание совокупного остаточного риска
Оценивание совокупного остаточного риска проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (раздел 8).
Дополнительные руководящие указания относительно программного обеспечения медицинских изделий представлены в ГОСТ Р 55544—2013 (раздел 7).
9 Анализ менеджмента риска
Анализ плана менеджмента риска проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (раздел 9).
9
ГОСТ Р 71737—2024
10 Деятельность на стадии производства и постпроизводственная деятельность
10.1 Общие требования
Создание системы активного сбора и анализа информации, относящейся к медицинскому изделию, на стадиях производства и постпроизводства проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (подраздел 10.1).
Дополнительные руководящие указания относительно программного обеспечения медицинских изделий представлены в ГОСТ Р 55544— 2013 (раздел 9).
10.2 Сбор информации
Сбор информации осуществляют в соответствии с представленным в ГОСТ ISO 14971—2021 (подраздел 10.2).
Безопасность и эффективность СИИ необходимо оценивать также в рамках жизненного цикла после получения регистрационного удостоверения, в том числе путем проведения мониторинга в соответствии с [1]—[3].
Наборы данных лежат в основе разработки СИИ, а также являются неотъемлемой частью оценки качества СИИ в процессе их внедрения и использования. Ошибки и дефекты при создании наборов данных напрямую влияют на качество как самих СИИ, так и на качество их оценки при тестировании и мониторинге.
К ошибкам и недостаткам наборов данных, повышающим риски на стадиях жизненного цикла СИИ, относят следующие:
- отсутствие стандартизованной документации и терминологии как в процессе подготовки набора данных (техническое задание, требования, регламенты, инструкции и т. д.), так и уже готового набора данных (сопроводительная информация — readme-файл, карточка библиотеки наборов данных);
- отсутствие проверки качества наборов данных (контроль критериев включения/невключения, дубликатов, дефектов, пропущенных и некорректных значений, баланса классов);
- отсутствие деидентификации или частичная деидентификация данных;
- отсутствие или некорректное обоснование объема выборки и баланса классов набора данных;
- нерепрезентативный для целевой популяции набор данных;
- несоответствующая целевому применению СИИ верификация наборов данных;
- отсутствие внешней валидации СИИ на наборах данных.
Способы минимизации рисков при разработке и применении наборов данных:
- разработка стандартизованных методологий формирования наборов данных (см. [4]);
- разработка стандартизованных шаблонов, форм, чек-листов, регламентов, инструкций для сопровождения процесса создания и использования наборов данных;
- использование стандартизованных структурированных наименований наборов данных с указанием ключевых параметров (см. [5]);
- использование инструментов управления (диаграмма Ганта и др.), в том числе специализированных, таких как реестр наборов данных (см. [6]);
- деидентификация данных, в том числе с применением специального программного обеспечения, в соответствии с действующим законодательством;
- специализированное обучение персонала, участвующего в процессах создания и использования наборов данных;
- создание автоматизированных средств контроля качества данных и тестирования СИИ;
- статистическое обоснование размера и состава набора данных в соответствии с принципами доказательной медицины;
- привлечение компетентного персонала для корректной формулировки необходимых требований, рационального планирования всех процессов и обеспечения качества набора данных;
- проведение валидационных тестирований СИИ на наборах данных, а также использование наборов данных из открытых источников (библиотек).
10.3 Анализ информации
Анализ информации проводят в соответствии с требованиями ГОСТ ISO 14971—2021 (подраздел 10.3).
10
ГОСТ Р 71737—2024
Для контроля риска, связанного с изменениями с течением времени, рекомендуется осуществлять сравнение результатов СИИ в разные периоды времени. Аналогично принципу «второго мнения» в здравоохранении возможна поддержка нескольких версий СИИ с целью сравнения их производительности.
10.4 Предпринимаемые действия
Если установлено, что собранная информация связана с безопасностью, то должны быть предприняты нижеприведенные действия.
1) В отношении рассматриваемого медицинского изделия:
- изготовитель должен провести анализ файла менеджмента риска и установить, существует ли необходимость в проведении переоценки рисков и/или оценки новых рисков;
- если остаточный риск больше не является допустимым, то влияние ранее выполненных мер по управлению риском должно быть оценено и рассматриваться в качестве входных данных для модификации медицинского изделия;
- изготовитель должен рассмотреть необходимость принятия действий в отношении медицинских изделий, выпущенных в обращение;
- все решения и действия должны быть зарегистрированы в файле менеджмента риска.
2) В отношении процесса менеджмента риска:
- изготовитель должен оценить воздействие на ранее выполненную деятельность по менеджменту риска;
- результаты этого оценивания должны быть рассмотрены высшим руководством в качестве входных данных для анализа пригодности процесса менеджмента риска (см. 4.2).
Примечание — Некоторые аспекты постпроизводственного мониторинга являются предметом национального регулирования. В таких случаях могут потребоваться дополнительные меры (например, перспективное постпроизводственное оценивание).
Оценку соответствия осуществляют посредством проверки файла менеджмента риска и других соответствующих документов.
[ГОСТ ISO 14971—2021, подраздел 10.4]
11
ГОСТ Р 71737—2024
Библиография
[1] Порядок сообщения субъектами обращения медицинских изделий обо всех случаях выявления побочных действий, не указанных в инструкции по применению или руководстве по эксплуатации медицинского изделия, о нежелательных реакциях при его применении, об особенностях взаимодействия медицинских изделий между собой, о фактах и об обстоятельствах, создающих угрозу жизни и здоровью граждан и медицинских работников при применении и эксплуатации медицинских изделий (утвержден приказом Министерства здравоохранения Российской Федерации от 19 октября 2020 г. № 1113н)
[2] Порядок осуществления мониторинга безопасности медицинских изделий (утвержден приказом Министерства здравоохранения Российской Федерации от 15 сентября 2020 г. № 980н)
[3] Положение о Федеральной службе по надзору в сфере здравоохранения (утверждено постановлением Правительства Российской Федерации от 30 июня 2004 г. № 323)
[4] Подготовка набора данных для обучения и тестирования программного обеспечения на основе технологии искусственного интеллекта / Васильев Ю.А., Арзамасов К.М., Владзимирский А.В. и др. — Ridero : Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы, 2024. — 140 с.
[5] Васильев Ю.А., Бобровская Т.М., Арзамасов К.М., Четвериков С.Ф., Владзимирский А.В., Омелянская О.В., Андрейченко А.Е., Павлов Н.А., Анищенко Л.Н. Основополагающие принципы стандартизации и систематизации информации о наборах данных для машинного обучения в медицинской диагностике// Менеджер здравоохранения 2023; 4: 28—41
[6] Васильев Ю.А., Бобровская Т.М., Арзамасов К.М., Четвериков С.Ф., Владзимирский А.В., Омелянская О.В., Андрейченко А.Е., Павлов Н.А., Анищенко Л.Н. Основополагающие принципы стандартизации и систематизации информации о наборах данных для машинного обучения в медицинской диагностике // Менеджер здравоохранения 2023; 4; 28—41
УДК 615.841:006.354
ОКС 11.040.01
Ключевые слова: системы искусственного интеллекта, риск, менеджмент риска, анализ риска, остаточный риск
Редактор Л. С. Зимилова
Технический редактор И.Е. Черепкова
Корректор С.И. Фирсова
Компьютерная верстка И.Ю. Литовкиной
Сдано в набор 29.10.2024. Подписано в печать 12.11.2024. Формат 60x84%. Гарнитура Ариал.
Усл. печ. л. 1,86. Уч-изд. л. 1,68.
Подготовлено на основе электронной версии, предоставленной разработчиком стандарта
Создано в единичном исполнении в ФГБУ «Институт стандартизации» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.
