allgosts.ru11. ЗДРАВООХРАНЕНИЕ11.040. Медицинское оборудование

ГОСТ Р 59921.6-2021 Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации

Обозначение:
ГОСТ Р 59921.6-2021
Наименование:
Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации
Статус:
Действует
Дата введения:
03.01.2022
Дата отмены:
-
Заменен на:
-
Код ОКС:
11.040.01

Текст ГОСТ Р 59921.6-2021 Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации

>

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

ГОСТР 59921.6— 2021



НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ

Часть 6

Общие требования к эксплуатации

Издание официальное

Москва Российский институт стандартизации 2021

Предисловие

  • 1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением «Российский институт стандартизации» (ФГБУ «РСТ»), Государственным бюджетным учреждением здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (ГБУЗ «НПКЦ ДиТ ДЗМ»)

  • 2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

  • 3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 декабря 2021 г. № 1673-ст

  • 4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

© Оформление. ФГБУ «РСТ», 2021

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

Содержание

  • 1 Область применения

  • 2 Нормативные ссылки

  • 3 Термины и определения

  • 4 Общие положения

  • 4.1 Техническая и эксплуатационная документация изготовителя на систему искусственного интеллекта

  • 4.2 Требования, предъявляемые к эксплуатации системы искусственного интеллекта

  • 4.3 Требования, предъявляемые для корректного пользования системой искусственного интеллекта

  • 4.4 Порядок проведения внутреннего контроля систем искусственного интеллекта

  • 4.5 Порядок проведения внешнего контроля систем искусственного интеллекта

  • 4.6 Пострегистрационный мониторинг систем искусственного интеллекта

  • 5 Требования к результатам эксплуатации систем искусственного интеллекта в клинической медицине

Приложение А (справочное) Перечень требований, устанавливаемый изготовителем к пользователям СИИ

Библиография

Введение

Большинство систем искусственного интеллекта (СИИ), за исключением отдельных случаев, не оказывают непосредственного воздействия на пациентов и пользователей (врачей), выполняя только интерпретацию предоставленных данных и формируя выводы пользователю, в том числе с целью поддержки принятия врачебных решений и оптимизации управления здравоохранением. Несмотря на это, все заявления изготовителя в отношении уровней эффективности и безопасности СИИ (в том числе указанные в маркировке и сопроводительной документации) необходимо регулярно контролировать и подтверждать соответствующими доказательствами в ходе эксплуатации.

ГОСТ P 59921.6—2021

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ

Часть 6

Общие требования к эксплуатации

Artificial Intelligence Systems in Clinical Medicine. Part 6. General performance requirements

Дата введения — 2022—03—01

  • 1 Область применения

    • 1.1 Настоящий стандарт устанавливает общие требования к эксплуатации систем искусственного интеллекта (СИИ) посредством предъявляемых требований к эксплуатационной документации, обучению пользователей, порядку проведения внутреннего и внешнего контроля качества и эксплуатации пользователями СИИ.

Настоящий стандарт применим к СИИ как программному обеспечению, являющемуся медицинским изделием.

  • 1.2 Настоящий стандарт определяет общие требования к эксплуатации СИИ.

  • 2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19.101 Единая система программной документации. Виды программ и программных документов

ГОСТ 19.105 Единая система программной документации. Общие требования к программным документам

ГОСТ 19.106 Единая система программной документации. Требования к программным документам, выполненным печатным способом

ГОСТ 34.602 Информационная технология. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы

ГОСТ Р ИСО/МЭК 15408-1 Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 1. Введение и общая модель

ГОСТ Р ИСО/МЭК 15408-2 Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 2. Функциональные компоненты безопасности

ГОСТ Р ИСО/МЭК 15408-3 Информационная технология (ИТ). Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 3. Компоненты доверия к безопасности

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана дати-

Издание официальное

рованная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

  • 3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями: 3.1

безопасность: Отсутствие недопустимого риска.

[ГОСТ ISO 14971—2011, пункт 2.24]

Примечания

  • 1 Безопасность систем искусственного интеллекта предполагает их функционирование в соответствии с тем, как определил изготовитель, при использовании по назначению в условиях, предусмотренных изготовителем, и без нарушений безопасности обрабатываемой информации.

  • 2 Условия использования могут включать уровень технических знаний, наличие опыта, образования и специальной подготовки пользователей, наличие заболеваний и данных о физическом состоянии потенциальных пациентов.

  • 3 Безопасность системы искусственного интеллекта предполагает соблюдение требований по защищенности систем искусственного интеллекта и данных, а также прозрачности алгоритмов, бесперебойности, отсутствие ошибок в работе систем искусственного интеллекта и выполнение требований качества (см. [1]).

  • 3.2

жизненный цикл (life cycle): Развитие системы, продукции, услуги, проекта или другой создаваемой изготовителем сущности от замысла до вывода из эксплуатации.

[Адаптировано из ГОСТ Р 57193—2016, пункт 4.1.19]

  • 3.3

искусственный интеллект (artificial intelligence): Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма и достижение инсайта) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека.

Примечание — Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе в котором используются методы машинного обучения), процессы и сервисы по обработке данных, анализу и синтезу решений.

[ГОСТ Р 59277—2020, пункт 3.18]

  • 3.4

изготовитель (производитель): Физическое или юридическое лицо, ответственное за проектирование, изготовление, упаковывание и/или маркировку медицинского изделия, установку/монтаж или модификацию медицинского изделия перед выпуском его в обращение или вводом в эксплуатацию независимо от того, выполняет ли эти операции вышеупомянутое лицо или третья сторона от его имени.

Примечание — В определении термина «изготовитель» следует учитывать положения национальных и региональных нормативных документов.

[ГОСТ ISO 14971—2011, пункт 2.8]

  • 3.5 качество системы искусственного интеллекта: Совокупность свойств и характеристик системы искусственного интеллекта, влияющих на его способность действовать по назначению при условии соответствия требованиям технической и эксплуатационной документации изготовителя (производителя)

Примечание —См. [1].

  • 3.6

критический дефект: Дефект, при наличии которого использование продукции по назначению практически невозможно или недопустимо.

[ГОСТ 15467—79, пункт 2.43]

  • 3.7 набор данных: Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта.

Примечание —См. [2].

  • 3.8

малозначительный дефект: Дефект, который существенно не влияет на использование продукции по назначению и ее долговечность.

[ГОСТ 15467—79, пункт 2.45]

  • 3.9

нормативная документация: Документы, регламентирующие требования безопасности, качества, а также предполагаемую эффективность предусмотренного применения и методы контроля соответствия медицинского изделия этим требованиям.

[ГОСТ Р 58451—2019, пункт 3.15]

3.10

система искусственного интеллекта (artificial intelligence system): Программное обеспечение, в котором используются технологические решения искусственного интеллекта.

[Адаптировано из ГОСТ Р 59276—2020, пункт 3.16]

3.11

техническая документация: Совокупность конструкторских, программных и технологических документов, предназначенных для использования на различных стадиях жизненного цикла медицинского изделия.

[ГОСТ Р 58451—2019, пункт 3.24]

3.12

эксплуатационная документация изготовителя (производителя): Документы, предназначенные для ознакомления потребителя, регламентирующие условия и правила эксплуатации (использование по назначению, техническое обслуживание, хранение и транспортировка), гарантированные изготовителем (производителем) значения основных параметров, характеристик (свойств) медицинского изделия, гарантийные обязательства, а также сведения о его выводе из эксплуатации.

Примечание — Эксплуатационные документы прилагаются к медицинскому изделию при поставке и, как правило, включают в себя паспорт (формуляр или этикетку), руководство по эксплуатации, инструкцию по применению и др. Комплектность эксплуатационных документов определяется назначением конкретного медицинского изделия.

[Адаптировано из ГОСТ Р 58451—2019, пункт 3.26]

  • 3.13 эффективность: Совокупность свойств и характеристик систем искусственного интеллекта, обеспечивающих достижение целей предназначения, установленных изготовителем и подтвержденных практикой клинического применения.

  • 4 Общие положения

  • 4.1 Техническая и эксплуатационная документация изготовителя на систему искусственного интеллекта

Изготовитель СИИ должен разрабатывать техническую и эксплуатационную документации, в соответствии с которыми осуществляют производство, применение, эксплуатацию, в том числе техническое обслуживание СИИ [3]. Документация должна быть оформлена в соответствии с ГОСТ 19.101, ГОСТ 19.105 и ГОСТ 19.106, при этом решение о выборе стандарта принимает изготовитель или заказчик СИИ.

Перечень сведений о СИИ, необходимых к раскрытию в технической и эксплуатационной документациях, установлен в нормативных правовых актах [3—6].

Виды эксплуатационных документов и их содержание приведены в таблице 1.

Таблица 1 — Виды эксплуатационных документов

Вид эксплуатационного документа

Содержание эксплуатационного документа

Ведомость эксплуатационных документов

Перечень эксплуатационных документов на программу

Формуляр

Основные характеристики программы, комплектность и сведения об эксплуатации программы

Описание применения

Сведения о назначении программы, области применения, применяемых методах, классе решаемых задач, ограничениях для применения, минимальной конфигурации технических средств

Руководство системного программиста

Сведения для проверки, обеспечения функционирования и настройки программы на условия конкретного применения

Руководство программиста

Сведения для эксплуатации программы

Руководство оператора

Сведения для обеспечения процедуры общения оператора с вычислительной системой в процессе выполнения программы

Описание языка

Описание синтаксиса и семантики языка

Руководство по техническому обслуживанию

Руководство для медицинской организации

Сведения для применения тестовых и диагностических программ при обслуживании технических средств

Допускается объединять отдельные виды эксплуатационных документов (за исключением ведомости эксплуатационных документов и формуляра). Необходимость объединения этих документов указывают в техническом задании. Объединенному документу присваивают наименование и обозначение одного из объединяемых документов.

В объединенных документах должны быть приведены сведения, которые необходимо включать в каждый объединяемый документ.

  • 4.2 Требования, предъявляемые к эксплуатации системы искусственного интеллекта

    • 4.2.1 Изготовитель должен установить условия и регламент (режим) эксплуатации СИИ, которые должны обеспечивать использование СИИ с заданными параметрами, в том числе виды и периодичность контроля СИИ или допустимость работы без обслуживания по ГОСТ 34.602.

    • 4.2.2 Изготовитель устанавливает требования к локальным вычислительным сетям и информационно-телекоммуникационной сети Интернет, например:

  • - скорость передачи данных (например, 10 Мбит/с);

  • - задержка (время передачи в одну сторону);

  • - протокол передачи данных;

  • - время загрузки данных (например, с сервера, к которому подключена СИИ, на компьютер пользователя).

  • 4.2.3 Изготовитель устанавливает минимальные характеристики к электронно-вычислительным машинам пользователя (системные требования), а также требования по установке дополнительных программных обеспечений.

  • 4.2.4 Изготовитель устанавливает требования к входным данным СИИ.

Примечание — Пример для медицинских изображений:

  • - требования к содержанию технических файлов исследований (наличие соответствующих записей в DICOM-тегах);

  • - требования к качеству изображений;

  • - требования к оборудованию, на котором получены изображения;

  • - и др.

  • 4.2.5 Изготовитель устанавливает максимальное количество пользователей, которые могут одновременно эксплуатировать СИИ.

  • 4.2.6 Изготовитель устанавливает требования по защите данных и по недопущению доступа к СИИ неустановленных пользователей, которые не имеют доступа к обрабатываемой СИИ информации (например, к работе с персональными данными).

  • 4.3 Требования, предъявляемые для корректного пользования системой искусственного интеллекта

    • 4.3.1 Для работы с СИИ изготовитель обязан разработать и предоставить пользовательскую эксплуатационную документацию (руководство пользователя) для работы пользователей с СИИ.

    • 4.3.2 Для обеспечения корректной эксплуатации СИИ к пользователям изготовитель предъявляет требования в эксплуатационной документации.

Перечень требований представлен в приложении А.

  • 4.4 Порядок проведения внутреннего контроля систем искусственного интеллекта

Внутренний контроль СИИ изготовителем необходим для предупреждения, выявления и предотвращения рисков, влияющих на принятие решения врачом, и минимизации последствий их наступления после регистрации СИИ. Внутренний контроль СИИ проходит в установленном изготовителем порядке и с периодичностью, которая указана им на этапе регистрации СИИ в качестве медицинского изделия в документации системы менеджмента качества. В ходе внутреннего тестирования (тестирование изготовителя) могут проверяться следующие показатели: время, затрачиваемое СИИ на предоставление ответа конечному пользователю при наличии в СИИ предустановленной функции — расчет времени; некорректное или неполное предоставление результатов обработки; отсутствие результатов обработки и т.п.

В рамках проведения внутреннего контроля СИИ могут быть выявлены малозначительные дефекты и критические дефекты. Устранение малозначительных дефектов, не влияющих на основной функционал системы, должно происходить с обязательным уведомлением пользователя, после чего СИИ необходимо перезапустить или переустановить после внесенных изменений.

Если обнаружен критический дефект, который требует внесения изменений в СИИ, то следует предусмотреть прекращение работы СИИ. Остановка использования СИИ должна быть определена на указанный в документации период времени по заранее согласованной с пользователем процедуре (например, посредством договора на техническое обслуживание) данной остановки. Если ответы СИИ использованы, то необходимо провести переоценку решений, принятых при использовании некорректных данных (что должно быть предусмотрено изготовителем). После устранения дефектов СИИ решение о дальнейшей работе СИИ в реальных условиях принимают в соответствии с действующим законодательством.

По итогам такого внутреннего контроля должен быть сформирован отчет с указанием принятых мероприятий, мер по устранению дефектов и результатов. Досье учитывают при внешней проверке эксплуатации СИИ проверяющими органами.

  • 4.5 Порядок проведения внешнего контроля систем искусственного интеллекта

Внешний контроль осуществляют в случае внесения значительных изменений в СИИ, а также в рамках пострегистрационного мониторинга.

Перед проведением внешнего контроля (внешнего тестирования) СИИ необходимо определить: а) цель, задачи и сроки проведения контроля (внешнего тестирования);

  • б) основания для проведения контроля (внешнего тестирования);

  • в) права и обязанности лиц, участвующих в организации и проведении контроля (внешнего тестирования);

  • г) порядок регистрации, анализа и использования результатов контроля (внешнего тестирования) [7].

Для СИИ внешний контроль может быть инициирован изготовителем СИИ.

Основными показателями эффективности работы СИИ являются показатели клинической валидации (чувствительность, специфичность и т. п.) или другие характеристики, применимые к конкретной СИИ. Для процедуры внешнего тестирования СИИ с целью внешнего контроля необходимо формировать набор данных с учетом целевой популяции, диагностического устройства, формата представления данных при применении СИИ.

В процессе внешнего контроля СИИ проводят:

  • а) оценку эффективности, безопасности и качества СИИ;

  • б) сбор данных, получение результатов, характеризующих качество, эффективность и безопасность СИИ [8].

По окончании внешнего контроля принимают решение о возможности/невозможности дальнейшей работы СИИ в условиях эксплуатации.

  • 4. 6 Пострегистрационный мониторинг систем искусственного интеллекта

Безопасность и эффективность СИИ необходимо оценивать также в рамках жизненного цикла после получения регистрационного удостоверения, в том числе путем проведения пострегистрационного мониторинга в соответствии с действующими нормативными правовыми актами.

На всех этапах проведения пострегистрационного мониторинга СИИ необходимо соблюдать требования действующих стандартов по информационной безопасности и защите информации: ГОСТ Р ИСО/МЭК 15408-1, ГОСТ Р ИСО/МЭК 15408-2, ГОСТ Р ИСО/МЭК 15408-3.

  • 5 Требования к результатам эксплуатации систем искусственного интеллекта в клинической медицине

К результатам эксплуатации СИИ в клинической медицине предъявляют следующие требования: а) результаты применения СИИ в клинической медицине относят к электронным медицинским записям [8];

  • б) в результатах применения СИИ в клинической медицине в обязательном порядке необходимо фиксировать информацию о наименовании, изготовителе и версии СИИ. Обязательна пометка «требует подтверждение врача»;

  • в) результаты применения СИИ могут быть включены в электронную медицинскую карту пациента для возможного дальнейшего использования врачом.

Приложение А (справочное)

Перечень требований, устанавливаемый изготовителем к пользователям СИИ

В состав требований включены:

  • а) уверенное пользование операционной системой электронно-вычислительной машины;

  • б) обучение и опыт работы в области применения СИИ (компьютерная томография, рентгеновская аппаратура, цифровая флюорография, цифровая маммография, электрокардиография, электронная медицинская карта и т. п.), а также опыт работы с форматами обрабатываемых данных (видео-, аудиофайлы, пиксельное изображение, сигнальные данные, текстовые данные и т. п.);

  • в) изучение пользователем эксплуатационной документации (руководства пользователя) на СИИ для дальнейшей работы с СИИ после обучения работе, предоставляемого изготовителем;

  • г) соблюдение трудовой этики в рамках профессиональной деятельности.

Данные требования устанавливают в должностных инструкциях пользователей, при этом список требований является рекомендательным.

Библиография

  • [1] Постановление Правительства Российской Федерации от 27 декабря 2012 г. № 1416 «Об утверждении Правил государственной регистрации медицинских изделий»

  • [2] Указ Президента Российской Федерации от 10 октября 2019 г. № 490 «О развитии искусственного интеллекта в Российской Федерации»

  • [3] Приказ Министерства здравоохранения РФ от 19 января 2017 г. № 11 н «Об утверждении требований к содержанию технической и эксплуатационной документации производителя (изготовителя) медицинского изделия

  • [4] Решение Совета Евразийской экономической комиссии от 12 февраля 2016 г. № 27 «Об утверждении Общих требований безопасности и эффективности медицинских изделий, требований к их маркировке и эксплуатационной документации на них»

  • [5] Решение Совета Евразийской экономической комиссии от 12 февраля 2016 г. № 29 «О Правилах проведения клинических и клинико-лабораторных испытаний (исследований) медицинских изделий»

  • [6] Решение Совета Евразийской экономической комиссии от 10 ноября 2017 г. № 106 «О Требованиях к внедрению, поддержанию и оценке системы менеджмента качества медицинских изделий в зависимости от потенциального риска их применения»

  • [7] Приказ Министерства здравоохранения РФ от 7 июня 2019 г. № 381 н «Об утверждении Требований к организации и проведению внутреннего контроля качества и безопасности медицинской деятельности»

  • [8] Приказ Министерства здравоохранения РФ от 7 сентября 2020 г. № 947н «Об утверждении Порядка организации системы документооборота в сфере охраны здоровья в части ведения медицинской документации в форме электронных документов»

УДК 615.841:006.354

ОКС 11.040.01


Ключевые слова: эксплуатация, системы искусственного интеллекта, клиническая медицина

Редактор Л. С. Зимилова Технический редактор В.Н. Прусакова Корректор Л. С. Лысенко Компьютерная верстка ГД. Мухиной

Сдано в набор 06.12.2021. Подписано в печать 28.12.2021. Формат 60х841/8. Гарнитура Ариал. Усл. печ. л. 1,40. Уч.-изд. л. 1,24.

Подготовлено на основе электронной версии, предоставленной разработчиком стандарта

Создано в единичном исполнении в ФГБУ «РСТ» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.