ГОСТ Р 59921.0-2022
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ
Основные положения
Artificial intelligence systems in clinical medicine. Basic principles
ОКС 11.040.01
Дата введения 2023-01-01
Предисловие
1 РАЗРАБОТАН Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2022 г. N 1141-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Применение в сфере здравоохранения программного обеспечения, использующего технологии искусственного интеллекта, активно развивается и изучается в последнее время. Этому способствуют появление различных наборов размеченных медицинских данных, увеличение вычислительных мощностей, развитие облачных сервисов, а также многочисленные публикации и примеры эффективности и перспективности прикладных решений (см. [1], [2]).
К проблематике внедрения искусственного интеллекта (ИИ) в практическом здравоохранении относятся вопросы прозрачности, объяснимости и интерпретируемости ИИ-алгоритмов, предвзятость их решений вследствие ограничений наборов данных, на которых проводится машинное обучение, недостаточная для реальной клинической практики точность работы моделей, проблемы конфиденциальности и этичности искусственного интеллекта (см. [3], [4]). В этой связи остро возникают вопросы обеспечения безопасности и предоставления достоверных данных о клинической эффективности в проектах внедрения ИИ в повседневной клинической практике (см. [5], [6]).
Настоящий стандарт входит в комплекс стандартов "Системы искусственного интеллекта в клинической медицине" и устанавливает основные положения для данного комплекса.
1 Область применения
Настоящий стандарт устанавливает общие положения комплекса национальных стандартов "Системы искусственного интеллекта в клинической медицине", включая:
- общие цели и задачи;
- общие требования;
- термины и определения.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 59525 Информатизация здоровья. Интеллектуальные методы обработки медицинских данных. Основные положения
ГОСТ Р 59921.1 Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка
ГОСТ Р 59921.2 Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний
ГОСТ Р 59921.3 Системы искусственного интеллекта в клинической медицине. Часть 3. Управление изменениями в системах искусственного интеллекта с непрерывным обучением
ГОСТ Р 59921.4 Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров
ГОСТ Р 59921.5 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов
ГОСТ Р 59921.6 Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1 Общие термины
3.1.1
|
система искусственного интеллекта (artificial intelligence system): Программное обеспечение, в котором используются технологические решения искусственного интеллекта.
[ГОСТ Р 59921.6-2021, пункт 3.10] |
3.1.2
|
безопасность (safety): Отсутствие недопустимого риска.
[ГОСТ ISO 14971-2011, пункт 2.24] |
Примечания
1 Безопасность систем искусственного интеллекта предполагает их функционирование в соответствии с тем, как это определил изготовитель, при использовании по назначению в условиях, предусмотренных изготовителем, и без нарушений безопасности обрабатываемой информации.
2 Условия использования могут включать в себя уровень технических знаний, наличие опыта, образования и специальной подготовки пользователей, наличие заболеваний и данных о физическом состоянии потенциальных пациентов.
3 Безопасность системы искусственного интеллекта предполагает соблюдение требований по защищенности систем искусственного интеллекта и данных, а также прозрачности алгоритмов, бесперебойности, отсутствие ошибок в работе систем искусственного интеллекта и выполнение требований качества [7].
3.1.3
|
информационная безопасность (information security): Защита конфиденциальности, целостности и доступности информации; кроме того, сюда могут быть отнесены и другие свойства, например аутентичность, подотчетность, безотказность и надежность.
[ГОСТ Р 59277-2020, пункт 3.23] |
3.1.4
|
эффективность (efficiency): Совокупность свойств и характеристик системы искусственного интеллекта, обеспечивающих достижение целей предназначения, установленных изготовителем и подтвержденных практикой клинического применения.
[ГОСТ Р 59921.1-2022, пункт 3.26] |
Примечание - Свойства и характеристики системы искусственного интеллекта (СИИ) оцениваются посредством аналитической валидации и клинической валидации.
3.1.5
|
качество системы искусственного интеллекта: Совокупность свойств и характеристик системы искусственного интеллекта, влияющих на ее способность действовать по назначению при условии соответствия требованиям технической и эксплуатационной документации изготовителя (производителя).
Примечание - См. [1].
[ГОСТ Р 59921.6-2021, пункт 3.5] |
3.1.6
|
методика [метод] измерений: Совокупность конкретно описанных операций, выполнение которых обеспечивает получение результатов измерений с установленными показателями точности.
Примечание - См. [4].
[ГОСТ Р 59921.2-2021, пункт 2.7] |
3.1.7 непрерывное обучение (постоянное обучение, обучение на протяжении всей жизни) (continuous learning, lifelong learning): Последовательное обучение системы искусственного интеллекта, которое происходит на постоянной основе на всем этапе эксплуатации жизненного цикла системы искусственного интеллекта.
3.1.8 повторное обучение (retraining): Обновление обученной модели путем обучения на новых обучающих данных.
3.2 Термины в сфере систем искусственного интеллекта как медицинского изделия
3.2.1
|
программное обеспечение, являющееся медицинским изделием (software as a medical device): Программное обеспечение, предназначенное изготовителем для использования в медицинских целях, не являющееся составной частью и/или принадлежностью другого медицинского изделия.
Примечания
1 Программное обеспечение является медицинским изделием, при условии соответствия его следующим критериям (см. [5], пункт 18):
- программное обеспечение представляет собой программу для электронно-вычислительной машины или программные модули вне зависимости от используемой аппаратной платформы, а также способов размещения программного обеспечения и предоставления доступа к нему;
- программное обеспечение не является составной частью другого медицинского изделия;
- программное обеспечение предназначено изготовителем для оказания медицинской помощи;
- результат действия программного обеспечения заключается в интерпретации данных в автоматическом режиме, в том числе с использованием технологий искусственного интеллекта, или по заданным медицинским работником параметрам, влияющим на принятие клинических решений, набора данных.
2 См. [6], пункт 5.0.
[ГОСТ Р 59921.2-2021, пункт 2.10] |
3.2.2
|
клиническая валидация (clinical validation): Подтверждение способности системы искусственного интеллекта выдавать клинически значимые выходные данные, связанные с целевым использованием системы искусственного интеллекта в рамках установленного изготовителем функционального назначения.
Примечание - См. [8], пункт 7.0.
[ГОСТ Р 59921.1-2022, пункт 3.10] |
3.2.3
|
клиническая связь (clinical association): Научное обоснование соответствия результатов действия системы искусственного интеллекта установленному изготовителем (производителем) ее функциональному назначению.
Примечания
1 См. [1], пункт 7.0.
2 Научное обоснование достигается путем поиска в литературных источниках, согласно рекомендациям профессиональных сообществ, на основании новых клинических исследований.
[ГОСТ Р 59921.1-2022, пункт 3.11] |
3.2.4
|
аналитическая валидация (analytical validation): Подтверждение способности системы искусственного интеллекта точно, воспроизводимо и надежно генерировать предполагаемые результаты вычислений из входных данных.
Примечания
1 См. [1].
2 Аналитическая валидация является частным случаем валидации в соответствии с ГОСТ Р ИСО/МЭК 12207-2010, пункт 4.54.
[ГОСТ Р 59921.1-2022, пункт 3.1] |
3.2.5
|
клиническая оценка (clinical evaluation): Непрерывный процесс, состоящий в применении научно обоснованных методов для анализа и оценивания клинических данных, имеющих отношение к рассматриваемому медицинскому изделию, с целью проверки заявленной его изготовителем клинических функциональных характеристик, результативности и клинической безопасности изделия, при его применении в соответствии с назначением и в условиях, предусмотренных изготовителем.
[ГОСТ Р 56429-2021, пункт 3.1] |
3.2.6
|
достоверность (reliability): Степень объективного соответствия результатов испытаний действительному изменению в состоянии группы пациентов, для которых систему искусственного интеллекта применяют или предполагают к использованию.
[ГОСТ Р 59921.1-2022, пункт 3.5] |
3.2.7
|
точность (accuracy): Степень близости результата измерений к принятому опорному значению.
Примечание 2 - Термин "точность", когда он относится к серии результатов измерений (испытаний), включает сочетание случайных составляющих и общей систематической погрешности (ИСО 3534-1 [1]).
[ГОСТ Р ИСО 5725-1-2002, пункт 3.6] |
3.2.8
|
доступность (availability): Свойство объекта находиться в состоянии готовности и используемости по запросу авторизованного логического объекта.
[Адаптировано из ГОСТ Р ИСО 7498-2-99, пункт 3.3.11] |
3.2.9
|
воспроизводимость (reproducibility): Свойство процесса получать одинаковые результаты испытаний в разных средах испытаний.
Примечание - Разные среды означают разные компьютеры, жесткие диски, операторы и т.д.
[ГОСТ Р 59921.2-2021, пункт 2.2] |
3.2.10
|
повторяемость (repeatability): Свойство процесса, проводимого для получения одинаковых результатов испытаний в одной и той же среде испытаний.
Примечание - Одна и та же среда испытаний означает одинаковый компьютер, жесткий диск, режим работы и т.д.
[ГОСТ Р 59921.2-2021, пункт 2.8] |
3.2.11 защищенность системы искусственного интеллекта (security artificial intelligence systems): Состояние, при котором обеспечивается защита информации, данных и программного кода системы искусственного интеллекта от несанкционированного доступа неавторизованных лиц, неправомерного доступа, уничтожения, модифицирования, блокирования, копирования, предоставления, распространения, а также от иных неправомерных действий, соблюдается конфиденциальность информации ограниченного доступа, и отсутствует недопустимый риск причинения вреда правам, свободам, законными интересам, имуществу юридических и физических лиц.
3.2.12
|
модель жизненного цикла (life cycle model): Структурная основа процессов и действий, относящихся к жизненному циклу, которая также служит в качестве общего эталона для установления связей и понимания.
[ГОСТ Р 57193-2016, пункт 4.1.20] |
3.3 Термины в сфере наборов данных
3.3.1
|
данные реальной клинической практики; RWD (real-world data, RWD): Информация о состоянии здоровья пациентов и/или об оказании медицинской помощи, полученная из различных источников вне рамок предрегистрационных клинических исследований.
Примечания
1 Данные о практическом применении могут быть собраны из разных источников, например:
- электронные медицинские карты;
- заявления и действия по выставлению счетов;
- реестры медицинских изделий и заболеваний;
- данные от пациентов, полученные в том числе в домашних условиях;
- данные, собранные из других источников, которые могут информировать о состоянии здоровья, например, от мобильных устройств.
2 К частному случаю данных о практическом применении могут быть отнесены данные, собранные системой искусственного интеллекта после выхода в эксплуатацию, которые могут дать представление о работе продукта, используемого в условиях практического применения и при регулярном использовании пользователями.
3 См. [2].
[ГОСТ Р 59921.3-2021, пункт 3.2] |
3.3.2
|
верифицированный набор данных (ground truth): Набор данных с верифицированной медицинской информацией.
[ГОСТ Р 59921.5-2022, пункт 3.2] |
Примечание - Верификация информации должна быть проведена в соответствии с ГОСТ Р 59921.5.
3.3.3 обучающие данные (training data): Подмножество образцов входных данных, используемых для создания модели алгоритмами машинного обучения.
3.3.4
|
тестовая [контрольная] выборка (test sample): Уникальная (отличная от обучающей и проверочной) выборка, на которой проводят объективную оценку качества параметров обученной системы искусственного интеллекта.
[ГОСТ Р 59921.5-2022, пункт 3.27] |
3.3.5
|
проверочная выборка (validation sample): Выборка, на которой проводят проверку применимости параметров системы искусственного интеллекта для отличных от обучающей выборки наборов данных.
[ГОСТ Р 59921.5-2022, пункт 3.17] |
3.3.6
|
разметка [аннотация] данных (data labeling): Этап обработки структурированных и неструктурированных данных, в процессе которого данным (в том числе текстовым документам, фото- и видеоизображениям) присваиваются идентификаторы, отражающие тип данных (классификация данных), и (или) осуществляется интерпретация данных для решения конкретной задачи, в том числе с использованием систем искусственного интеллекта.
Примечание - См. [2].
[ГОСТ Р 59921.5-2022, пункт 3.19] |
Примечание - Основные задачи машинного обучения с учителем в области обработки изображений можно разбить на три группы:
- сегментация изображений;
- классификация изображений;
- обнаружение объектов и их маркировка (аннотирование).
В отношении других данных (текстовых данных, числовых рядов и т.д.) существует другой набор задач:
- сегментация данных;
- измерение данных;
- маркировка (аннотирование) данных;
- классификация данных.
3.3.7 маркировка (аннотирование) (annotation): Процедура присвоения словесного (семантического) значения объекту или совокупности данных.
Примечание - Следует отметить, что для аннотирования простых (бинарных) свойств объектов достаточно использования словаря (глоссария).
Для аннотирования мультиклассовых свойств объектов необходимо использование тезауруса.
В процессе аннотирования изображений определяется, присутствует ли определенный тип объекта на изображении или нет (набор классов определяется заранее - см. тезаурус и глоссарий).
3.3.8 сегментация (segmentation): Процесс определения границ и областей объектов (на изображениях) или выделение отдельных элементов или числовых последовательностей (для графиков и числовых рядов).
3.3.9 ретроспективная разметка (retrospective annotation): Сбор данных в соответствии с указанными метаданными, перечень которых выбирают в соответствии с поставленной целью формирования набора данных.
Примечание - Ретроспективная разметка не предполагает дополнительных манипуляций с элементами данных (например, постановка метки начала и окончания события, меток обнаружения признаков, обозначений патологий и т.п.).
3.3.10 проспективная разметка (prospective annotation): Сбор данных в соответствии с поставленной целью формирования набора данных, а также проведение дополнительных манипуляций с элементами.
Примечание - Проспективную разметку выполняют путем постановки метки начала и окончания события, меток обнаружения признаков, обозначений патологий и т.п.
4 Цели и задачи использования систем искусственного интеллекта в клинической медицине
4.1 Основные цели
Основной целью комплекса национальных стандартов "Системы искусственного интеллекта в клинической медицине" является стимулирование разработки качественных и заслуживающих доверие со стороны врачебного сообщества СИИ, позволяющих обеспечить достижение следующих задач:
а) сокращение заболеваемости и смертности, в т.ч. социально-значимых и хронических неинфекционных заболеваний;
б) повышение качества оказания медицинской помощи, в т.ч. улучшение профилактики, внедрение прогнозной аналитики возникновения и развития заболеваний, анализ изображений, подбор лекарственной терапии, сокращение угроз пандемий, повышение точности и безопасности хирургических операций;
в) автоматизация рутинных операций, в т.ч. облегчение работы медицинского персонала в части ведения электронной медицинской документации (распознавание речи и изображений, автозаполнение и контроль) и интерпретации медицинских данных (система поддержки принятия врачебных решений).
4.2 Основные задачи
Основными задачами комплекса национальных стандартов "Системы искусственного интеллекта в клинической медицине" являются:
а) установление общих требований к эксплуатации СИИ посредством предъявляемых требований к эксплуатационной документации, обучению пользователей, порядку проведения внутреннего и внешнего контроля качества и эксплуатации пользователями СИИ (см. ГОСТ Р 59921.6);
б) установление специальных требований к различным видам СИИ, в т.ч. в зависимости от используемых технологий искусственного интеллекта (ИИ) или назначения;
в) установление общих требований к структуре и порядку применения наборов данных, которые используют на этапах разработки СИИ, включая обучение и внутреннее тестирование алгоритмов искусственного интеллекта, ее эксплуатации, а также внешнего тестирования (аналитическая и клиническая валидация);
г) установление общих требований к оценке и контролю эксплуатационных параметров СИИ при вводе в эксплуатацию и периодическом контроле, что позволяет проводить однозначно интерпретируемую оценку характеристик и параметров СИИ (см. ГОСТ Р 59921.4);
д) установление общих требований для применения изготовителями (производителями) СИИ с непрерывным обучением для управления изменениями в части адаптации и корректного формирования на данной основе соответствующих разделов технической и эксплуатационной документации СИИ, а также структуры СИИ с непрерывным обучением изготовителей (производителей) (см. ГОСТ Р 59921.3);
е) установление общих подходов к проведению технических испытаний СИИ (см. ГОСТ Р 59921.2);
ж) установление общих подходов к проведению клинической оценки СИИ (см. ГОСТ Р 59921.1).
5 Классификация систем искусственного интеллекта в клинической медицине
В обобщенном виде используемые в медицине методы ИИ и классификация областей применения ИИ приведены в ГОСТ Р 59525.
СИИ в клинической медицине, предназначенные производителем для применения при оказании медицинской помощи, применяют:
а) для диагностики, профилактики, наблюдения, лечения или облегчения заболеваний;
б) диагностики, наблюдения, лечения, облегчения или компенсации нарушенных или утраченных физиологических функций;
в) исследования, замещения или изменения анатомического строения или физиологических процессов;
г) поддержания жизнедеятельности;
д) функционирования систем поддержки принятия врачебных решений;
е) прогнозирования появления и/или развития заболеваний на основе генетических данных.
6 Ключевые требования к системам искусственного интеллекта в клинической медицине
6.1 Общие требования
Создание СИИ в клинической медицине должно быть основано на следующих ключевых требованиях:
а) безопасность и эффективность, в т.ч. демонстрирование потенциальной пользы, превышающей потенциальный риск;
б) понятность с точки зрения результатов своего действия, формируемых проектов и подсказок для принятия врачебных решений. Необходимо обеспечить объяснимость работы ИИ-алгоритмов, а также доступность информации о том, как эти алгоритмы создавались (обучались), тестировались и валидировались;
в) создание с учетом принципов технологического суверенитета;
г) создание с учетом развития знаний в предметной области.
6.2 Технические требования
Создание СИИ в клинической медицине должно быть основано на следующих технических требованиях, включая, но не ограничиваясь:
а) требования к входным данным (например: требования к формату получаемого для обработки в СИИ изображения, порядок получения идентификатора исследования, порядок подключения к PACS-серверу при приеме информации и т.д.);
б) требования к обработке данных и используемым протоколам обработки (например: использование протоколов AMQP в процессе функционирования СИИ, время обработки одного изображения и т.д.);
в) требования к данным на выходе СИИ, подлежащим отправке потребителю (например: формат передаваемого потребителю изображения, порядок взаимодействия с PACS-сервером при отправке результата работы СИИ и т.д.);
г) требования к мерам по обеспечению кибербезопасности.
Библиография
|
|
[1] | Topol E.J. High-performance medicine: the convergence of human and artificial intelligence. Nature Medicine. 2019;25(1):44-56. https://doi.org/10.1038/s41591-018-0300-7
|
[2] | Topol E.J. Editor/Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again. New York: Basic Books, 2019
|
[3] | Price W.N., Gerke S., Cohen I.G. Potential liability for physicians using artificial intelligence. JAMA. 2019;(322):1765-6. doi:10.1001/jama.2019.15064
|
[4] | Wynants L., Van Calster В., Collins G. S., Riley R.D., Heinze G., Schuit E. et al. Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal BMJ 2020;(369):m1328 doi:10.1136/bmj.m1328, https://doi.org/10.1136/bmj.m1328
|
[5] | Roberts M., Driggs D., Thorpe M. et al. Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans. Nat Mach Intell 3, 199-217 (2021). https://doi.org/10.1038/s42256-021-00307-0
|
[6] | Wong A., Otles E., Donnelly J.P., Krumm A., McCullough J., DeTroyer-Cooley O., Pestrue J., Phillips M., Konye J., Penoza C., Ghous M., Singh K. External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients. JAMA Intern Med. 2021 Aug 1;181(8):1065-1070. doi: 10.1001/jamainternmed.2021.2626. Erratum in: JAMA Intern Med. 2021 Aug 1;181(8):1144. PMID: 34152373; PMCID: PMC8218233, https://doi.org/10.1001/jamainternmed.2021.2626
|
[7] | Постановление Правительства Российской Федерации от 27 декабря 2012 г. N 1416 "Об утверждении Правил государственной регистрации медицинских изделий" |
|
|
УДК 615.841:006.354 | ОКС 11.040.01 |
| |
Ключевые слова: система искусственного интеллекта, искусственный интеллект, клиническая медицина | |
