ФЕДЕРАЛЬНОЕ АГЕНТСТВО
ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ
ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
пнет
961— 2024
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ЗДРАВООХРАНЕНИИ
Этические аспекты
Издание официальное
Москва Российский институт стандартизации 2024
ПНСТ 961—2024
Предисловие
1 РАЗРАБОТАН Государственным бюджетным учреждением здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (ГБУЗ «НПКЦ ДиТ ДЗМ»)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 25 октября 2024 г. № 68-пнст
Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТР 1.16—2011 (разделы 5 и 6).
Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: npcmr@zdrav.mos.ru и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112 Москва, Пресненская набережная, д. 10, стр. 2.
В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе «Национальные стандарты» и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
©Оформление. ФГБУ «Институт стандартизации», 2024
Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии
II
ПНСТ 961—2024
Введение
Технологии искусственного интеллекта активно внедряются и трансформируют систему здравоохранения. Целью внедрения систем искусственного интеллекта (СИИ) является повышение качества лечебно-диагностических процессов, создание новых цифровых сервисов для пациентов и увеличение эффективности планирования и управления отраслью (см. [1]).
Растет число научных исследований и компаний, разрабатывающих специализированные СИИ для здравоохранения на территории Российской Федерации (см. [2]—[4]). Такие системы оказывают непосредственное влияние на жизнь и здоровье сообществ, отдельно взятых пациентов и медицинского персонала.
Вместе с этим, внедрение СИИ неразрывно связано с этическими аспектами, которые возникают из-за особенностей технологий искусственного интеллекта, причем этические аспекты характерны для всех этапов жизненного цикла таких систем: от разработки, внедрения и до применения в условиях реальной клинической практики и последующего вывода из эксплуатации (см. [5]).
Вопросы этики СИИ в здравоохранении естественным образом продолжают традиции как общей этики искусственного интеллекта и инноваций, так и профессиональной этики врачей, при этом имея собственные уникальные аспекты. Из-за стремительного развития технологий и новизны данной тематики этика должна эволюционировать сообразно технологиям и моральным вопросам, которые они затрагивают. При этом принятие решений при разработке и внедрении СИИ в сфере здравоохранения должно основываться на моральной философии, научном знании и гуманистическом подходе. Только при своевременном, добросовестном и мультидисциплинарном подходе к этическим аспектам и поиске путей к их решению внедрение технологий искусственного интеллекта в здравоохранение может быть осуществлено эффективно и безопасно, сохранив и обеспечив права пациентов, справедливость, прозрачность в принятии медицинских решений, и доверие к этим технологиям.
Основной целью настоящего стандарта является определение единых моральных и этических принципов и последующее следование им всех вовлеченных сторон в жизненный цикл СИИ.
Ill
ПНСТ 961—2024
ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ЗДРАВООХРАНЕНИИ
Этические аспекты
Artificial intelligence in healthcare.
Ethical aspects
Срок действия — с 2025—01—01 до 2028—01—01
1 Область применения
Настоящий стандарт распространяется на технологии искусственного интеллекта, используемые в здравоохранении. Настоящий стандарт устанавливает этические требования к системам искусственного интеллекта (СИИ).
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ 31508 Изделия медицинские. Классификация в зависимости от потенциального риска применения. Общие требования
ГОСТ Р 59050 Инновационный менеджмент. Этическая оценка исследований и инноваций. Часть 1. Компетенции комитета по этике
ГОСТ Р 59051 Инновационный менеджмент. Этическая оценка исследований и инноваций. Часть 2. Оценка этического воздействия
ПНСТ 840—2023 (ISO/IEC TR 24368:2022) Искусственный интеллект. Обзор этических и общественных аспектов
Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены термины по ГОСТ Р 59050 и ГОСТ Р 59051, а также следующие термины с соответствующими определениями:
3.1 дискриминация (различие): Ограничение прав человека (группы людей) по определенному признаку.
Примечание — В качестве признака может выступать любое значимое отличие личности (группы). Например, раса, этническая принадлежность, пол, возраст, инвалидность.
Издание официальное
1
ПНСТ 961—2024
3.2
жизненный цикл: Развитие системы, продукции, услуги, проекта или другой создаваемой человеком сущности от замысла до списания.
[ГОСТ Р 57193—2016, пункт 4.1.19]
3.3 здравоохранение: Область или сфера деятельности, которая ставит перед собой задачи обеспечения доступного медицинского обслуживания, сохранения и повышения уровня здоровья населения.
3.4
искусственный интеллект: Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма и достижение инсайта) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека.
Примечание — Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе, в котором используются методы машинного обучения), процессы и сервисы по обработке данных, анализу и синтезу решений.
[ГОСТ Р 59277—2020, пункт 3.18]
3.5
объяснимость: Свойство системы искусственного интеллекта, заключающееся в возможности представления причин, приводящих к тому или иному решению системы, в виде, понятном человеку.
[ГОСТ Р 59276—2020, пункт 3.8]
3.6
понятность: Свойство системы искусственного интеллекта, заключающееся в возможности открытого, исчерпывающего, доступного, четкого и понятного представления информации.
[ГОСТ Р 59276—2020, пункт 3.10]
3.7
система искусственного интеллекта: Программное обеспечение, в котором используются технологические решения искусственного интеллекта.
[ГОСТ Р 59921.6—2021, пункт 3.10]
3.8 социальные детерминанты: Комплекс различных немедицинских факторов (социальных, экономических, культурных, экологических), которые влияют на здоровье и благополучие человека.
3.9 стигматизация: Увязывание какого-либо качества (как правило, отрицательного) с отдельным человеком или группой людей, хотя эта связь отсутствует или не доказана.
3.10
устойчивое развитие: Развитие, удовлетворяющее потребностям настоящего времени, не ставя под угрозу возможности будущих поколений удовлетворять свои потребности.
Примечание — Устойчивое развитие относится к объединению целей обеспечения высокого качества жизни, здоровья и благополучия с социальной справедливостью и поддержанием способности Земли поддерживать жизнь во всем ее разнообразии. Эти социальные, экономические и экологические цели являются взаимозависимыми и взаимоподдерживающими. Устойчивое развитие следует рассматривать как способ выражения широких ожиданий общества в целом.
[ГОСТ Р 54598.1—2015, пункт 2.3]
3.11 цифровое неравенство: Неравный доступ к цифровым технологиям.
3.12 этика в сфере искусственного интеллекта: Набор моральных принципов и руководящих правил, направленных на обеспечение справедливого и этически ответственного создания и применения систем искусственного интеллекта.
2
ПНСТ 961—2024
4 Общие положения
Общие этические принципы, которые необходимо учитывать на всех этапах жизненного цикла СИИ в здравоохранении (см. ПНСТ 840—2023, [6]—[10]), приведены в 4.1—4.10.
4.1 СИИ должны создаваться, выводиться на рынок и внедряться с обеспечением понятности и объяснимости их функционирования для пациентов, врачей и руководителей в сфере здравоохранения, что должно способствовать формированию доверия потребителей, пониманию процесса принятия решений и ответственному отношению к внедрению СИИ в здравоохранении.
4.2 Имеющийся опыт научных исследований, разработок и применения СИИ в условиях реальной клинической практики должен использоваться на протяжении всего жизненного цикла СИИ. Глубокое понимание интеграции СИИ в существующие клинические и организационные процессы, а также оценка предполагаемых преимуществ и связанных с ними рисков для пациентов может помочь гарантировать, что СИИ являются безопасными и эффективными, помогая устранять имеющиеся отраслевые проблемы.
4.3 На всех этапах жизненного цикла СИИ следует использовать лучшие практики разработки программного обеспечения и безопасности. При разработке СИИ следует использовать современные методы разработки программного обеспечения, машинного обучения, обеспечение качества данных, управления данными и надежные методы кибербезопасности. Эти методы включают методическое управление рисками и постоянное развитие системы менеджмента качества, которые могут надлежащим образом фиксировать и сообщать о решениях и обоснованиях проектирования, реализации и управления рисками, а также обеспечивать подлинность и целостность данных.
4.4 Используемые на всех этапах жизненного цикла СИИ наборы данных должны быть репрезентативными для предполагаемой популяции пациентов. Протоколы сбора данных должны гарантировать, что соответствующие характеристики предполагаемой популяции пациентов (например, с точки зрения возраста, пола, этнической принадлежности) достаточно представлены в наборах данных адекватного размера, включая наборы данных для обучения, тестирования и клинической валидации. Это важно для устранения любых предвзятостей, обеспечения адекватной и обобщаемой эффективности СИИ среди целевой популяции пациентов, оценки удобства использования и выявления обстоятельств, при которых СИИ может быть неэффективной.
4.5 СИИ должны разрабатываться в соответствии со стандартами безопасности и эффективности, проходить этическую оценку воздействия в соответствии с ГОСТ Р 59051 и непрерывный контроль в течение всего времени применения.
4.6 Роль и ответственность участников работы с СИИ должны быть четко определены, особенно при нанесении вреда (прямого или косвенного) пациенту, группе лиц или населению в целом.
4.7 Внедрение СИИ не должно усугублять цифровое неравенство, СИИ должны быть доступны среди населения, независимо от социального статуса или дохода человека, и разработаны с учетом контекста (демографического, популяционного и др.).
4.8 СИИ в здравоохранении должны способствовать устойчивому развитию отрасли здравоохранения.
4.9 С развитием СИИ возникающие этические дилеммы должны своевременно анализироваться и необходимо вести работу над путями их решения.
4.10 Автономность СИИ в здравоохранении должна быть ограничена и обратима, т. о. любое решение, принятое системой, может быть пересмотрено и скорректировано медицинскими или другими специалистами.
5 Этические требования к системам искусственного интеллекта
5.1 Этические требования к системам искусственного интеллекта с точки зрения защиты интересов пациентов
5.1.1 Следует обеспечить уважение и защиту неприкосновенности частной жизни и конфиденциальности пациентов, защиту прав пациента, в т. ч. при работе с данными на этапе обучения СИИ.
5.1.2 Риск нанесения морального или физического вреда пациенту, а также косвенного вреда обществу, посредством применения СИИ, необходимо минимизировать до уровня, не превышающего риск нанесения соответствующего вреда пациенту и обществу без применения технологий СИИ.
3
ПНСТ 961—2024
5.1.3 Применение СИИ не должно приводить к стигматизации и дискриминации пациентов и групп пациентов из-за их состояния здоровья, пола, возраста, национальности и др.
5.1.4 Пациенты и/или их законные представители должны быть проинформированы о возможности применения и роли СИИ при оказании медицинской помощи. Информация должна быть предоставлена в доступных и достаточных для понимания соответствующими группами населения формах и объемах.
5.1.5 Внедрение СИИ не должно ограничивать доступ пациентов к медицинской помощи. Необходимо проводить мониторинг изменения качества медицинских услуг в отношении пациентов после внедрения СИИ.
5.1.6 Пациенты, общественные организации и гражданское общество должны иметь возможность сообщать о своих потребностях и влиять на процессы разработки и внедрения СИИ в здравоохранении.
5.1.7 Внедрение СИИ должно способствовать развитию персонализированного подхода в лечении, в т. ч. необходимо учитывать социальные детерминанты и индивидуальные особенности здоровья пациента.
5.1.8 СИИ не должны нарушать отношения между врачом и пациентом, на которых строится медицинская практика.
5.1.9 Права и интересы пациентов и общества должны учитываться при осуществлении контроля в сфере здравоохранения с использованием СИИ.
5.2 Этические требования к системам искусственного интеллекта с точки зрения разработки
5.2.1 На этапе разработки СИИ для применения в сфере здравоохранения необходимо соблюдать требования текущего законодательства, которое регулирует данный вид изделия (классификация в зависимости от потенциального риска применения приведена в ГОСТ 31508). Однако не все СИИ в здравоохранении могут быть классифицированы как медицинское изделие, что, тем не менее, не отменяет этические принципы, которыми должны руководствоваться их разработчики.
Примечание — Организации и разработчики СИИ для здравоохранения должны учитывать этические аспекты на всех стадиях жизненного цикла СИИ (см. [9]).
5.2.2 СИИ следует разрабатывать при участии лиц, поддержка которых обеспечивается СИИ. Если СИИ разрабатывают для последующего их использования медицинскими работниками — специалистами по соответствующим профилям оказания медицинской помощи и процессам организации и оказания медицинской помощи, их участие в разработке этих систем обязательно.
5.2.3 При разработке СИИ необходимо использовать обучающие наборы данных, независимые от тестовых наборов данных, а также наборов данных для клинической валидации, в том числе для целей государственной регистрации СИИ в качестве медицинских изделий.
5.2.4 СИИ следует разрабатывать с учетом особенностей и основных характеристик популяции, в которой преимущественно планируется применять данную СИИ.
5.2.5 В случае использования нормативно-справочной информации при разработке СИИ должно быть отдано предпочтение единым национальным источникам СИИ, заслуживающим доверие и независимый контроль качества, полноценности и непротиворечивости. В первую очередь целесообразно использование справочников, входящих в федеральную нормативно-справочную информацию Единой государственной информационной системы в сфере здравоохранения.
5.2.6 Разработчики СИИ должны стремиться к открытой публикации сведений о процессах проектирования СИИ, машинного обучения и разработки программного обеспечения СИИ.
5.2.7 Разработчики СИИ должны способствовать проведению независимой клинической валидации используемых моделей, алгоритмов и в целом СИИ, в том числе с публикацией полученных результатов в рецензируемой научной литературе.
5.2.8 Разработчики СИИ должны способствовать повышению удобства и объяснимости работы СИИ для конечного пользователя, в том числе используя соответствующие методы проектирования и тестирования интерфейса.
5.2.9 Разработчики СИИ должны встраивать в создаваемые системы удобный доступ пользователей к справочной информации, раскрывающей особенности работы данной СИИ. Пользователям должна предоставляться четкая, важная информация, включая: предполагаемое использование продукта и показания к использованию, эффективность используемых моделей машинного обучения, сведения о том, где и в каких условиях были проведены независимые испытания СИИ, приемлемые входные
4
ПНСТ 961—2024
данные, известные ограничения, интерпретация пользовательского интерфейса и интеграция модели в клинические процессы. Пользователям также должна быть предоставлена информация о выпуске новых версий СИИ, включая сведения о новых функциях, исправлениях ошибок и других изменениях. Также пользователи должны иметь доступ к информации о результатах пострегистрационного клинического мониторинга, выявленных нежелательных явлениях и предпринятых мерах по их устранению.
5.2.10 Разработчики СИИ должны встроить в свои продукты средства сбора обратной связи от пользователей, в том числе для выявления возможных нежелательных явлений, связанных с применением СИИ, а также предложениями на развитие функциональных возможностей и удобства работы с СИИ.
5.3 Этические требования к системам искусственного интеллекта с точки зрения эксплуатации
5.3.1 На этапе эксплуатации необходимо проводить мониторинг и контроль качества работы СИИ в соответствии с текущим законодательством. Разработчики СИИ должны собирать данные о выявленных нежелательных явлениях, связанных с эксплуатацией СИИ, данные о достигнутых метриках производительности и качества работы СИИ в условиях реальной клинической практики, обратную связь от пользователей, включая оценку удовлетворенности.
5.3.2 В процессе эксплуатации необходимо следить за новыми данными в области исследований СИИ, анализировать возникающие с ними возможности по улучшению создаваемых и/или используемых СИИ, выявлять этические дилеммы и предлагать пути их решения.
5.3.3 При эксплуатации СИИ в условиях реальной клинической практики должны быть разработаны программы обучения для врачей и других медицинских работников. В случае выпуска новых версий СИИ созданные ранее программы обучения должны быть обновлены, а пользователи уведомлены о таких изменениях.
5.3.4 Перед вводом в эксплуатацию СИИ должно быть проведено обучение пользователей (медицинского и административного персонала) по работе с такими системами, в том числе с учетом возможных рисков, возникающих при применении СИИ. Пользователи должны быть подготовлены не только к техническим аспектам работы с СИИ, но и к пониманию этических вопросов, связанных с их использованием. Обучение должно обеспечивать способность персонала применять системы СИИ эффективно и безопасно, а также критически оценивать результаты их работы.
5.3.5 Медицинский персонал и разработчики СИИ должны способствовать повышению информированности пациентов (их законных представителей) и приобретению ими необходимых знаний о работе и применении СИИ в медицине.
5
ПНСТ 961—2024
Библиография
[1] Гусев А.В., Добриднюк С.Л. «Искусственный интеллект в медицине и здравоохранении» Информационное
общество 4-5 (2017). С. 78—93
[2] Гусев А.В., Шарова Д.Е. Этические проблемы развития технологий искусственного интеллекта в здравоохране-
нии//ОЗ. 2023. № 1. URL: https://cyberleninka.ru/article/n/eticheskie-problemy-razvitiya-tehnologiy-iskusstvennogo-intellekta-v-zdravoohranenii (дата обращения: 04.09.2024)
[3] Шарова Д.Е., Зинченко В.В., Ахмад Е.С., Мокиенко О.А., Владзимирский А.В., Морозов С.П. К вопросу об этических аспектах внедрения систем искусственного интеллекта в здравоохранении/ZDigital Diagnostics. 2021. Т. 2. №3. С. 356—368
[4] Гусев А.В., и др. «Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года» Digital Diagnostics 3.3 (2022). С. 178—194
[5] Ngiam, Кее Yuan, and Wei Khor. «Big data and machine learning algorithms for health-care delivery» The Lancet Oncology 20.5 (2019): P. e262—e273
[6] Этические принципы и использование искусственного интеллекта в здравоохранении: руководство ВОЗ. Женева: Всемирная организация здравоохранения: 2021. Лицензия: ОС BY-NC-SA3.0 IGO
[7] Кодекс этики в сфере искусственного интеллекта (принят 26.10.2021 )//Альянс в сфере искусственного интеллекта. URL: https://a-ai.ru/ethics/index.html (дата обращения: 04.09.2024)
[8] IEEE/ISO/IEC 24748-7000:2022 Системная и программная инженерия. Управление жизненным циклом.
Часть 7000. Стандартный типовой процесс решения этических проблем при проектировании
[9] Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles, https://www.fda.gov/medical-de-vices/software-medical-device-samd/transparency-machine-learning-enabled-medical-devices-guiding-principles. Released: 13.06.2024
[10] World Medical Association. World Medical Association Declaration of Helsinki: Ethical Principles for Medical Research Involving Human Subjects//JAMA. — 2013-11 -27. — Vol. 310, No. 20 — P. 2191—2194
6
ПНСТ 961—2024
УДК 615.841:006.354 ОКС 11.040.01
Ключевые слова: системы искусственного интеллекта, искусственный интеллект, здравоохранение, этические аспекты
7
Редактор Е.В. Якубова Технический редактор И.Е. Черепкова Корректор С.И. Фирсова Компьютерная верстка И.А. Налейкиной
Сдано в набор 28.10.2024. Подписано в печать 11.11.2024. Формат 60x847s. Гарнитура Ариал. Усл. печ. л. 1,40. Уч.-изд. л. 1,18.
Подготовлено на основе электронной версии, предоставленной разработчиком стандарта
Создано в единичном исполнении в ФГБУ «Институт стандартизации» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.
