ФЕДЕРАЛЬНОЕ АГЕНТСТВО
ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ГОСТ Р
71738—
2024
Системы искусственного интеллекта в лучевой диагностике
АЛГОРИТМЫ АНАЛИЗА МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ
Методы испытаний на способность и устойчивость работы с разнородными данными
Издание официальное
Москва Российский институт стандартизации 2024
ГОСТ Р 71738—2024
Предисловие
1 РАЗРАБОТАН Государственным бюджетным учреждением здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (ГБУЗ «НПКЦ ДиТ ДЗМ»)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 октября 2024 г. № 1519-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
©Оформление. ФГБУ «Институт стандартизации», 2024
Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии
II
ГОСТ Р 71738—2024
Содержание
1 Область применения..................................................................1
2 Нормативные ссылки..................................................................1
3 Термины и определения................................................................2
4 Сокращения.........................................................................2
5 Методы проведения испытаний систем искусственного интеллекта на способность и устойчивость работы с разнородными данными..........................................3
6 Испытание на устойчивость к трансформациям изображений.................................5
6.1 Цель.............................................................................5
6.2 Набор данных.....................................................................5
6.3 Результаты испытания..............................................................5
7 Испытание на генерализуемость.........................................................6
7.1 Цель.............................................................................6
7.2 Набор данных.....................................................................6
7.3 Результаты испытания..............................................................6
8 Испытание систем искусственного интеллекта на корректность выбора медицинского изображения для обработки............................................................7
8.1 Цель.............................................................................7
8.2 Набор данных.....................................................................7
8.3 Результаты испытания..............................................................7
9 Испытание на возможность обработки медицинских изображений с ошибками в атрибутах DICOM-файлов.............................................................8
9.1 Цель.............................................................................8
9.2 Набор данных.....................................................................8
9.3 Результаты испытания..............................................................8
Приложение А (обязательное) Общий порядок проведения испытаний систем искусственного интеллекта на способность и устойчивость работы с разнородными данными.......9
Приложение Б (справочное) Расчет размера набора данных..................................10
Приложение В (рекомендуемое) Пример заполнения раздела «Результаты» протокола испытаний на способность и устойчивость работы с разнородными данными................................................................12
Приложение Г (рекомендуемое) Описание набора данных, содержащего артефакты для разных модальностей.................................................15
Библиография........................................................................17
III
ГОСТ Р 71738—2024
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Системы искусственного интеллекта в лучевой диагностике АЛГОРИТМЫ АНАЛИЗА МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ Методы испытаний на способность и устойчивость работы с разнородными данными
Artificial intelligence systems in radiology. Algorithms of medical images analysis. Test methods for the ability and stability of working with heterogeneous data
Дата введения — 2025—01—01
1 Область применения
Настоящий стандарт распространяется на системы искусственного интеллекта в лучевой диагностике, выполняющие анализ медицинских изображений в формате DICOM-файлов.
Примечание — Возможно использование приведенных в настоящем стандарте испытаний на способность и устойчивость работы с разнородными данными также для систем искусственного интеллекта, выполняющих анализ медицинских изображений в других форматах медицинских изображений (JPEG, PNG, NIFTI). Однако это потребует корректировок для учета особенностей других форматов, например в части атрибутов DICOM-файлов.
Настоящий стандарт определяет методы испытаний систем искусственного интеллекта на способность и устойчивость работы с разнородными данными.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ ISO/IEC 17025—2019 Общие требования к компетентности испытательных и калибровочных лабораторий
ГОСТ Р 59898—2021 Оценка качества систем искусственного интеллекта. Общие положения
ГОСТ Р 59921.5 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов
ГОСТ Р 59921.7—2022 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа медицинских изображений. Методы испытаний. Общие требования
ГОСТ Р ИСО 12052 Информатизация здоровья. Цифровые изображения и связь в медицине (DICOM), включая управление документооборотом и данными
Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
Издание официальное
1
ГОСТ Р 71738—2024
3 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1 артефакт: Любое искажение на изображении, которое может снижать его диагностические возможности.
3.2 генерализуемость: Возможность с определенной степенью надежности экстраполировать результаты, полученные при испытании системы искусственного интеллекта на ограниченном наборе данных, на ее работу в процессе эксплуатации.
3.3 диагностическая ценность медицинского изображения: Мера, которая определяет возможность использования медицинского изображения для качественной оценки наличия или отсутствия патологии.
3.4 модальность медицинского оборудования для лучевой диагностики: Тип метода лучевой диагностики, предназначенного для получения медицинского изображения с использованием различных способов, таких как компьютерная томография, магнитно-резонансная томография, рентгенография, маммография.
3.5
медицинское изображение: Информация, получаемая с использованием средств визуализации внутренних структур и функций человеческого тела, представленная в виде изображения, удобного для медицинской диагностики.
Примечания
1 Медицинское изображение может быть получено радиологическими или нерадиологическими методами.
2 Радиологические методы получения медицинского изображения основаны на использовании электромагнитного поля (например, методы рентгеновской диагностики, компьютерной томографии, магнитно-резонансной томографии и т. д.).
3 Нерадиологическими методами получают медицинские изображения, которые отсняты видеокамерой (эндоскопия), или сфотографированные (микроскопические изображения в гистологии, патологии, дерматологические изображения и т. п.).
[ГОСТ Р 59921.7—2022, пункт 3.7]
Примечание — Настоящий стандарт рассматривает медицинское изображение как DICOM-файл, состоящий из атрибутов, которые включают атрибут с данными пикселей изображения (далее — изображение) и другие атрибуты, характеризующие пациента, метод получения изображения и т. д. в соответствии с ГОСТ Р ИСО 12052.
3.6
набор данных: Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта.
[ГОСТ Р 59921.5—2022, пункт 3.12]
Примечание — Настоящий стандарт рассматривает набор данных как совокупность медицинских изображений.
3.7 разнородные данные (в медицинских изображениях): Данные, которые могут быть поданы на вход системы искусственного интеллекта, обрабатывающей медицинские изображения, при различных сценариях применения.
Примечание — Разнородные данные медицинских изображений в формате DICOM могут удовлетворять одному из следующих критериев:
- наличие изменений изображений [например, данные о пикселях, содержащиеся в атрибуте (7FE0,0010)];
- наличие изменений других атрибутов DICOM-файла, не содержащих данные о пикселях изображения;
- наличие различных характеристик пациентов и/или особенностей выполнения исследования для получения медицинского изображения, соответствующих и не соответствующих технической документации производителя.
3.8__________________________________________________________________________________________________________
система искусственного интеллекта: Программное обеспечение, в котором используются технологические решения искусственного интеллекта.
[ГОСТ Р 59921.6—2021, пункт 3.10]
Примечание — Настоящий стандарт применим к системам искусственного интеллекта, которые в своей деятельности применяют алгоритмы анализа медицинских изображений.
2
ГОСТ Р 71738—2024
4 Сокращения
В настоящем стандарте применены следующие сокращения:
КТ — компьютерная томография;
МИ — медицинское изображение;
ММГ — маммография;
ОГК — органы грудной клетки;
СИИ — системы искусственного интеллекта;
ФПГ — флюорография;
DICOM — формат файла для создания, хранения, передачи и визуализации медицинских изображений (Digital Imaging and Communication in Medicine).
5 Методы проведения испытаний систем искусственного интеллекта на способность и устойчивость работы с разнородными данными
5.1 Общие требования к проведению испытаний СИИ, предназначенных для интерпретации МИ лучевой диагностики, на способность и устойчивость работы с разнородными данными приведены в ГОСТ Р 59921.7—2022 (раздел 11).
Общий порядок проведения испытаний представлен в приложении А.
Объем испытаний СИИ на способность и устойчивость работы с разнородными данными устанавливает производитель исходя из потребностей для корректной работы СИИ в разнообразных условиях.
В настоящем стандарте приведены следующие методы испытаний СИИ на способность и устойчивость работы с разнородными данными;
- на устойчивость к трансформациям МИ (см. раздел 6);
- генерализуемость (см. раздел 7);
- корректность выбора МИ для обработки (см. раздел 8);
- возможность обработки МИ с ошибками в атрибутах DICOM-файлов (см. раздел 9).
Для каждого из испытаний формируют набор данных в соответствии с ГОСТ Р 59921.5. Размер набора данных должен быть обоснован и определен исходя из поставленной цели конкретного испытания по ГОСТ Р 59921.5—2022 (подразделы 6.3, 6.4), приложению Б.
Этапы формирования набора данных приведены в [1], [2] и включают:
- сбор данных;
- разметку данных;
- структурирование данных;
- обезличивание данных;
- формирование файлов данных и разметки;
- создание сопроводительного текстового файла (readme-файла).
5.2 Оценку результатов испытаний на способность и устойчивость работы СИИ с разнородными данными проводят в соответствии с ГОСТ Р 59921.7—2022 (пункт 11.7) на основе анализа изменения значений метрик функциональной корректности при подаче на вход СИИ разнородного набора данных либо подгрупп разнородных данных.
Перечень основных метрик функциональной корректности и формулы расчета приведены в ГОСТ Р 59898—2021 (пункт 8.2.3).
Примечания
1 К метрикам функциональной корректности для таких задач СИИ, как классификация и обнаружение в соответствии с ГОСТ Р 59898—2021 (пункт 8.2.3) относят: долю правильных исходов, точность, чувствительность, избирательность (специфичность), F-меру, площадь под кривой ROC, площадь под кривой PRC. Метрики функциональной корректности должны быть рассчитаны с учетом доверительного интервала.
2 В качестве пороговых значений для метрик функциональной корректности предлагается использовать диапазоны по [3], [4]:
- от 0,5 до 0,7 — плохая дискриминация;
- от 0,7 до 0,8 — приемлемая дискриминация;
- от 0,8 до 0,9 — хорошая дискриминация;
- от 0,9 — отличная дискриминация.
В оценку результатов испытаний включают также показатели, вероятности безотказной работы с разнородными данными, стабильности ответа при обработке одного и того же МИ и обобщенную оценку, приведенных в таблице 1.
3
ГОСТ Р 71738—2024
Таблица 1 — Показатели оценки результатов испытания
Наименование | Формула | Диапазон значений |
Относительное изменение метрики качества | /0 = (А-В)/А, (1) где А — изначальное значение метрики; В — значение метрики при обработке разнородных данных | (__ОО’ ОО^ |
Абсолютное изменение метрики качества | VH-8I, (2) где А — изначальное значение метрики; В — значение метрики при обработке разнородных данных | >0 |
Вероятность безотказной работы с разнородными данными | Р=А/В-100 %, (3) где А — количество корректных ответов, которые могут быть как и обработанными изображениями, так и сообщениями об ошибке, если предполагалось, что входные данные не должны были быть обработаны; В — общее количество входных данных | [0; 100] |
Стабильность ответа при обработке одного и того же медицинского изображения | S = А/В, (4) где А — число ответов обработки трансформированных изображений, соответствующих ответам системы до трансформации изображения; В — число изображений, поданных на вход, определяемое как В = Л/(число исходных изображений) • Т(число трансформации) | [0;1] |
Обобщенная оценка | , (5) xh т) где mj — метрика; Vjm — весовой коэффициент (сумма v^ всех метрик =1); L1 — количество метрик, использовавшихся для оценки по ГОСТ Р 59898—2021 [раздел 7.2.2.4, формула (4)] | [0;1] |
Помимо представленных показателей оценки результатов испытаний может быть проведена оценка стабильности СИИ при работе с разнородными данными по ГОСТ Р 59898—2021 (подраздел 8.8), а также другие параметры оценки, обоснованные производителем, которые он считает целесообразными.
Когда СИИ не может обработать МИ, она должна уведомить пользователя об ошибке.
Примеры
1 «Неверное количество изображений» — полученное количество изображений отличается от ожидаемого.
2 «Ошибка модальности» — модальность в DICOM-файле не поддерживается СИИ.
3 «Ошибка изображения» — СИИ не смогла определить, что присутствует в DICOM-файле (предметы, отсутствие изображений и прочее).
4 «Другое» — другая ошибка, требующая информации от СИИ.
Примечание — Примеры уведомлений пользователя об ошибке при обработке МИ приведены в [5], [6].
Результаты испытаний СИИ на способность и устойчивость работы с разнородными данными оформляют в виде протокола с учетом ГОСТ ISO/IEC 17025—2019 (подраздел 7.8). Пример заполнения раздела «Результаты» протокола испытаний на способность и устойчивость работы с разнородными данными приведен в приложении В.
Отрицательные результаты испытаний по одному или нескольким методам испытаний настоящего стандарта требуют внесения соответствующих изменений в техническую документацию СИИ в части условий применения СИИ, потенциальных рисков отказа, которые необходимо учитывать при эксплуатации СИИ. В рамках системы менеджмента качества разработки СИИ может быть также вынесено решение о пересмотре этапа разработки СИИ.
4
ГОСТ Р 71738—2024
6 Испытание на устойчивость к трансформациям изображений
6.1 Цель
Цель испытания — оценка способности СИИ сохранять работоспособность при обработке разнородных данных, сформированных на основе МИ, соответствующих технической документации производителя (например, техническому заданию) и подвергнутых различным трансформациям.
6.2 Набор данных
Набор данных для проведения испытаний формируют на основе применения различных трансформаций изображений по отношению к набору данных, включающему МИ, соответствующие технической документации производителя (например, техническому заданию).
Примеры трансформаций изображений включают: изменение яркости, контраста, угла поворота, сдвиги, добавление шума и др. (см. [7]). Могут быть использованы как конкретные трансформации изображений, так и комбинации нескольких видов трансформаций. Трансформации изображений могут быть выбраны в соответствии с модальностью медицинского оборудования для лучевой диагностики, с изображениями которой работает СИИ, чтобы имитировать частые для нее артефакты (см. приложение Г).
Пример—Для СИИ, обрабатывающей изображения модальности ФЛ Г, возможно добавление трансформаций изображений, изменяющих их контраст и яркость, и имитирующих артефакты засвета и тени, возникающих из-за неверно выбранных параметров исследования (экспозиции).
Также в описании набора данных может быть включена информация о диагностической ценности включенных в него МИ.
Пример расчета размера набора данных для указанного метода испытаний представлен в Б.2.
6.3 Результаты испытания
Результаты испытания оценивают с использованием следующих параметров:
а) количественные показатели оценки:
1) разница метрик функциональной корректности на исходном и трансформированном наборах данных,
2) стабильность ответа СИИ при обработке одного и того же МИ до и после трансформаций, 3) вероятность безотказной работы с разнородными данными;
б) качественная оценка, которую проводят с помощью проверки наличия уведомления пользователя о том, что СИИ не может обработать МИ по следующим причинам:
1) качество МИ не удовлетворяет требованиям технической документации производителя.
Формулы расчетов показателей приведены в таблице 1.
Примеры
Оценка результатов испытания на устойчивость СИИ к трансформациям МИ
1 Назначение испытания: данное испытание проводят для оценки способности СИИ, предназначенной для анализа интерпретации ММГ-изображений, сохранять работоспособность при обработке трансформированных МИ.
2 Описание набора данных для испытания: эталонные ММГ-изображения, а также эталонные ММГ-изображения, подверженные трансформациям, включающими:
а) блок 1 — добавление шума и поворота изображений на 180 °C, при этом диагностическая ценность МИ сохраняется;
б) блок 2 — добавление шума и изменения контрастности, значительно ухудшающих диагностическую ценность МИ,
в) блок 3 — трансформации МИ, которые приводят к отсутствию диагностической ценности МИ.
3 Оценка результатов испытания:
а) для блока 1 набора данных: относительное изменение метрик функциональной корректности [см. таблицу 1, формула (1)] не превышает 0,001,
б) для блока 2 набора данных: относительное изменение метрик функциональной корректности [см. таблицу 1, формула (1)] не превышает 0,15,
в) для блока 3 набора данных: вероятность безотказной работы, например: получение уведомления пользователя о том, что СИИ не может обработать изображение [см. таблицу 1, формула (3)] не менее 90 %.
Примечание — Допустимый порог оценки результатов испытаний определяет производитель СИИ в зависимости от типа и силы трансформации МИ (аугментации), а также от зрелости модели и сложности модальности МИ для оценки врачами-рентгенологами.
5
ГОСТ Р 71738—2024
7 Испытание на генерализуемость
7.1 Цель
Цель испытания — оценка генерализуемости СИИ при работе с разнородными данными, включающими подгруппы данных (связанные с характеристиками пациентов, особенностями получения МИ, с наличием артефактов).
7.2 Набор данных
В набор данных включают подгруппы данных, формирование которых связано:
а) с характеристиками пациента;
б) особенностями получения МИ;
в) наличием артефактов.
В случае, указанном в перечислении а), набор данных должен содержать МИ, полученные путем выполнения исследований пациентов, с различными характеристиками. Выделяют следующие характеристики пациентов:
- пол;
- раса;
- возраст;
- наличие сложных для интерпретации случаев патологии, которая соответствует области назначения СИИ;
- наличие физических аномалий;
- наличие патологий, которые не соответствуют области назначения СИИ.
В случае, указанном в перечислении б), набор данных для проведения тестирования должен включать МИ из различных медицинских организаций и с разного оборудования, соответствующего модальности, с которой работает СИИ, в том числе не указанного в технической документации. Также необходимо включение МИ с различными параметрами проведения исследований и способами их реконструкции, включая не указанные в технической документации.
Примеры
1 Для СИИ, работающих с ММГ-изображениями: включение изображений с разной радиационной дозой, степенью компрессии молочной железы (см. [8]).
2 Для СИИ, работающих с КТ-изображениями: включение изображений с разными значениями напряжения, тока, толщины среза, скорости сканирования, разрешения ядра реконструкции.
В случае, указанном в перечислении в), формирование подгруппы набора данных для испытания может быть основано на наличии артефактов на МИ, вызванных следующими факторами:
- физическими процессами, обусловленными особенностями проведения исследования;
-действиями пациента и (или) присутствием инородных объектов;
- неисправностью или ошибками при работе оборудования;
- способом проведения исследования, возможными ошибками при проведении исследования.
Более подробное описание возможных артефактов приведено в приложении Г.
Также в описание набора данных может быть включена информация о диагностической ценности включенных в него МИ.
Пример расчета размера набора данных для данного метода испытаний приведен в Б.З.
7.3 Результаты испытания
Результаты испытания оценивают с использованием следующих параметров:
а) количественные показатели оценки:
1) расчет разницы метрик функциональной корректности в подгруппах данных,
2) обобщенная оценка устойчивости СИИ для нескольких подгрупп данных,
3) вероятность безотказной работы с разнородными данными;
б) качественная оценка, которую проводят с помощью оценки статистической значимости разницы метрик функциональной корректности в подгруппах данных и проверки наличия уведомления пользователя о том, что СИИ не может обработать МИ по следующим причинам:
1) параметры МИ не соответствуют параметрам, указанным в технической документации СИИ,
2) МИ содержит артефакты, снижающие его диагностическую ценность,
3) атрибуты DICOM-файла не соответствуют технической документации СИИ.
6
ГОСТ Р 71738—2024
Примечание — Метод статистической оценки значимости разницы метрик функциональной корректности для подгрупп данных определяет производитель.
Формулы расчетов показателей приведены в таблице 1.
Пример — Оценка результатов испытания на генерализуемость
Назначение испытания: данное испытание проводят для оценки устойчивости СИИ, предназначенной для анализа изображений КТ ОГК, при работе с разнородными подгруппами данных.
Описание набора данных для испытания: включает две подгруппы изображений, сформированных на основе фактора, связанного с полом пациента (мужчины и женщины).
Оценка результатов испытания: относительная разница метрик функциональной корректности [см. таблицу 1, формула (1]) между метриками, полученными для двух подгрупп данных, не превышает 0,01.
Примечание — Выбор метрики для сравнения зависит от ответа СИИ, по которому производитель принимает решение относительно стабильности ее работы. Например, если выходными данными СИИ является вероятность наличия патологических изменений, то метрика — площадь под кривой ROC; если регрессия порядкового признака, то метрика — качество или МАЕ, если бинарная оценка, то метриками являются F-мера, чувствительность, избирательность (специфичность).
8 Испытание систем искусственного интеллекта на корректность выбора медицинского изображения для обработки
8.1 Цель
Поступившие на вход СИИ МИ в формате DICOM могут содержать более одного изображения и (или) более одной серии изображений. СИИ должна обладать возможностью корректно выбирать изображения, соответствующие технической документации производителя.
Цель данного испытания СИИ — оценка корректности работы СИИ при выборе МИ, соответствующего технической документации производителя, для дальнейшей обработки МИ.
8.2 Набор данных
Для испытания используют наборы данных, содержащие следующие МИ:
- содержащие несколько серий изображений, соответствующих и не соответствующих качеству или параметрам (атрибуты DICOM) МИ, указанных в технической документации производителя;
- содержащие несколько изображений и/или серий изображений, полученных с использованием различных протоколов сканирования и параметрами реконструкции (например, фильтр реконструкции), одно из которых соответствует указанным в технической документации производителя требованиям;
- содержащие несколько изображений и (или) серий изображений с различными плоскостями сканирования (например, аксиальная, сагиттальная, корональная плоскости) и (или) областями тела, одно из которых соответствует указанными в технической документации производителя требованиям;
- не содержащие изображений для обработки СИИ, соответствующих указанными в технической документации производителя требованиям.
Пример расчета размера набора данных для данного метода испытаний приведен в Б.4.
8.3 Результаты испытания
Результаты испытания оценивают с использованием следующих показателей:
а) количественные показатели оценки:
1) вероятность безотказной работы с разнородными данными;
б) качественная оценка, которую проводят с помощью проверки наличия уведомления пользователя о том, что СИИ не может обработать изображение по следующим причинам:
1) необходимые для обработки МИ отсутствуют.
Формулы расчетов показателей приведены в таблице 1.
Пример — Оценка результатов испытания на корректность выбора медицинского изображения для обработки
Назначение испытания: данное испытание проводят для оценки способности и устойчивости СИИ, предназначенной для интерпретации ФЛГ-изображений, при работе с разнородными данными, состоящими из нескольких изображений. При этом для корректной работы СИИ должна быть выбрана, например, прямая проекция ФЛГ-изображения.
7
ГОСТ Р 71738—2024
Описание набора данных для испытания: ФЛГ-изображения, содержащие две проекции (прямая и боковая).
Оценка результатов испытания: вероятность безотказной работы с разнородными данными, а именно: процент обработанных изображений с выбором прямой проекции ФЛГ-изображения [см. таблицу 1, формула (3)] не менее 99 %.
9 Испытание на возможность обработки медицинских изображений с ошибками в атрибутах DICOM-файлов
9.1 Цель
Медицинское изображение в формате DICOM содержит совокупность атрибутов, которые описывают в том числе метод выполнения исследования, характеристики пациентов, в соответствии с ГОСТ Р ИСО 12052.
Цель данного испытания — оценка стабильности СИИ при работе с МИ формата DICOM, содержащими ошибки, пропуски, изменения или добавления в атрибутах DICOM-файлов, не хранящих данные пикселей изображения.
9.2 Набор данных
Для испытания может быть использован набор данных с измененными, добавленными или удаленными атрибутами DICOM-файлов.
Производитель определяет список атрибутов DICOM-файлов для выполнения данного испытания на основании технической документации.
Пример — Перечень атрибутов DICOM-файлов, которые учитывают при проведении данного испытания, включает:
а) модальность проведения исследования;
б) параметры проведения исследования;
в) область проведения исследования;
г) дату и время проведения исследования;
д) персональные данные после обезличивания.
Пример расчета размера набора данных для данного метода испытаний приведен в Б.5.
9.3 Результаты испытания
Результаты испытания оценивают с использованием следующих параметров:
а) количественные показатели оценки:
1) вероятность безотказной работы с разнородными данными;
б) качественная оценка, которую проводят с помощью проверки наличия уведомления пользователя о том, что СИИ не может обработать изображение по следующим причинам:
1) отсутствие необходимых атрибутов в DICOM-файле МИ,
2) атрибуты DICOM-файла не соответствуют технической документации СИИ.
Формулы расчетов показателей приведены в таблице 1.
Пример — Оценка результатов испытания на возможность СИИ обработки МИ с ошибками в атрибутах DICOM-файлов
Назначение испытания: данное испытание проводят для оценки способности и устойчивости СИИ, предназначенной для анализа ФЛГ-изображений, при работе с разнородными данными, содержащими ошибки в атрибутах DICOM-файлов [часть тела проведения исследования, атрибут DICOM (0018, 0015)].
Описание набора данных для испытания:
1) блок 1 — ФЛГ-изображения, с достоверно заполненным атрибутом части тела проведения исследования DICOM-файла;
2) блок 2 — ФЛГ-изображения, с недостоверно заполненным атрибутом части тела проведения исследования DICOM-файла.
Оценка результатов испытания: вероятность безотказной работы с блоком 1 набора данных [см. таблицу 1, формула (3)] не менее 99 %; вероятность безотказной работы с блоком 2 [см. таблицу 1, формула (3)] не менее 80 %.
8
ГОСТ Р 71738—2024
Приложение А (обязательное)
Общий порядок проведения испытаний систем искусственного интеллекта на способность и устойчивость работы с разнородными данными
Таблица А.1
Наименование | Ссылка |
1 Назначение | По ГОСТ Р 59921.7—2022 (11.1), а также 6.1,7.1, 8.1, 9.1 в зависимости от вида испытаний |
2 Требования к квалификации персонала | По ГОСТ Р 59921.7—2022 (11.2) |
3 Описание метода тестирования | По ГОСТ Р 59921.7—2022 (11.3) |
4 Требования к наборам данных | По ГОСТ Р 59921.5 (6.3, 6.4), а также 6.2, 7.2, 8.2, 9.2 в зависимости от вида испытаний |
5 Требования к оборудованию | По ГОСТ Р 59921.7—2022 (11.5) |
6 Порядок выполнения тестирования | По ГОСТ Р 59921.7—2022 (11.6) |
7 Анализ и оценка результатов тестирования | По ГОСТ Р 59921.7—2022 (11.7), а также 6.3, 7.3, 8.3, 9.3 в зависимости от вида испытаний |
8 Критерии оценки (метрики) | По ГОСТ Р 59921.7—2022 (11.8), а также 6.3, 7.3, 8.3, 9.3 в зависимости от вида испытаний (приведены примеры определения допустимого порога) |
9
ГОСТ Р 71738—2024
Приложение Б (справочное)
Расчет размера набора данных
Б.1 Необходимый размер выборки п рассчитывают по следующей формуле:
п = П
(S-H2
где Za — значение нормированной случайной величины, соответствующее уровню значимости а;
Zp/2 — значение нормированной случайной величины, соответствующее уровню ошибки II рода;
р — вероятность события, которое необходимо оценить;
5 — прогнозируемая погрешность (точность) оценивания;
|е| — абсолютная величина систематической ошибки.
Б.2 Расчет размера набора данных для проведения испытаний на устойчивость к трансформациям
Гипотеза: относительное изменение метрики функциональной корректности [см. таблицу 1, формула (1)] СИИ при обработке разнородных данных в испытаниях на устойчивость к трансформациям изображений В от изначального значения метрики А = 0,80е превышает значения 0,1 (10 %).
Размер выборки рассчитывают нижеприведенным образом.
Нулевая статистическая гипотеза может быть сформулирована как:
/-/0: (0,80-В)/0,80 > |0,10| или после проведения преобразования:
HQ: В < 0,72 или В > 0,88.
Альтернативная статистическая гипотеза:
На: 0,72 <В< 0,88.
Для отклонения нулевой статистической гипотезы на уровне значимости 0,05 необходимо показать, что 95 %-ный доверительный интервал для В полностью находится в диапазоне [0,72; 0,88], 8 = 0,08. При прогнозируемом значении В = 0,80 (т. е. отсутствие изменений после трансформации, е = 0) для достижения статистической мощности исследования 80 % необходимо включить:
_ ^g+^fpQ-P) _ (1,64 + 1,28)2 0,80(1-0,80) (8-|е|)2 (0,08-О)2
С учетом запаса 10 % на наличие брака или невалидные данные в расчет необходимо включить 235 субъектов.
Б.З Расчет размера набора данных для проведения испытания на генерализуемость для каждой подгруппы данных, пригодных для обработки СИИ
Гипотеза: относительное изменение [см. таблицу 1 формула (2)] метрики функциональной корректности в разных подгруппах данных при обработке СИИ разнородных данных в испытаниях на генерализуемость не превышает 0,2. Изначальное значение метрики А = 0,80.
Размер выборки рассчитывают нижеприведенным образом.
Нулевая статистическая гипотеза может быть сформулирована как:
HQ: (0,80-В) / 0,80 > |0,20| или после проведения преобразования:
HQ: В < 0,64 или В > 0,96.
Альтернативная статистическая гипотеза:
На: 0,64 <8< 0,96.
Для отклонения нулевой статистической гипотезы на уровне значимости 0,05 необходимо показать, что 95 %-ный доверительный интервал для В полностью находится в диапазоне [0,64; 0,96], 8 = 0,16. При прогнозируемом значении В = 0,80 (т. е. отсутствие изменения после трансформации, е = 0) для достижения статистической мощности исследования 80 % необходимо включить:
_ (z„ + Zp/2) р(1 - р) _ (1,64 +1,28)2 • 0,80(1 - 0,80) _
(8-И)2 (0,16-О)2
С учетом запаса 10 % на наличие брака или невалидные данные в расчет необходимо включить 47 субъектов.
Б.4 Расчет размера набора данных для проведения испытания на корректность выбора медицинского изображения
Гипотеза: в испытаниях на корректность выбора МИ для обработки СИИ вероятность безотказной работы с разнородными данными [см. таблицу 1, формула (3)] составляет не менее 80 %.
10
ГОСТ Р 71738—2024
Размер выборки рассчитывают нижеприведенным образом. Нулевая и альтернативная статистические гипотезы могут быть сформулированы как:
Но: Рк < 0,80;
На: Рк> 0,80.
Для отклонения нулевой статистической гипотезы на уровне значимости 0,05 необходимо показать, что нижняя граница 95 %-ного доверительного интервала для Рк не пересекает значение 0,80. При прогнозируемом значении Рк - 0,85 (5 = 0,05) для достижения статистической мощности исследования 80 % необходимо включить:
_ (z„ +Zp)2p(1-p) _ (1,64 + 0,84)2-0,85(1-0,85) _3i4
” 52 ” 0,052
С учетом запаса 10 % на наличие брака или невалидные данные в расчет необходимо включить 345 субъектов.
Б.5 Расчет размера набора данных для проведения испытания на возможность обработки медицинских изображений с ошибками в атрибутах DICOM-файлов
Гипотеза: в испытаниях на возможность обработки СИИ МИ с ошибками в атрибутах DICOM-файлов вероятность безотказной работы с разнородными данными [см. таблицу 1, формула (3)] составляет не менее 80 %.
Размер выборки рассчитывают нижеприведенным образом. Нулевая и альтернативная статистические гипотезы могут быть сформулированы как:
Но: Рк < 0,80;
На: Рк> 0,80.
Для отклонения нулевой статистической гипотезы на уровне значимости 0,05 необходимо показать, что нижняя граница 95 %-ного доверительного интервала для Рк не пересекает значение 0,80. При прогнозируемом значении Рк = 0,85 (5 = 0,05) для достижения статистической мощности исследования 80 % необходимо включить:
_ (Zu+Zp)2p(1-p) _ (1,64 + 0,84)2-0,85(1-0,85) _314
б2 0,052
С учетом запаса 10 % на наличие брака или невалидные данные в расчет необходимо включить 345 субъектов.
11
ГОСТ Р 71738—2024
Приложение В (рекомендуемое)
Пример заполнения раздела «Результаты» протокола испытаний на способность и устойчивость работы с разнородными данными
В.1 В таблицах В.1, В.2 приведены примеры заполнения раздела «Результаты» протокола испытаний.
Таблица В.1 —Анализ и оценка результатов испытания на способность и устойчивость работы с разнородными входными данными с оценочными результатами
Качественная оценка | ||
Наименование параметра | Результаты испытаний | Соответствие требованиям |
Визуальная оценка выходных данных СИИ | Соответствие заявленным в технической документации | Соответствует |
Испытание на устойчивость к трансформациям изображений | ||
Уведомление пользователя о том, что СИИ не может обработать изображение по причине несоответствия его качества технической документации СИИ | Имеется | Соответствует |
Испытание на генерализуемость | ||
Статистическая значимость различий метрик в подгруппах данных | Соответствие результатов статистических тестов, заявленных в технической документации | Соответствует |
Уведомление пользователя о том, что СИИ не может обработать изображение по причине несоответствия параметров, указанных в технической документации СИИ | Имеется | |
Уведомление пользователя о том, что СИИ не может обработать изображение по причине наличия артефактов | ||
Уведомление пользователя о том, что СИИ не может обработать изображение по причине несоответствия атрибутов DICOM-файла технической документации СИИ | ||
Испытание СИИ на корректность выбора изображения для обработки | ||
Уведомление пользователя о том, что СИИ не может обработать изображение по причине отсутствия необходимых для обработки данных | Имеется | Соответствует |
Испытание на возможность обработки МИ с ошибками в атрибутах DICOM-файлов | ||
Уведомление пользователя о том, что СИИ не может обработать изображение по причине отсутствия необходимых метаданных в файле | Имеется | Соответствует |
Уведомление пользователя о том, что СИИ не может обработать изображение по причине несоответствия параметров исследования технической документации СИИ | ||
12
В.2 Количественная оценка
ГОСТ Р 71738—2024
Таблица В.2 — Анализ и оценка результатов испытания на способность и устойчивость работы с разнородными входными данными с количественными результатами
Количественная оценка | ||||
Наименование параметра | Нормативное значение* | Результаты испытаний | Соответствие требованиям | |
Заявленные значения метрик функцио-нальной корректности | Показатель 1 | А | =А | Соответствует |
Показатель /V | S | =S | Соответствует | |
Испытание на устойчивость к трансформациям изображений | ||||
Значения метрик функциональной кор-ректности | Показатель 1 | От Ат до 1 | Соответствует | |
Показатель /V | От Sm до 1 | е [Sm; 1] | Соответствует | |
Относительное изменение метрик каче-ства | Показатель 1 | От Ао до А, | € Ио; А,] | |
Показатель /V | От So до Si | е [So; ^] | Соответствует | |
Стабильность ответа СИИ при обработке одного и того же МИ до и после трансформаций | От Р до 1 | е [Р; 1] | ||
Вероятность безотказной работы с разнородными данными | От Р до 100 | е [Р; 100] | ||
Испытание на генерализуемость | ||||
Значения метрик функциональной кор-ректности для подвыборки 1 | Показатель 1 | От Ат до 1 | £ Ит; и | Соответствует |
Показатель Л/ | От Sm до 1 | е [Sm; 1] | Соответствует | |
Значения метрик функциональной кор-ректности для подвыборки 2 | Показатель 1 | От Ат до 1 | е Ит; 1] | |
Показатель Л/ | От Sm до 1 | е [Sm; 1] | Соответствует | |
Относительное изменение метрик функци-ональной корректности между выборками 1 и 2 | Показатель 1 | От Ао до Aj | в Ио; А] | |
Показатель N | От So до S, | iso; s,] | Соответствует | |
Относительное изменение метрик функци-ональной корректности выборки 1 и заявленных | Показатель 1 | От Ао до А,- | е Ио: А] | Соответствует |
Показатель N | От So до S, | е [So; S,] | Соответствует | |
Относительное изменение метрик функци-ональной корректности выборки 2 и заявленных | Показатель 1 | От Ао до Af- | е ио: А1 | |
Показатель N | От So до Sj | е [So; Si\ | Соответствует | |
Обобщенная оценка устойчивости СИИ для нескольких подгрупп данных | От Мт до 1 | е [Мт; 1] | ||
Вероятность безотказной работы с разнородными данными | От Р до 100 | е [Р; 100] | ||
13
ГОСТ Р 71738—2024
Окончание таблицы В. 2
Количественная оценка | |||
Наименование параметра | Нормативное значение* | Результаты испытаний | Соответствие требованиям |
Испытание СИИ на корректность выбора изображения для обработки | |||
Вероятность безотказной работы с разнородными данными | От Р до 100 | е [Р; 100] | Соответствует |
Испытание на возможность обработки МИ с ошибками в атрибутах DICOM-файлов | |||
Вероятность безотказной работы с разнородными данными | От Р до 100 | е [Р; 100] | Соответствует |
* Диапазон допустимых значений параметров для соответствия определяет производитель. | |||
14
ГОСТ Р 71738—2024
Приложение Г (рекомендуемое)
Описание набора данных, содержащего артефакты для разных модальностей
Г.1 В зависимости от модальности медицинского оборудования для лучевой диагностики в набор данных, содержащих артефакты, в рамках испытания на генерализуемость (см. 7.2) включают МИ, содержащие нижеприведенные артефакты.
Г.1.1 Рентгеновский аппарат/флюорограф
Для проведения испытаний СИИ, предназначенных для обработки МИ, полученных с использованием рентгеновских аппаратов или флюорографов, включают МИ, содержащие артефакты [9], указанные в таблице Г.1.
В таблице Г.1 приведена рекомендованная доля указанных артефактов, а также критерий их включения в набор данных для испытаний СИИ на способность и устойчивость работы с разнородными данными.
Таблица Г.1 — Содержание набора данных с артефактами для СИИ, предназначенных для обработки МИ, полученных с использованием рентгеновских аппаратов или флюорографов
Данные | Описание данных | Доля, % | Критерий включения |
Артефакты, связанные с физическими явлениями | Артефакты, связанные с эффектом рассеяния, вызывающие снижение контрастности изображения и др. | 10—20 | Артефакты, связанные с физическими явлениями |
Артефакты, связанные с пациентом | Артефакты движения, артефакты от металла и предметов, заслоняющих область изучения и др. | 10—20 | Артефакты, связанные с пациентом |
Артефакты, связанные с оборудованием | Артефакты битых пикселей на детекторе, наличие линий противорассеивающей решетки, геометрические искажения (из-за неправильного положения источника, пациента), артефакты реконструкции и др. | 30—40 | Артефакты, связанные с оборудованием |
Артефакты, связанные со способом проведения исследования | Ошибки укладки пациента, перекрытие области изучения другими частями тела, артефакты засвета или тени, возникающие из-за неверно выбранных параметров исследования (экспозиции) и др. | 40—60 | Артефакты, связанные со способом проведения исследования |
Примечание — Доля включения МИ с определенной группой артефактов носит рекомендательный характер и определяется изготовителем СИИ. Выбор доли должен быть обоснован в технической и эксплуатационной документации производителя с учетом назначения СИИ. | |||
Г.1.2 Маммограф
Для проведения испытаний СИИ, предназначенных для обработки МИ, полученных с использованием маммографов, необходимо включить МИ, содержащие артефакты [10], указанные в таблице Г.2.
Таблица Г.2 — Содержание набора данных с артефактами для СИИ, предназначенных для обработки МИ, полученных с использованием маммографа
Данные | Описание данных | Доля, % | Критерий включения |
Артефакты, связанные с физическими явлениями | Артефакты, связанные с эффектом рассеяния, вызывающие снижение контрастности изображения и др. | 10—20 | Рекомендательный |
Артефакты, связанные с пациентом | Двигательные артефакты, посторонние предметы (рентгенозащитный воротник, дезодорант), кожные складки, грудные импланты и др. | 20—30 | Обязательный |
Артефакты, связанные с оборудованием | Артефакты битых пикселей на детекторе, артефакты реконструкции и др. | 10—20 |
15
ГОСТ Р 71738—2024
Окончание таблицы Г. 2
Данные | Описание данных | Доля, % | Критерий включения |
Артефакты, связанные со способом проведения исследования | Нарушение укладки, артефакты засвета или тени возникающие из-за неверно выбранных параметров исследования (экспозиции), отсутствие маркировки исследования и др. | 50—70 | Обязательный |
Примечания 1 Данные представлены для маммографов полного поля. 2 Доля включения МИ с определенной группой артефактов носит рекомендательный характер и определяется изготовителем СИИ. Выбор доли должен быть обоснован в технической и эксплуатационной документации производителя с учетом назначения СИИ. | |||
Г.1.3 Компьютерная томография
Для проведения испытаний СИИ, предназначенных для обработки МИ, полученных с использованием компьютерного томографа, необходимо включить МИ, содержащие артефакты [11], [12], [13], указанные в таблице Г.З.
Таблица Г.З — Содержание набора данных с артефактами для СИИ, предназначенных для обработки МИ, полученных с использованием компьютерного томографа
Данные | Описание данных | Доля, % | Критерий включения |
Артефакты, связанные с физическими явлениями | Увеличение жесткости излучения, артефакт частичного объема (краевой эффект), артефакт затухания фотона и др. | 10—20 | Обязательный |
Артефакты, связанные с пациентом | Металлические артефакты, артефакты движения, артефакты от одежды и других предметов и др. | 50—70 | |
Артефакты, связанные с оборудованием | Кольцевые артефакты, вихревые артефакты, сломанный градиент, артефакты реконструкции и др. | 20—30 | Обязательный |
Артефакты, связанные со способом проведения исследования | Артефакт вне поля зрения, ошибки в настройках протокола сканирования и др. | 10—20 |
Примечание — Доля включения МИ с определенной группой артефактов носит рекомендательный характер и определяется изготовителем СИИ. Выбор доли должен быть обоснован в технической и эксплуатационной документации производителя с учетом назначения СИИ.
Г.1.4 Магнитно-резонансная томография
Для проведения испытаний СИИ, предназначенных для обработки МИ, полученных с использованием магнитно-резонансного томографа, необходимо включить МИ, содержащие артефакты [14], указанные в таблице Г.4.
Таблица Г.4 — Содержание набора данных с артефактами для СИИ, предназначенных для обработки МИ, полученных с использованием магнитно-резонансного томографа
Данные | Описание данных | Доля, % | Критерий включения |
Артефакты, связанные с физическими явлениями | Артефакт химического сдвига, артефакты усечения сигнала и др. | 10—20 | Рекомендательный |
Артефакты, связанные с пациентом | Артефакты движения, артефакты от металла (имплантов) и др. | 50—70 | Обязательный |
Артефакты, связанные с оборудованием | Артефакты неисправности катушки МРТ, артефакты неоднородности магнитного поля, артефакт фазового кодирования и др. | 20—30 | |
Артефакты, связанные со способом проведения исследования | Артефакт вне поля зрения и др. | 10—20 | Обязательный |
Примечание — Доля включения МИ с определенной группой артефактов носит рекомендательный характер и определяется изготовителем СИИ. Выбор доли должен быть обоснован в технической и эксплуатационной документации производителя с учетом назначения СИИ.
16
ГОСТ Р 71738—2024
Библиография
[1] Подготовка набора данных для обучения и тестирования программного обеспечения на основе технологии искусственного интеллекта: учебно-методическое пособие/Ю.А. Васильев, К.М. Арзамасов, А.В. Владзимирский и др.// ООО «Издательские решения». Москва, 2023 — 131 с.
[2] Бобровская Т.М., Васильев Ю.А., Никитин Н.Ю., Арзамасов К.М. Подходы к формированию наборов данных в лучевой диагностике. Врач и информационные технологии. 2023; 4: 14-23. doi: 10.25881/18110193_2023_4_14
[3] Assessing the Fitofthe Model. (2013). Wiley Series in Probabilityand Statistics, 153—225. doi:10.1002/9781118548387. ch5 (https://doi.Org/10.1002/9781118548387.ch5)
[4] Морозов С.П., Владзимирский A.B., Кляшторный В.Г. и др. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика)/Серия «Лучшие практики лучевой и инструментальной диагностики». — Выл. 57 — М., 2019. — 51 с.
[5] Базовые рекомендации к работе сервисов искусственного интеллекта для лучевой диагностики: методические рекомендации / сост. С.П. Морозов, Л.Р. Абуладзе, А.Е. Андрейченко и др.// Серия «Лучшие практики лучевой и инструментальной диагностики». — Вып. 119. — М.: ГБУЗ «НПКЦДиТ ДЗМ», 2022. — 68 с.
[6] Компьютерное зрение в лучевой диагностике: первый этап московского эксперимента. Владзимирский А.В., Васильев Ю.А., Арзамасов К.М. и др. // ООО «Издательские решения». Москва, 2022 — 388 с.
[7] Cossio М. Augmenting Medical Imaging.AComprehensive Catalogue of65 Techniques for Enhanced DataAnalysis/M. Cossio//arXiv preprint arXiv:2303.01178. — 2023
[8] Multi-vendor robustness analysis of a commercial artificial intelligence system for breast cancer detection/M. Riveira-Martin et al. // Journal of Medical Imaging. — 2023. — Vol. 10. — № 5. — p. 051807-1—051807-14
[9] Pictorial review of digital radiography artifacts / A.I. Walz-Flannigan et al. // Radiographics. — 2018. — Vol. 38. — № 3. — p. 833—846
[10] Digital mammographic artifacts on full-field systems: what are they and how do I fix them? / R.S. Ayyala et al.// Radiographics. — 2008. — Vol. 28. — № 7. — p. 1999—2008
[11] Barrett J.F. Artifacts in CT: recognition and avoidance / J.F. Barrett, N. Keat // Radiographics. — 2004. — Vol. 24. — № 6. — p. 1679—1691
[12] Казначеева A.O. Современные виды томографии. Учебное пособие / А.О. Казначеева // СПб: СПбГУ ИТМО. — 2006
[13] Морозов С.П. Оценка качества рентгенорадиологических исследований / С.П. Морозов, Н.Н. Ветшева, Н.В. Ледихова. — 2019
[14] An image-based approach to understanding the physics of MR artifacts / J.N. Morelli et al. //Radiographics. — 2011, — Vol. 31. — № 3. — p. 849—866
17
ГОСТ Р 71738—2024
УДК 615.841:006.354
ОКС 11.040.01
Ключевые слова: искусственный интеллект, системы искусственного интеллекта, лучевая диагностика, медицинское изображение, устойчивость, артефакты, разнородные данные, испытания
18
Редактор fl.С. Зимилова
Технический редактор В.Н. Прусакова
Корректор И.А. Королева
Компьютерная верстка Е.О. Асташина
Сдано в набор 29.10.2024. Подписано в печать 05.11.2024. Формат 60x847s. Гарнитура Ариал.
Усл. печ. л. 2,79. Уч.-изд. л. 2,00.
Подготовлено на основе электронной версии, предоставленной разработчиком стандарта
Создано в единичном исполнении в ФГБУ «Институт стандартизации» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.
