ПНСТ 887-2023 Компьютерные модели изделий судостроения. Валидация

        ПНСТ 887-2023

ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

КОМПЬЮТЕРНЫЕ МОДЕЛИ ИЗДЕЛИЙ СУДОСТРОЕНИЯ

Валидация

Computer models of shipbuilding products. Validation

ОКС 47.020

Срок действия с 2024-07-01

до 2026-07-01

Предисловие

1 РАЗРАБОТАН Научно-исследовательским институтом стандартизации и сертификации "Лот" Федерального государственного унитарного предприятия "Крыловский государственный научный центр" (НИИ "Лот" ФГУП "Крыловский государственный научный центр")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 005 "Судостроение"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 12 декабря 2023 г. N 89-пнст

Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).

Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: 199178, Санкт-Петербург, 19 линия, д.24, а/я 260, e-mail: [email protected] и/или в Федеральное агентство по техническому регулированию и метрологии: 123112 Москва, Пресненская набережная, д.10, стр.2.

В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе "Национальные стандарты" и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

1 Область применения

Настоящий стандарт устанавливает общие требования к валидации компьютерных моделей изделий судостроения и их составных частей, к порядку проведения работ и составу разрабатываемых документов, а также описывает состав участников в процедурах валидации компьютерных моделей изделий судостроения.

Требования к валидации компьютерных моделей, установленные в настоящем стандарте, могут полностью или частично применяться к компьютерным моделям в других отраслях промышленности.

На основе настоящего стандарта допускается разрабатывать стандарты организаций, учитывающие особенности применения компьютерных моделей изделий судостроения в зависимости от специфики выполняемых организациями работ.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 8.417 Государственная система обеспечения единства измерений. Единицы величин

ГОСТ Р 57700.24 Компьютерные модели и моделирование. Валидационный базис

ГОСТ Р 57700.25 Компьютерные модели и моделирование. Процедуры валидации

ПНСТ 888-2023 Компьютерные модели изделий судостроения. Термины и определения

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины, определения и сокращения

3.1 В настоящем стандарте применены термины по ПНСТ 888-2023, а также следующие термины с соответствующими определениями:

3.1.1 валидационное сравнение: Этап процедуры валидации по установлению сходства или различия данных, полученных с использованием компьютерной модели, с данными валидационного базиса.

3.1.2 натурный эксперимент: Научно поставленный опыт над изделием судостроения, проводимый на реальных объектах и в условиях, соответствующих условиям его эксплуатации по прямому назначению с непосредственным оцениванием или контролем определяемых характеристик свойств объекта.

3.1.3

3.1.4 заказчик: Предприятие (организация, объединение или другой субъект хозяйственной деятельности), по заявке или договору с которым(ой) проводят разработку (модернизацию), производство и (или) поставку изделия судостроения, а также научно-технической продукции.

3.1.5 головной исполнитель: Предприятие (организация, объединение или другой субъект хозяйственной деятельности), выполняющее(ая, ий) работу в соответствии с заключенным с заказчиком договором, координирующее(ая, ий) работу соисполнителей и отвечающее(ая, ий) за выполнение работ в целом.

3.1.6 соисполнитель: Предприятие (организация, объединение или другой субъект хозяйственной деятельности), выполняющее(ая, ий) работу в соответствии с заключенным с головным исполнителем договором и отвечающее ее(ая, ий) за выполнение конкретной части работ.

3.1.7 точность: Степень совпадения между результатом измерения (испытания) и принятым опорным значением.

3.2 В настоящем стандарте приняты следующие сокращения:

ВБ - валидационный базис;

ИС - изделие судостроения;

КМ - компьютерная модель;

НИ - натурные испытания;

ОМ - объект моделирования;

ПО - программное обеспечение;

ПО КМ - программное обеспечение компьютерного моделирования;

ТЗ - техническое задание.

4 Общие положения

4.1 При проведении процедуры валидации определяется корректность данных, полученных с использованием КМ ИС, и возможность их применения для ИС.

4.2 Перед началом процесса валидации выполняется верификация КМ ИС, в которой рассматривают вопросы, связанные с численным анализом, качеством ПО, ошибками программирования в компьютерном коде и с оценкой численных ошибок.

4.3 Верификация КМ ИС осуществляется путем проверки КМ и программных кодов, в которой она разработана, на предмет наличия ошибок и логических несоответствий.

4.4 При проведении процедуры валидации КМ ИС осуществляют сравнение данных ВБ, и/или НИ, или полученных с использованием схожих КМ (прототипов), прошедших процедуру валидации.

Примечание - Точность определяют как степень совпадения значений, рассчитанных в процессе моделирования характеристик и свойств КМ ИС и соответствующих характеристик и свойств ОМ, полученных при проведении НИ или по результатам их сравнения сданными ВБ.

4.5 Процедуру валидации КМ ИС выполняют по согласованному с заказчиком и всеми участниками работ плану.

4.6 В план процедуры валидации КМ ИС включают: постановку задачи, перечень входных данных, описание области ее использования, состав сравниваемых характеристик и свойств, допустимую степень расхождения результатов (отклонения), полученных на ее основе в сравнении с ВБ и/или НИ, ВБ и/или данные НИ, перечень ПО КМ, используемого для проведения процедуры валидации, список соисполнителей (при их наличии) с указанием выполняемых ими работ, программу и методику, описание этапов и сроков выполнения работ, требования к выдаче результатов.

4.7 Валидацию сложных КМ ИС следует осуществлять в соответствии с их иерархической структурой снизу-вверх: от отдельных деталей к их узлам и самой КМ.

4.8 Для оптимизации процесса валидации необходимо идентифицировать, описывать физические явления на каждом уровне иерархии КМ ИС и разрабатывать для каждого из них свои математические модели и методики их валидации.

4.9 Перед проведением процедуры валидации сложных КМ ИС должен быть обоснованно задан и задокументирован тот базовый (нижний) элемент в иерархической структуре, который будет являться начальным при проведении процедуры валидации.

4.10 Над каждым иерархическим уровнем сложных КМ ИС перед началом проведения процедуры валидации должны быть выполнены следующие работы: виртуальный эксперимент, виртуальные испытания, сопоставление и предварительная оценка адекватности полученных данных в сравнении с ВБ и/или НИ.

4.11 В процедуре валидации КМ ИС или ее составных частей может быть использовано несколько типов ПО.

4.12 При использовании нескольких типов ПО в процедуре валидации следует применять одинаковые входные данные.

4.13 При использовании нескольких типов ПО в процедурах валидации составных частей КМ ИС с целью оценки адекватности процесса должна быть установлена корреляционная зависимость между данными программами.

4.14 К процессу проведения процедуры валидации КМ ИС следует привлекать соответствующих квалифицированных специалистов.

4.15 Валидация КМ ИС может носить итерационный характер.

4.16 Процедуры валидации КМ ИС могут быть выполнены на всех этапах жизненного цикла ИС.

4.17 Валидация КМ ИС включает следующие основные этапы:

- формирование валидационного базиса;

- проведение валидационного сравнения;

- анализ и оценка результатов валидации;

- принятие решения о прохождении или непрохождении процедуры валидации.

4.18 Результаты процедуры валидации КМ ИС включают:

- описание целей и задач проведения процедуры валидации;

- подтверждение соответствия заданных характеристик и свойств КМ ИС с ОМ;

- подтверждение соответствия заданных в КМ ИС функций фактическим функциям ОМ;

- обоснование выбранных физических процессов, включенных разработчиком в расчетную модель;

- результаты статистического анализа сопоставления расчетных и экспериментальных зависимостей;

- количественную оценку расхождения экспериментальных и расчетных данных;

- погрешность расчетных параметров в заявленной области режимов и/или состоянии ОМ;

- обоснование полноты и достаточности проведенных сопоставлений;

- отчет о сравнении результатов расчетов, выполненных с использованием КМ ИС и данных ВБ и/или НИ.

Примечание - Отчет должен содержать обоснование и оценку достоверности сопоставления с указанием, в каких областях не получено удовлетворительного совпадения результатов, если такие места выявлены.

4.19 В случае внесения изменений в исходную КМ ИС процедура валидации должна быть выполнена повторно.

4.20 Допускается повторно не проводить процедуру валидации КМ ИС, если внесенные в нее изменения не приведут к выходу результирующих данных за пределы установленных граничных условий. Решение о необходимости повторного проведения процедуры валидации принимает заказчик по обоснованному запросу головного исполнителя.

4.21 КМ ИС считают прошедшей процедуру валидации, если результаты сравнения, выполненные с заданной точностью, не выходят за обозначенные границы сравниваемых характеристик.

4.22 Результаты процедуры валидации подлежат отдельному рассмотрению. В процессе рассмотрения результатов процедуры валидации анализируют и оценивают полноту, достоверность и объективность результатов, полученных при проведении процедуры валидации КМ ИС.

4.23 При оценке правильности результатов, полученных при проведении процедуры валидации КМ ИС, должны быть проанализированы характеристики и свойства ИС, полученные в ходе виртуального эксперимента и виртуальных испытаний на соответствие характеристикам, свойствам и диапазонам физических величин ВБ и/или на соответствие результатам НИ. При этом необходимо оценивать все возможные виды неопределенностей и погрешностей, которые могут возникнуть в ходе испытаний, и учитывать их в процессе выбора допустимой степени отклонения результатов моделирования от данных эксперимента.

5 Участники работ в процедурах валидации компьютерных моделей изделий судостроения

5.1 Участниками работ при выполнении процедуры валидации КМ ИС являются:

- заказчик и/или его представитель;

- головной исполнитель;

- соисполнители;

- контрольные (надзорные) органы.

5.2 Заказчик осуществляет следующие функции:

- предоставляет ТЗ на выполнение работ по валидации КМ ИС;

- утверждает план проведения процедуры валидации КМ ИС;

- согласовывает вид ПО, используемого для проведения процедуры валидации;

- утверждает итоговые документы процедуры валидации КМ ИС;

- устанавливает необходимость формирования комиссии для оценки правильности результатов, полученных при проведении процедуры валидации;

- определяет и утверждает шаблоны отчетов предоставления результатов валидации;

- определяет состав комиссии для оценки результатов процедуры валидации;

- утверждает решение о проведении дополнительных виртуальных экспериментов и виртуальных испытаний.

5.3 Головной исполнитель осуществляет следующие функции:

- организовывает работы по валидации КМ ИС;

- разрабатывает и согласовывает (утверждает) план проведения процедуры валидации КМ ИС;

- определяет и согласовывает (утверждает) критерии проведения процедуры валидации КМ ИС;

- определяет и согласовывает (утверждает) наиболее оптимальное для проведения процедуры валидации ПО;

- выполняет процедуру валидации КМ ИС;

- при необходимости, привлекает к выполнению работ соисполнителей;

- разрабатывает, согласовывает (утверждает) документы процедуры валидации КМ ИС;

- определяет и согласовывает (утверждает) формы отчетной документации процедуры валидации КМ ИС;

- участвует в работе по анализу и оценке результатов процедуры валидации и по приемке КМ ИС.

5.4 Соисполнители осуществляют следующие функции:

- участвуют в валидации КМ ИС в роли, определенной головным исполнителем на основе обязательств по договору с ним;

- проводят экспертизу документации, полученной в результате проведения виртуальных экспериментов и виртуальных испытаний;

- предоставляют заказчику и головному исполнителю отчет о проведенной экспертизе.

Примечание - Решение о проведении соисполнителем экспертизы принимает заказчик. Соответствующие требования указывают в ТЗ или в договоре на выполнение работ.

5.5 Контрольные (надзорные) органы осуществляют проверку и одобрение документации, полученной в результате проведения виртуальных экспериментов и виртуальных испытаний на соответствие нормам и правилам по своему заведованию.

6 Порядок проведения процедуры валидации компьютерной модели изделия судостроения

6.1 Основные этапы проведения процедуры валидации КМ ИС включают:

- составление плана работ;

- формирование ВБ;

- проведение валидационного сравнения;

- обработку и предоставление результатов валидации, их анализ и оценку.

6.2 План проведения процедуры валидации КМ ИС разрабатывается головным исполнителем и согласовывается с заказчиком.

6.3 Для сложных КМ ИС, на этапе написания плана валидации, для каждой ее составной части должен быть сформирован перечень валидационных экспериментов и описаны задачи валидации.

6.4 Основные требования к ВБ - в соответствии с ГОСТ Р 57700.24.

6.5 Процесс проведения валидационного сравнения КМ ИС выполняется головным исполнителем с привлечением, при необходимости, соисполнителей в соответствии с утвержденным планом и с учетом разработанного ВБ.

6.6 При проведении процедуры валидации используется специализированное ПО, заранее согласованное с заказчиком.

6.7 Валидация простых КМ ИС может выполняться без использования ПО. Такие случаи определяются головным исполнителем и согласовываются с заказчиком.

6.8 В процессе проведения валидационного сравнения осуществляются проверка и анализ результатов виртуального эксперимента и виртуальных испытаний на соответствие требованиям ВБ и/или результатам НИ.

6.9 В ходе выполнения валидации должны быть проанализированы режимы и характеристики смоделированных физических процессов, а также диапазоны физических величин на соответствие режимам и диапазонам, обоснованным в ВБ.

6.10 Для оптимизации процесса оценки в качестве критерия соответствия КМ ИС и ОМ могут быть определены количественные меры, выраженные в виде математических выражений, с учетом численной оценки погрешностей и неопределенностей.

6.11 Погрешность валидации и неопределенность устанавливаются в соответствии с ГОСТ Р 57700.25.

6.12 Для определения возможных неточностей и погрешностей должна проводиться количественная оценка отклонений результатов виртуальных экспериментов и виртуальных испытаний от ВБ и/или НИ.

6.13 Валидацию сложных КМ ИС проводят путем сопоставления результатов, полученных при проведении валидации ее составных частей, с ВБ и/или НИ.

6.14 Переход к проведению валидации на следующем, согласно плану, уровне валидации допускается, если элементы более низкого уровня иерархии КМ ИС прошли процедуру валидации.

6.15 Если при выполнении процедуры валидации получены неудовлетворительные результаты, то в КМ ИС вносят необходимые корректировки и процедуру валидации выполняют повторно с учетом изменений.

6.16 КМ ИС считают прошедшей процедуру валидации, если результаты совокупности виртуальных экспериментов и виртуальных испытаний не выходят за пределы ВБ и/или результатов НИ с учетом допустимых отклонений.

6.17 При выполнении процедуры валидации КМ ИС должен быть задокументирован каждый этап проведения работ независимо от их результатов.

6.18 В документации должно быть приведено обоснование того, что рассматриваемая КМ ИС обладает заданным уровнем точности и соответствует анализируемому ИС в заданных пределах, а также описаны используемые для обоснования методики и рекомендуемые границы применения КМ.

6.19 Результаты валидации предоставляют в виде отчетов в соответствии с заранее определенными и утвержденными с заказчиком шаблонами.

6.20 Анализ и оценку правильности результатов, полученных при проведении процедуры валидации, выполняет головной исполнитель совместно с заказчиком, его представителями, специализированными сторонними организациями или сформированной комиссией, состав участников которой определяется заказчиком или с его участием.

6.21 Анализ и оценка включают следующие основные мероприятия:

- проверку характеристик и свойств КМ ИС на соответствие ОМ;

- проверку достаточности документации, использованной при проведении процедуры валидации;

- оценку плана процедуры валидации;

- оценку сформированного ВБ;

- оценку полноты, достоверности и объективности полученных результатов;

- выдачу обоснованных замечаний в случае выявления ошибок и/или несоответствий КМ ИС и ОМ с подробными обоснованиями и установлением сроков их исправления;

- проведение очередной оценки результатов процедуры валидации после предоставления новых данных;

- подготовку протокола оценки результатов валидации, подписанного всеми участниками процесса анализа и оценки;

- подготовку акта оценки результатов валидации, подписанного всеми участниками процесса анализа и оценки.

Примечание - В обоснованных случаях при очередном анализе и оценке результатов валидации допускается рассматривать только результаты отработки замечаний.

6.22 В перечень замечаний при их наличии включают следующие требования и рекомендации:

- по устранению ошибок в постановке задач моделирования;

- исправлению методических ошибок в КМ ИС;

- изменению степени детализации КМ ИС;

- уточнению и/или изменению КМ ИС;

- уточнению и/или изменению ВБ;

- уточнению и/или изменению методов расчетов.

6.23 По итогам оценки результатов процедуры валидации может быть принято обоснованное решение об отказе дальнейшего применения КМ ИС. В таком случае заказчик принимает решение о продолжении или прекращении работ в соответствии с договором и действующим законодательством.

7 Состав и содержание документов, разрабатываемых при проведении процедуры валидации компьютерной модели изделия судостроения

7.1 План проведения процедуры валидации компьютерной модели изделия судостроения

План проведения процедуры валидации КМ ИС включает:

- цели и задачи выполняемых работ;

- график выполнения работ;

- перечень необходимых валидационных экспериментов с их описанием;

- описание требований к степени соответствия виртуальных экспериментов и виртуальных испытаний с ВБ и/или результатами НИ;

- программу и методику проведения процедуры валидации;

- перечень ПО КМ, используемого для проведения процедуры валидации;

- список соисполнителей (при их наличии);

- для сложных КМ - описание иерархии, используемой при формировании КМ ИС;

- для сложных КМ - описание иерархии, используемой при формировании КМ ИС, и стадий валидации для каждого выбранного элемента в иерархии;

- требования к предоставлению результатов;

- общее обоснование по каждому из перечисленных пунктов.

Примечание - Наличие программы и методики проведения процедуры валидации необязательно, оно определяется головным исполнителем или отдельными требованиями заказчика в соответствии с видом КМ ИС и целями выполняемых работ.

7.2 Программа валидации компьютерной модели изделия судостроения

Программа валидации КМ ИС должна содержать следующие разделы:

- краткое описание ОМ;

- цели и задачи валидации КМ ИС;

- общие положения: требования, предъявляемые к КМ ИС, измеряемые характеристики и свойства ОМ;

- объем проводимых работ при проведении процедуры валидации КМ ИС;

- условия, порядок, место, дата и этапы проведения работ;

- предъявляемая отчетность с дополнениями и приложениями, при их наличии.

7.3 Методика валидации компьютерной модели изделия судостроения

7.3.1 Методика валидации КМ ИС должна содержать следующие разделы:

- краткое описание ОМ;

- цели и задачи валидации КМ ИС;

- оцениваемые характеристики и свойства КМ ИС;

- порядок проведения расчета характеристик и свойств КМ ИС;

- оценка достоверности данных, полученных при испытаниях КМ ИС, и количественная оценка погрешностей моделирования;

- количественная оценка расхождения данных, полученных при проведении виртуальных экспериментов и виртуальных испытаний КМ ИС, с данными ВБ и/или НИ;

- условия, порядок и этапы проведения работ;

- метрологическое обеспечение процедуры валидации;

- материально-техническое обеспечение работ по валидации;

- предъявляемая отчетность с дополнениями и приложениями, при их наличии.

7.3.2 В разделе "Метрологическое обеспечение процедуры валидации" должны быть приведены:

- ссылки на нормативные документы, применяемые для метрологического обеспечения при проведении процедуры валидации в соответствии с положениями Федерального закона [1];

- требования к метрологическому подразделению и его аккредитации, при его участии в процедуре валидации;

- требования к оборудованию, используемому в процедуре валидации;

- требования к средствам измерений, используемым в процедуре валидации -условиям их хранения и калибровке (поверке);

- требования к измерительным системам, применяемым в процедуре валидации;

- в случае необходимости проведения метрологической экспертизы требования к номенклатуре документации, подлежащей метрологической экспертизе, порядок ее проведения и оформления результатов экспертизы;

- требования к ВБ.

7.4 Отчетная документация процедуры валидации компьютерной модели изделия судостроения

7.4.1 Отчетная документация процедуры валидации КМ ИС включает следующие разделы:

- краткое описание ОМ;

- цели и задачи валидации КМ ИС;

- оцениваемые характеристики и свойства КМ ИС;

- сведения об используемом ПО для разработки КМ ИС;

- описание данных, полученных в процессе проведения виртуальных экспериментов и виртуальных испытаний КМ ИС;

- описание ВБ;

- описание НИ;

- результаты процедуры валидации;

- дополнения и приложения, при их наличии;

- выводы и рекомендации по дальнейшему использованию КМ ИС.

7.4.2 В разделе "Описание НИ" должны быть представлены данные, полученные при проведении НИ прототипов, описание этих НИ.

7.4.3 В разделе "Результаты процедуры валидации" должен быть представлен сравнительный анализ соответствия характеристик и свойств КМ ИС и ОМ с заданной точностью.

7.4.4 В дополнениях и приложениях к отчетной документации могут быть представлены дополнительные материалы, необходимые для обеспечения полноты приведенной информации.

7.4.5 В отчетной документации процедуры валидации следует применять обозначения единиц величин в соответствии с Постановлением [2] и ГОСТ 8.417.

7.4.6 В отчетной документации процедуры валидации должны быть использованы метрологические термины в соответствии с Постановлением [2] и рекомендациями [3].

7.4.7 Отчетную документацию процедуры валидации КМ ИС составляют в двух экземплярах - для заказчика и головного исполнителя.

7.5 Протокол анализа и оценки валидации компьютерной модели изделия судостроения

7.5.1 В протоколе анализа и оценки процедуры валидации КМ ИС отражают выполненные и невыполненные задачи процедуры валидации в соответствии с планом проведения процедуры валидации КМ ИС.

7.5.2 Протокол анализа и оценки процедуры валидации КМ ИС является приложением к акту анализа и оценки процедуры валидации КМ ИС.

7.6 Акт анализа и оценки процедуры валидации компьютерной модели изделия судостроения

7.6.1 Акт анализа и оценки процедуры валидации КМ ИС должен включать заключение и выводы о правильности или неправильности проведенной процедуры валидации, рекомендации по дальнейшему применению КМ ИС, протокол анализа и оценки процедуры валидации.

7.6.2 Акт анализа и оценки процедуры валидации КМ ИС составляют в двух экземплярах - для заказчика и головного исполнителя.

Библиография