ГОСТ Р 70951-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам дополнительного профессионального образования. Общие положения и методика испытаний

ФЕДЕРАЛЬНОЕ АГЕНТСТВО

ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ГОСТ Р

70951—

2023

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Общие положения и методика испытаний

Издание официальное

Москва

Российский институт стандартизации 2023

ГОСТ Р 70951—2023

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования «Волгоградский государственный университет» (ФГАОУ ВО ВолГУ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. № 1179-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

©Оформление. ФГБУ «Институт стандартизации», 2023

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

II

ГОСТ Р 70951—2023

Содержание

1 Область применения..................................................................1

2 Нормативные ссылки..................................................................1

3 Термины и определения................................................................2

4 Общие положения....................................................................4

5 Методика испытаний..................................................................5

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам дополнительного профессионального образования............................7

7 Описание базового демонстрационного набора данных.....................................7

Библиография.........................................................................9

III

ГОСТ Р 70951—2023

Введение

Функциональная подсистема управления успеваемостью обучающихся по программам дополнительного профессионального образования входит в систему образования как наиболее значимая ее составляющая, обеспечивающая учебную подготовку обучающихся по программам дополнительного профессионального образования.

Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта, используемых при управлении успеваемостью обучающихся по программам дополнительного профессионального образования в рамках соответствующей функциональной подсистемы учебного заведения профессионального образования.

Основной задачей применения технологий искусственного интеллекта в рамках определенной подсистемы является прогнозирование результатов обучения и удовлетворенности обучающихся для повышения эффективности управления руководством учебного заведения профессионального образования. В связи с этим критически значимым является обеспечение должного уровня доверия к используемым технологиям искусственного интеллекта. С целью разработки единых подходов к испытанию системы искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов «Технологии искусственного интеллекта в образовании».

IV

ГОСТ Р 70951—2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Общие положения и методика испытаний

Artificial intelligence technologies in education.

Functional subsystem for managing the progress of students in additional professional education programs.

General provisions and test procedure

Дата введения — 2024—01—01

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам дополнительного профессионального образования в учебных заведениях профессионального образования.

Примечание — Такие испытания может проводить:

- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);

- внешняя испытательная лаборатория, действующая по поручению организации — заказчика СИИ (оценка соответствия второй стороной);

- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

Настоящий стандарт применим для организаций, осуществляющих подготовку по программам дополнительного профессионального образования, например: для колледжей, вузов, как государственных, так и негосударственных.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 70946—2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение

Издание официальное

1

ГОСТ Р 70951—2023

рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями: 3.1

аннотирование данных, разметка данных: Процесс маркирования данных, выполняемый для того, чтобы сделать данные пригодными для машинного обучения.

[ГОСТ Р 59898—2021, пункт 3.1]

3.2

базовый демонстрационный набор данных: Образцовый аннотированный набор данных, сформированный в соответствии с нормативно-техническим документом, устанавливающим унифицированные требования к проведению тестирования (испытаний) системы искусственного интеллекта определенного типа.

[ГОСТ Р 59898—2021, пункт 9.1]

3.3

валидация: Подтверждение посредством представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены.

Примечания

1 Объективное свидетельство, необходимое для валидации, является результатом испытания или других форм определения, таких как осуществление альтернативных расчетов или анализ документов.

2 Слово «валидирован» используют для обозначения соответствующего статуса.

3 Условия, применяемые при валидации, могут быть реальными или смоделированными.

[ГОСТ Р ИСО 9000—2015, статья 3.8.13]

3.4

деятельность по оценке соответствия первой стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, предоставляющее(ая) объект.

Примечание — Выражения «первая сторона», «вторая сторона» и «третья сторона», используемые для характеристики видов деятельности по оценке соответствия с учетом данного объекта, не следует путать с юридической идентификацией соответствующих сторон какого-либо контракта.

[ГОСТ ISO/IEC 17000—2012, статья 2.2]

3.5

деятельность по оценке соответствия второй стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, заинтересованное(ая) в объекте как пользователь.

Примечание — Лицами или организациями, осуществляющими деятельность по оценке соответствия второй стороной, являются, например, покупатели или пользователи продукции, или потенциальные потребители, желающие довериться системе менеджмента поставщика или организации, представляющей их интересы.

[ГОСТ ISO/IEC 17000—2012, статья 2.3]

2

ГОСТ Р 70951—2023

3.6

деятельность по оценке соответствия третьей стороной: Деятельность по оценке соответствия, которую осуществляет лицо или орган, независимое(ый) от лица или организации, предоставляющего(ей) объект, и от пользователя, заинтересованного в этом объекте.

Примечание — Критерии независимости органов по оценке соответствия и органов по аккредитации представлены в международных стандартах и руководствах, применяемых с учетом характера их деятельности.

[ГОСТ ISO/IEC 17000—2012, статья 2.4]

3.7

дополнительное образование: Вид образования, который направлен на всестороннее удовлетворение образовательных потребностей человека в интеллектуальном, духовно-нравственном, физическом и (или) профессиональном совершенствовании и не сопровождается повышением уровня образования.

[[1], статья 2, пункт 14]

Примечание — Дополнительное образование включает в себя такие подвиды, как дополнительное образование детей и взрослых и дополнительное профессиональное образование.

3.8

дополнительное профессиональное образование: Дополнительное профессиональное образование, направленное на удовлетворение образовательных и профессиональных потребностей, профессиональное развитие человека, обеспечение соответствия его квалификации меняющимся условиям профессиональной деятельности и социальной среды.

[[1], статья 76]

3.9

дополнительный демонстрационный набор данных: Дополнительный аннотированный набор данных, предоставляемый заказчиком работ, связанных с системой искусственного интеллекта при формировании уточненных требований к результатам работ с учетом конкретного функционала системы и условий ее эксплуатации.

[Адаптировано из ГОСТ Р 59898—2021, пункт 9.1]

3.10

искусственный интеллект; ИИ: Способность технической системы имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека.

[ГОСТ Р 59276—2020, пункт 3.6]

3.11 кортеж: Конечная последовательность, допускающая повторение элементов какого-нибудь множества X.

3.12

лаборатория: Орган, который осуществляет один или несколько из следующих видов деятельности:

- испытания;

- калибровка;

- отбор образцов, связанный с последующими испытаниями или калибровкой.

[ГОСТ ISO/IEC 17025—2019, пункт 3.6]

3

ГОСТ Р 70951—2023

3.13

образование: Единый целенаправленный процесс воспитания и обучения, являющийся общественно значимым благом и осуществляемый в интересах человека, семьи, общества и государства, а также совокупность приобретаемых знаний, умений, навыков, ценностных установок, опыта деятельности и компетенции определенных объема и сложности в целях интеллектуального, духовнонравственного, творческого, физического и (или) профессионального развития человека, удовлетворения его образовательных потребностей и интересов.

[[1], статья 2, пункт 1]

Примечание — Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).

3.14

полный демонстрационный набор данных: Совокупность базового и дополнительного наборов данных.

[ГОСТ Р 59898—2021, пункт 9.1]

3.15

система искусственного интеллекта: Техническая система, в которой используются технологии искусственного интеллекта и обладающая искусственным интеллектом.

[ГОСТ Р 59276—2020, пункт 3.16]

3.16 существенные условия эксплуатации: Совокупность специфических условий, факторов и данных, в контексте которых заинтересованными сторонами предполагается использование системы искусственного интеллекта.

3.17

тестовый набор данных: Набор данных, формируемый в органах на основе полного демонстрационного набора данных и необходимый для проведения испытаний алгоритмов искусственного интеллекта.

[Адаптировано из ГОСТ Р 59898—2021, пункт 9.1]

3.18

технологии искусственного интеллекта: Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека при решении задач компьютерного зрения, обработки естественного языка, распознавания и синтеза речи, поддержки принятия решений и других практически значимых задач обработки данных.

[ГОСТ Р 59276—2020, пункт 3.20]

3.19 успеваемость: Степень усвоения обучающимися знаний, умений и навыков, сточки зрения требований, установленных нормативными документами образовательной организации.

3.20 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема управления успеваемостью обучающихся по программам дополнительного профессионального образования является системно связанной совокупностью программных решений, в том числе реализующих технологии ИИ, и направлена на достижение цели обеспечения эффективного управления успеваемостью обучающихся для определенного уровня подготовки.

Ключевыми ее задачами могут являться:

- управление показателями контингента обучающихся по программам дополнительного профессионального образования руководством учебного заведения профессионального образования;

4

ГОСТ Р 70951—2023

- управление результатами обучения обучающихся по программам дополнительного профессионального образования руководством учебного заведения профессионального образования;

- прогнозирование у обучающихся по программам дополнительного профессионального образования уровня удовлетворенности результатами обучения;

- прогнозирование у обучающихся по программам дополнительного профессионального образования перспектив успешного трудоустройства.

В рамках определенной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения СИИ, в их числе:

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для прогнозирования числа успешно завершивших обучение по программам дополнительного профессионального образования;

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для прогнозирования у обучающихся по программам дополнительного профессионального образования уровня удовлетворенности результатами обучения;

- СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для автоматизации консультирования обучающихся по программам дополнительного профессионального образования;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников для обучающихся по программам дополнительного профессионального образования.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используют для того, чтобы по имеющейся информационной модели построить математическую модель и использовать последнюю для решения задачи.

Успешная реализация функции управления успеваемостью обучающихся посредством применения СИИ может оказать существенное положительное влияние на показатели мониторинга учебного заведения профессионального образования.

Основными формами дополнительного профессионального образования являются повышение квалификации и профессиональная переподготовка.

Для обеспечения доверия к СИИ, применяемым для реализации управления успеваемостью обучающихся, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации других функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте, также применима при условии ее трансформации с учетом особенностей применяемых технологий ИИ.

5 Методика испытаний

5.1 Применяют положения ГОСТ Р 70946—2023 (5.1).

5.2 Применяют положения ГОСТ Р 70946—2023 (5.2).

5.3 Применяют положения ГОСТ Р 70946—2023 (5.3).

5.4 Применяют положения ГОСТ Р 70946—2023 (5.4).

5.5 Существенные условия эксплуатации

5.5.1 Применяют положения ГОСТ Р 70946—2023 (5.5.1).

5.5.2 Существенными условиями эксплуатации для управления успеваемостью обучающихся по программам дополнительного профессионального образования могут являться данные:

- о форме дополнительного профессионального образования (например, повышение квалификации, профессиональная переподготовка);

- об обучающихся (гражданство);

- образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, колледж, университет);

- о подразделении (институте, факультете, кафедре), реализующем программу дополнительного профессионального образования;

- об участии в региональных программах профессионального развития населения;

- об опыте профессиональной деятельности;

5

ГОСТ Р 70951—2023

- о программе дополнительного профессионального образования (вид программы, наименование области профессиональной деятельности, группа специальностей, наименование квалификации/про-фессии, специальности, форма обучения);

- об источнике финансирования обучения и т. д.

5.5.3 Применяют положения ГОСТ Р 70946—2023 (5.5.3).

5.6 Формирование тестового набора данных

5.6.1 Применяют положения ГОСТ Р 70946—2023 (5.6.1).

5.6.2 Базовый демонстрационный набор данных изложен в 5.6.2.1, 5.6.2.2, 5.6.2.3.

Примечание — Базовые демонстрационные наборы данных прилагаются на диске к настоящему стандарту.

5.6.2.1 Этот набор данных получен из соответствующих естественных данных, которые подвергнуты предварительной обработке, включавшей в себя аугментацию, полную анонимизацию данных обучающихся, исключение из набора данных специфических данных (например, региональной информации), способных отрицательно повлиять на применение настоящего стандарта на национальном уровне. Исходя из специфики дополнительного профессионального образования в настоящем стандарте базовый демонстрационный набор разделен на две части: базовый демонстрационный набор данных о повышении квалификации и базовый демонстрационный набор о профессиональной переподготовке.

5.6.2.2 Базовый демонстрационный набор данных о повышении квалификации содержит данные как о самих обучающихся и о программах обучения, так и о результатах обучения:

- уникальный идентификатор обучающегося по направлению дополнительного профессионального образования (зашифрован);

- пол обучающегося;

- наименование программы дополнительного профессионального образования;

-дата рождения обучающегося;

- город его проживания;

- место работы обучающегося;

- занимаемая должность;

- подано ли заявление на программу дополнительного профессионального образования (значение «1» или «0» — подано или не подано заявление);

- зачислен ли для обучения по программе дополнительного профессионального образования;

- успешно ли закончил обучение по программе дополнительного профессионального образования;

- удовлетворенность обучающегося программой, по которой он обучался (значения в диапазоне от 0 до 5 включительно: «0» — «обучающийся не проходил опрос», «1» — «практически не удовлетворен», «2» — «удовлетворен в незначительной степени», «3» — «удовлетворен на достаточном уровне», «4» — «удовлетворен в значительной степени», «5» — «удовлетворен в полной мере»).

5.6.2.3 Базовый демонстрационный набор данных о профессиональной переподготовке содержит данные как о самих обучающихся и о программах обучения, так и о результатах обучения:

- наименование потока обучающихся в рамках одного курса;

- уникальный идентификатор обучающегося по направлению дополнительного профессионального образования (зашифрован);

- наименование программы профессиональной переподготовки;

- наименование предмета (для каждого реализованного в рамках курса предмета);

- тип аттестации по предмету (для каждого реализованного в рамках курса предмета);

- оценка слушателя по предмету (для каждого реализованного в рамках курса предмета).

5.6.3 Применяют положения ГОСТ Р 70946—2023 (5.6.3).

5.6.4 Применяют положения ГОСТ Р 70946—2023 (5.6.4).

5.6.5 Применяют положения ГОСТ Р 70946—2023 (5.6.5).

5.6.6 Испытательная лаборатория, основываясь на положениях 5.2—5.6 и раздела 6, должна по согласованию с заказчиком определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

6

ГОСТ Р 70951—2023

5.7 Применяют положения ГОСТ Р 70946—2023 (5.7).

5.8 Применяют положения ГОСТ Р 70946—2023 (5.8).

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам дополнительного профессионального образования

6.1 Примеры систем, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных, представленного в 5.6.2.2, 5.6.2.3, перечислены в 6.1.1—6.1.3.

6.1.1 СИИ, построенная на методах интеллектуального анализа данных, для прогнозирования количества успешно завершивших обучение по программе дополнительного профессионального образования

Значениями целевой функции в такой системе могут служить значения поля базового демонстрационного набора данных, представленного в 5.6.2.2: «Выпустился», и в 5.6.2.3: «ОценкаПредмета».

6.1.2 СИИ, построенная на методах интеллектуального анализа данных, для выявления программ дополнительного профессионального образования, усвоение которых может вызывать трудности у следующих потоков

Значениями целевой функции в такой системе могут служить значения поля базового демонстрационного набора данных, представленного в 5.6.2.2: «Выпустился», и в 5.6.2.3: «ОценкаПредмета».

6.1.3 Рекомендательная система, построенная на методах интеллектуального анализа данных, определяющая пол, место работы, должность для рекомендации обучающемуся выбора программы дополнительного профессионального образования

Значением целевой функции в такой системе могут служить значение поля базового демонстрационного набора данных, представленного в 5.6.2.2, — «УдовлетворенностьПрограммой».

6.2 Система, с помощью которой может быть решена задача с использованием базового демонстрационного набора данных, представленного в 5.6.2.2, 5.6.2.3, и дополнительных данных

Система, построенная на методах интеллектуального анализа данных для рекомендации наиболее востребованных программ дополнительного профессионального образования.

7 Описание базового демонстрационного набора данных

Описание полей базового демонстрационного набора данных о повышении квалификации, сформированных на основе данных успеваемости обучающихся по программам курсов повышения квалификации представлено в таблице 1.

Таблица 1 — Описание полей набора данных о повышении квалификации

7

ГОСТ Р 70951—2023

Окончание таблицы 1

В базовом демонстрационном наборе данных о профессиональной переподготовке каждый кортеж представляет данные о профессиональной переподготовке одного обучающегося и состоит из стартового фрагмента, содержащего данные о номере потока обучения, идентификатора обучающегося и наименования программы профессиональной переподготовки и нескольких последующих фрагментов, в каждом из которых представлены данные о наименовании пройденного предмета, типа аттестации и полученной оценке. Финальный фрагмент кортежа содержит информацию об итоговой аттестации обучающегося.

Описание полей набора данных о профессиональной переподготовке.

Таблица 2 — Описание полей набора данных о профессиональной переподготовке

8

ГОСТ Р 70951—2023

Библиография

[1] Федеральный закон от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации»

9

ГОСТ Р 70951—2023

УДК 004.8:004.6:006.354

ОКС 35.240.90

Ключевые слова: искусственный интеллект, технологии искусственного интеллекта, функциональная подсистема, система искусственного интеллекта, обучающиеся, программа дополнительного профессионального образования, методика испытаний, набор данных

10

Редактор Л С. Зимилова Технический редактор В.Н. Прусакова Корректор М.И. Першина Компьютерная верстка М.В. Малеевой

Сдано в набор 20.10.2023. Подписано в печать 07.11.2023. Формат 60х84¹/₈. Гарнитура Ариал. Усл. печ. л. 1,86. Уч.-изд. л. 1,00.

Подготовлено на основе электронной версии, предоставленной разработчиком стандарта

Создано в единичном исполнении в ФГБУ «Институт стандартизации» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.