ГОСТ Р 70951-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам дополнительного профессионального образования. Общие положения и методика испытаний

        ГОСТ Р 70951-2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Общие положения и методика испытаний

Artificial intelligence technologies in education. Functional subsystem for managing the progress of students in additional professional education programs. General provisions and test procedure

ОКС 35.240.90

Дата введения 2024-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Волгоградский государственный университет" (ФГАОУ ВО ВолГУ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. N 1179-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Функциональная подсистема управления успеваемостью обучающихся по программам дополнительного профессионального образования входит в систему образования как наиболее значимая ее составляющая, обеспечивающая учебную подготовку обучающихся по программам дополнительного профессионального образования.

Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта, используемых при управлении успеваемостью обучающихся по программам дополнительного профессионального образования в рамках соответствующей функциональной подсистемы учебного заведения профессионального образования.

Основной задачей применения технологий искусственного интеллекта в рамках определенной подсистемы является прогнозирование результатов обучения и удовлетворенности обучающихся для повышения эффективности управления руководством учебного заведения профессионального образования. В связи с этим критически значимым является обеспечение должного уровня доверия к используемым технологиям искусственного интеллекта. С целью разработки единых подходов к испытанию системы искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта в образовании".

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам дополнительного профессионального образования в учебных заведениях профессионального образования.

Примечание - Такие испытания может проводить:

- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);

- внешняя испытательная лаборатория, действующая по поручению организации - заказчика СИИ (оценка соответствия второй стороной);

- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

Настоящий стандарт применим для организаций, осуществляющих подготовку по программам дополнительного профессионального образования, например: для колледжей, вузов, как государственных, так и негосударственных.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 70946-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

3.2

3.3

3.4

3.5

3.6

3.7

Примечание - Дополнительное образование включает в себя такие подвиды, как дополнительное образование детей и взрослых и дополнительное профессиональное образование.

3.8

3.9

3.10

3.11 кортеж: Конечная последовательность, допускающая повторение элементов какого-нибудь множества X.

3.12

3.13

Примечание - Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).

3.14

3.15

3.16 существенные условия эксплуатации: Совокупность специфических условий, факторов и данных, в контексте которых заинтересованными сторонами предполагается использование системы искусственного интеллекта.

3.17

3.18

3.19 успеваемость: Степень усвоения обучающимися знаний, умений и навыков, с точки зрения требований, установленных нормативными документами образовательной организации.

3.20 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема управления успеваемостью обучающихся по программам дополнительного профессионального образования является системно связанной совокупностью программных решений, в том числе реализующих технологии ИИ, и направлена на достижение цели обеспечения эффективного управления успеваемостью обучающихся для определенного уровня подготовки.

Ключевыми ее задачами могут являться:

- управление показателями контингента обучающихся по программам дополнительного профессионального образования руководством учебного заведения профессионального образования;

- управление результатами обучения обучающихся по программам дополнительного профессионального образования руководством учебного заведения профессионального образования;

- прогнозирование у обучающихся по программам дополнительного профессионального образования уровня удовлетворенности результатами обучения;

- прогнозирование у обучающихся по программам дополнительного профессионального образования перспектив успешного трудоустройства.

В рамках определенной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения СИИ, в их числе:

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для прогнозирования числа успешно завершивших обучение по программам дополнительного профессионального образования;

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для прогнозирования у обучающихся по программам дополнительного профессионального образования уровня удовлетворенности результатами обучения;

- СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для автоматизации консультирования обучающихся по программам дополнительного профессионального образования;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников для обучающихся по программам дополнительного профессионального образования.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используют для того, чтобы по имеющейся информационной модели построить математическую модель и использовать последнюю для решения задачи.

Успешная реализация функции управления успеваемостью обучающихся посредством применения СИИ может оказать существенное положительное влияние на показатели мониторинга учебного заведения профессионального образования.

Основными формами дополнительного профессионального образования являются повышение квалификации и профессиональная переподготовка.

Для обеспечения доверия к СИИ, применяемым для реализации управления успеваемостью обучающихся, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации других функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте, также применима при условии ее трансформации с учетом особенностей применяемых технологий ИИ.

5 Методика испытаний

5.1 Применяют положения ГОСТ Р 70946-2023 (5.1).

5.2 Применяют положения ГОСТ Р 70946-2023 (5.2).

5.3 Применяют положения ГОСТ Р 70946-2023 (5.3).

5.4 Применяют положения ГОСТ Р 70946-2023 (5.4).

5.5 Существенные условия эксплуатации

5.5.1 Применяют положения ГОСТ Р 70946-2023 (5.5.1).

5.5.2 Существенными условиями эксплуатации для управления успеваемостью обучающихся по программам дополнительного профессионального образования могут являться данные:

- о форме дополнительного профессионального образования (например, повышение квалификации, профессиональная переподготовка);

- об обучающихся (гражданство);

- образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, колледж, университет);

- о подразделении (институте, факультете, кафедре), реализующем программу дополнительного профессионального образования;

- об участии в региональных программах профессионального развития населения;

- об опыте профессиональной деятельности;

- о программе дополнительного профессионального образования (вид программы, наименование области профессиональной деятельности, группа специальностей, наименование квалификации/профессии, специальности, форма обучения);

- об источнике финансирования обучения и т.д.

5.5.3 Применяют положения ГОСТ Р 70946-2023 (5.5.3).

5.6 Формирование тестового набора данных

5.6.1 Применяют положения ГОСТ Р 70946-2023 (5.6.1).

5.6.2 Базовый демонстрационный набор данных изложен в 5.6.2.1, 5.6.2.2, 5.6.2.3.

Примечание - Базовые демонстрационные наборы данных прилагаются на диске к настоящему стандарту.

5.6.2.1 Этот набор данных получен из соответствующих естественных данных, которые подвергнуты предварительной обработке, включавшей в себя аугментацию, полную анонимизацию данных обучающихся, исключение из набора данных специфических данных (например, региональной информации), способных отрицательно повлиять на применение настоящего стандарта на национальном уровне. Исходя из специфики дополнительного профессионального образования в настоящем стандарте базовый демонстрационный набор разделен на две части: базовый демонстрационный набор данных о повышении квалификации и базовый демонстрационный набор о профессиональной переподготовке.

5.6.2.2 Базовый демонстрационный набор данных о повышении квалификации содержит данные как о самих обучающихся и о программах обучения, так и о результатах обучения:

- уникальный идентификатор обучающегося по направлению дополнительного профессионального образования (зашифрован);

- пол обучающегося;

- наименование программы дополнительного профессионального образования;

- дата рождения обучающегося;

- город его проживания;

- место работы обучающегося;

- занимаемая должность;

- подано ли заявление на программу дополнительного профессионального образования (значение "1" или "0" - подано или не подано заявление);

- зачислен ли для обучения по программе дополнительного профессионального образования;

- успешно ли закончил обучение по программе дополнительного профессионального образования;

- удовлетворенность обучающегося программой, по которой он обучался (значения в диапазоне от 0 до 5 включительно: "0" - "обучающийся не проходил опрос", "1" - "практически не удовлетворен", "2" - "удовлетворен в незначительной степени", "3" - "удовлетворен на достаточном уровне", "4" - "удовлетворен в значительной степени", "5" - "удовлетворен в полной мере").

5.6.2.3 Базовый демонстрационный набор данных о профессиональной переподготовке содержит данные как о самих обучающихся и о программах обучения, так и о результатах обучения:

- наименование потока обучающихся в рамках одного курса;

- уникальный идентификатор обучающегося по направлению дополнительного профессионального образования (зашифрован);

- наименование программы профессиональной переподготовки;

- наименование предмета (для каждого реализованного в рамках курса предмета);

- тип аттестации по предмету (для каждого реализованного в рамках курса предмета);

- оценка слушателя по предмету (для каждого реализованного в рамках курса предмета).

5.6.3 Применяют положения ГОСТ Р 70946-2023 (5.6.3).

5.6.4 Применяют положения ГОСТ Р 70946-2023 (5.6.4).

5.6.5 Применяют положения ГОСТ Р 70946-2023 (5.6.5).

5.6.6 Испытательная лаборатория, основываясь на положениях 5.2-5.6 и раздела 6, должна по согласованию с заказчиком определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

5.7 Применяют положения ГОСТ Р 70946-2023 (5.7).

5.8 Применяют положения ГОСТ Р 70946-2023 (5.8).

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам дополнительного профессионального образования

6.1 Примеры систем, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных, представленного в 5.6.2.2, 5.6.2.3, перечислены в 6.1.1-6.1.3.

6.1.1 СИИ, построенная на методах интеллектуального анализа данных, для прогнозирования количества успешно завершивших обучение по программе дополнительного профессионального образования

Значениями целевой функции в такой системе могут служить значения поля базового демонстрационного набора данных, представленного в 5.6.2.2: "Выпустился", и в 5.6.2.3: "ОценкаПредмета".

6.1.2 СИИ, построенная на методах интеллектуального анализа данных, для выявления программ дополнительного профессионального образования, усвоение которых может вызывать трудности у следующих потоков

Значениями целевой функции в такой системе могут служить значения поля базового демонстрационного набора данных, представленного в 5.6.2.2: "Выпустился", и в 5.6.2.3: "ОценкаПредмета".

6.1.3 Рекомендательная система, построенная на методах интеллектуального анализа данных, определяющая пол, место работы, должность для рекомендации обучающемуся выбора программы дополнительного профессионального образования

Значением целевой функции в такой системе могут служить значение поля базового демонстрационного набора данных, представленного в 5.6.2.2, - "УдовлетворенностьПрограммой".

6.2 Система, с помощью которой может быть решена задача с использованием базового демонстрационного набора данных, представленного в 5.6.2.2, 5.6.2.3, и дополнительных данных

Система, построенная на методах интеллектуального анализа данных для рекомендации наиболее востребованных программ дополнительного профессионального образования.

7 Описание базового демонстрационного набора данных

Описание полей базового демонстрационного набора данных о повышении квалификации, сформированных на основе данных успеваемости обучающихся по программам курсов повышения квалификации представлено в таблице 1.

Таблица 1 - Описание полей набора данных о повышении квалификации

В базовом демонстрационном наборе данных о профессиональной переподготовке каждый кортеж представляет данные о профессиональной переподготовке одного обучающегося и состоит из стартового фрагмента, содержащего данные о номере потока обучения, идентификатора обучающегося и наименования программы профессиональной переподготовки и нескольких последующих фрагментов, в каждом из которых представлены данные о наименовании пройденного предмета, типа аттестации и полученной оценке. Финальный фрагмент кортежа содержит информацию об итоговой аттестации обучающегося.

Описание полей набора данных о профессиональной переподготовке.

Таблица 2 - Описание полей набора данных о профессиональной переподготовке

Библиография