ГОСТ Р 70950-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре. Общие положения и методика испытаний

ФЕДЕРАЛЬНОЕ АГЕНТСТВО

ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ГОСТ Р

70950—

2023

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ ПОДГОТОВКИ НАУЧНЫХ И НАУЧНО-ПЕДАГОГИЧЕСКИХ КАДРОВ В АСПИРАНТУРЕ

Общие положения и методика испытаний

Издание официальное

Москва

Российский институт стандартизации

2023

ГОСТ Р 70950—2023

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования «Волгоградский государственный университет» (ФГАОУ ВО ВолГУ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. № 1178-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

©Оформление. ФГБУ «Институт стандартизации», 2023

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

II

ГОСТ Р 70950—2023

Содержание

1 Область применения..................................................................1

2 Нормативные ссылки..................................................................1

3 Термины и определения................................................................2

4 Общие положения....................................................................4

5 Методика испытаний..................................................................5

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре..............6

7 Описание базового демонстрационного набора данных.....................................7

Библиография.........................................................................9

III

ГОСТ Р 70950—2023

Введение

Функциональная подсистема управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре входит в систему образования как наиболее значимая ее составляющая, обеспечивающая учебную подготовку обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре.

Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта (ТИП), используемых при управлении успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре в рамках соответствующей функциональной подсистемы высшего учебного заведения.

Основной задачей применения ТИП в рамках определенной подсистемы является прогнозирование результатов обучения для повышения эффективности управления успеваемостью обучающихся руководством высшего учебного заведения. В связи с этим критически значимым является обеспечение должного уровня доверия к используемым ТИИ. С целью разработки единых подходов к тестированию системы искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов «Технологии искусственного интеллекта в образовании».

IV

ГОСТ Р 70950—2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ ПОДГОТОВКИ НАУЧНЫХ И НАУЧНО-ПЕДАГОГИЧЕСКИХ КАДРОВ В АСПИРАНТУРЕ

Общие положения и методика испытаний

Artificial intelligence technologies in education. Functional subsystem for managing the progress of students in the programs of training scientific and scientific-pedagogical personnel in postgraduate studies. General provisions and test procedure

Дата введения — 2024—01—01

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре.

Примечание — Такие испытания может проводить:

- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);

- внешняя испытательная лаборатория, действующая по поручению организации—заказчика СИИ (оценка соответствия второй стороной);

- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

Настоящий стандарт применим для организаций, осуществляющих подготовку кадров высшей квалификации по программам высшего образования, например: для вузов, как государственных, так и негосударственных, научно-исследовательских институтов.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт;

ГОСТ Р 70946—2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение

Издание официальное

1

ГОСТ Р 70950—2023

рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями: 3.1

аннотирование данных, разметка данных: Процесс маркирования данных, выполняемый для того, чтобы сделать данные пригодными для машинного обучения.

[ГОСТ Р 59898—2021, пункт 3.1]

3.2 аспирантура: Форма реализации уровня профессионального образования, ориентированная на подготовку кадров высшей квалификации.

3.3

базовый демонстрационный набор данных: Образцовый аннотированный набор данных, сформированный в соответствии с нормативно-техническим документом, устанавливающим унифицированные требования к проведению тестирования (испытаний) системы искусственного интеллекта определенного типа.

[ГОСТ Р 59898—2021, пункт 9.1]

3.4

валидация: Подтверждение посредством представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены.

Примечания

1 Объективное свидетельство, необходимое для валидации, является результатом испытания или других форм определения, таких как осуществление альтернативных расчетов или анализ документов.

2 Слово «валидирован» используют для обозначения соответствующего статуса.

3 Условия, применяемые при валидации, могут быть реальными или смоделированными.

[ГОСТ Р ИСО 9000—2015, статья 3.8.13]

3.5

деятельность по оценке соответствия первой стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, предоставляющее(ая) объект.

Примечание — Выражения «первая сторона», «вторая сторона» и «третья сторона», используемые для характеристики видов деятельности по оценке соответствия с учетом данного объекта, не следует путать с юридической идентификацией соответствующих сторон какого-либо контракта.

[ГОСТ ISO/IEC 17000—2012, статья 2.2]

3.6

деятельность по оценке соответствия второй стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, заинтересованное(ая) в объекте как пользователь.

Примечание — Лицами или организациями, осуществляющими деятельность по оценке соответствия второй стороной, являются, например, покупатели или пользователи продукции, или потенциальные потребители, желающие довериться системе менеджмента поставщика или организации, представляющей их интересы.

[ГОСТ ISO/IEC 17000—2012, статья 2.3]

2

ГОСТ Р 70950—2023

3.7

деятельность по оценке соответствия третьей стороной: Деятельность по оценке соответствия, которую осуществляет лицо или орган, независимое(ый) от лица или организации, предоставляющего(ей) объект, и от пользователя, заинтересованного в этом объекте.

Примечание — Критерии независимости органов по оценке соответствия и органов по аккредитации представлены в международных стандартах и руководствах, применяемых с учетом характера их деятельности.

[ГОСТ ISO/IEC 17000—2012, статья 2.4]

3.8

дополнительный демонстрационный набор данных: Дополнительный аннотированный набор данных, предоставляемый заказчиком работ, связанных с системой искусственного интеллекта при формировании уточненных требований к результатам работ с учетом конкретного функционала системы и условий ее эксплуатации.

[Адаптировано из ГОСТ Р 59898—2021, пункт 9.1]

3.9

искусственный интеллект; ИИ: Способность технической системы имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека.

[ГОСТ Р 59276—2020, пункт 3.6]

3.10 кортеж: Конечная последовательность, допускающая повторение, элементов какого-нибудь множества X.

3.11

лаборатория: Орган, который осуществляет один или несколько из следующих видов деятельности:

- испытания;

- калибровка;

- отбор образцов, связанный с последующими испытаниями или калибровкой.

[ГОСТ ISO/IEC 17025—2019, пункт 3.6]

3.12

образование: Единый целенаправленный процесс воспитания и обучения, являющийся общественно значимым благом и осуществляемый в интересах человека, семьи, общества и государства, а также совокупность приобретаемых знаний, умений, навыков, ценностных установок, опыта деятельности и компетенции определенных объема и сложности в целях интеллектуального, духовнонравственного, творческого, физического и (или) профессионального развития человека, удовлетворения его образовательных потребностей и интересов.

[[1], статья 2, пункт 1]

Примечание — Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).

3.13

полный демонстрационный набор данных: Совокупность базового и дополнительного наборов данных.

[ГОСТ Р 59898—2021, пункт 9.1]

3

ГОСТ Р 70950—2023

3.14

профессиональное образование: Вид образования, который направлен на приобретение обучающимися в процессе освоения основных профессиональных образовательных программ знаний, умений, навыков и формирование компетенции определенных уровня и объема, позволяющих вести профессиональную деятельность в определенной сфере и (или) выполнять работу по конкретным профессии или специальности.

В Российской Федерации устанавливаются следующие уровни профессионального образования:

1) среднее профессиональное образование;

2) высшее образование — бакалавриат;

3) высшее образование — специалитет, магистратура;

4) высшее образование — подготовка кадров высшей квалификации.

[[1], статья 2, пункт 1]

3.15

система искусственного интеллекта: Техническая система, в которой используются технологии искусственного интеллекта и обладающая искусственным интеллектом.

[ГОСТ Р 59276—2020, пункт 3.16]

3.16 существенные условия эксплуатации: Совокупность специфических условий, факторов и данных, в контексте которых заинтересованными сторонами предполагается использование системы искусственного интеллекта.

3.17

тестовый набор данных: Набор данных, формируемый в органах на основе полного демонстрационного набора данных и необходимый для проведения испытаний алгоритмов искусственного интеллекта.

[Адаптировано из ГОСТ Р 59898—2021,9.1]

3.18

технологии искусственного интеллекта: Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека при решении задач компьютерного зрения, обработки естественного языка, распознавания и синтеза речи, поддержки принятия решений и других практически значимых задач обработки данных.

[ГОСТ Р 59276—2020, 3.20]

3.19 успеваемость: Степень усвоения обучающимися знаний, умений и навыков с точки зрения требований, установленных нормативными документами образовательной организации.

3.20 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре является системно связанной совокупностью программных решений, в том числе реализующих ТИИ, и направлена на достижение цели обеспечения эффективного управления успеваемостью обучающихся для определенного уровня подготовки.

Ключевыми ее задачами могут являться:

- управление показателями контингента обучающихся руководством высшего учебного заведения;

- управление результатами обучения обучающихся руководством высшего учебного заведения;

4

ГОСТ Р 70950—2023

- управление ресурсами, обеспечивающими защиту обучающимися диссертации на соискание ученой степени кандидата наук в установленный срок (в течение одного года после окончания аспирантуры);

- прогнозирование у обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре перспектив успешного трудоустройства.

В рамках определенной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения систем искусственного интеллекта, в их числе:

- СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для выработки рекомендаций тематик научно-исследовательских работ аспирантов;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников-консультантов в рамках подготовки и организации педагогической практики аспирантов;

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для автоматизированного анализа защит обучающимися диссертации на соискание ученой степени кандидата наук в установленный срок;

- СИИ данных, построенные с использованием методов машинного обучения, применяемые, например, для автоматизированного анализа результатов мониторинга успеваемости аспирантов.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используют для того, чтобы по имеющейся информационной модели построить математическую модель и использовать последнюю для решения задачи.

Успешная реализация функции управления успеваемостью обучающихся посредством применения СИИ может оказать существенное положительное влияние на показатели мониторинга высшего учебного заведения.

Для обеспечения доверия к СИИ, применяемым для реализации управления успеваемостью обучающихся, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации остальных функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте, также применима, при условии ее трансформации с учетом особенностей применяемых технологий искусственного интеллекта.

5 Методика испытаний

5.1 Применяют положения ГОСТ Р 70946—2023 (5.1).

5.2 Применяют положения ГОСТ Р 70946—2023 (5.2).

5.3 Применяют положения ГОСТ Р 70946—2023 (5.3).

5.4 Применяют положения ГОСТ Р 70946—2023 (5.4).

5.5 Существенные условия эксплуатации

5.5.1 Применяют положения ГОСТ Р 70946—2023 (5.5.1).

5.5.2 Существенными условиями эксплуатации для управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре могут являться данные:

- об образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, специалитет, магистратура);

- о месте проживания/регистрации (регион, район, населенный пункт);

- системе оценивания успеваемости (например, максимальное значение оценки успеваемости, пороговые значения оценки для уровней успеваемости);

- владении обучающимися иностранными языками (перечень языков, уровень владения);

- категории должности обучающихся (высшее руководство, среднее звено, операционный персонал);

- факультете(институте), кафедре на которых получает образование обучающийся;

- воинской обязанности обучающихся;

- социальном статусе (например, полнота семьи, материальное положение, сфера деятельности родителей) обучающихся;

5

ГОСТ Р 70950—2023

- научно-исследовательской работе (имеющиеся научные труды, изобретения) обучающихся;

- трудовом стаже обучающихся;

- пребывании обучающихся за рубежом;

- участии обучающихся в выборах в органы власти России;

- наградах (правительственные, ведомственные, региональные) обучающихся;

- семейном положении обучающихся;

- научных руководителях (ученое звание, ученая степень, должность) обучающихся и т. д.

5.5.3 Применяют положения ГОСТ Р 70946—2023 (5.5.3).

5.6 Формирование тестового набора данных

5.6.1 Применяют положения ГОСТ Р 70946—2023 (5.6.1).

5.6.2 Базовый демонстрационный набор данных изложен в 5.6.2.1, 5.6.2.2.

Примечание — Базовый демонстрационный набор данных прилагается на диске к настоящему стандарту.

5.6.2.1 Применяют положения ГОСТ Р 70946—2023 (5.6.2.1).

5.6.2.2 Базовый демонстрационный набор данных содержит данные как о самих обучающихся аспирантуры и о направлениях аспирантуры, так и о результатах обучения:

- номер зачетной книжки обучающегося (зашифрован);

- наименование страны, гражданином которой является обучающийся;

- код наименования специальности, по которой обучается обучающийся;

- наименование семестра: «первый семестр», «второй семестр» и т. п.;

- вид ведомости (возможные значения «аспирантская ведомость», «аттестационная ведомость»);

- основание для обучения (три значения: «бюджетная основа», «договорная основа», «целевой набор»);

- вид контроля (возможные значения: «представление научного доклада по диссертации», «зачет», «зачет с оценкой», «экзамен»);

- наименование дисциплины;

- идентификатор преподавателя соответствующей дисциплины (зашифрован);

- отметка результата аттестации по дисциплине: «отлично», «хорошо», «удовлетворительно», «неудовлетворительно», «зачтено»,«незачтено»;

- защита в срок («1» — выпускник защитил кандидатскую диссертацию в течении года после окончания аспирантуры, «0» — в противном случае).

5.6.3 Применяют положения ГОСТ Р 70946—2023 (5.6 3).

5.6.4 Применяют положения ГОСТ Р 70946—2023 (5.6 4).

5.6.5 Применяют положения ГОСТ Р 70946—2023 (5.6 5).

5.6.6 Испытательной лаборатории с учетом положений 5.2—5.6 и раздела 6 следует по согласованию с заказчиком определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

5.7 Применяют положения ГОСТ Р 70946—2023 (5.7).

5.8 Применяют положения ГОСТ Р 70946—2023 (5.8).

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре

6.1 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных, перечислены в 6.1.1—6.1.3.

6.1.1 СИИ, построенная на методах интеллектуального анализа данных, для прогнозирования числа успешно завершивших обучение по программам подготовки научных и научно-педагогических кадров в аспирантуре и защитивших кандидатскую диссертацию в течение одного года после окончания обучения

Значениями целевой функции в такой системе может служить значение поля базового демонстрационного набора данных: «ЗащитаВСрок».

6

ГОСТ Р 70950—2023

6.1.2 СИИ, построенная на методах интеллектуального анализа данных, для определения начала снижения заинтересованности аспиранта в обучении

Значениями целевой функции в такой системе может служить значение поля базового демонстрационного набора данных: «ИтоговаяОтметка».

6.1.3 Рекомендательная система, построенная на методах интеллектуального анализа данных, определяющая вид отчетности (зачет/экзамен) по дисциплине с целью улучшения успеваемости аспирантов

Значениями целевой функции в такой системе может служить значение поля базового демонстрационного набора данных: «ИтоговаяОтметка».

6.2 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных и дополнительных данных, перечислены в 6.2.1—6.2.3.

6.2.1 Система, построенная на методах интеллектуального анализа данных и выявляющая зависимость успеваемости аспиранта в зависимости от различных факторов: места работы, семейного положения, удаленности места проживания и т. п.

6.2.2 Рекомендательная система, построенная на методах интеллектуального анализа данных, предлагающая вид занятий (лекция, семинар и т. п.) по дисциплине с целью улучшения успеваемости аспирантов

Значениями целевой функции в такой системе может служить значение поля базового демонстрационного набора данных: «ИтоговаяОтметка».

6.2.3 Рекомендательная система, построенная на методах интеллектуального анализа данных и предназначенная для выработки вариантов корректировки тем диссертационного исследования на основе дополнительного текстового описания фактически полученных результатов в процессе научно-исследовательской деятельности аспиранта.

7 Описание базового демонстрационного набора данных

Описание полей набора данных, сформированных на основе данных успеваемости обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре представлено в таблице 1.

В базовом демонстрационном наборе данных каждый «кортеж» соответствует факту аттестации обучающегося по одной дисциплине. Если обучающийся аттестуется по нескольким дисциплинам, то каждой из таких аттестаций соответствует свой кортеж в базовом демонстрационном наборе данных, поэтому в базовом демонстрационном наборе данных одному обучающемуся может соответствовать несколько кортежей.

Таблица 1 — Описание полей набора данных

7

ГОСТ Р 70950—2023

Окончание таблицы 1

8

ГОСТ Р 70950—2023

Библиография

[1] Федеральный закон от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации»

9

ГОСТ Р 70950—2023

УДК 004.8 :004.6:006.354

ОКС 35.240.90

Ключевые слова: искусственный интеллект, технологии искусственного интеллекта, функциональная подсистема, система искусственного интеллекта, обучающиеся, подготовка научных и научно-педагогических кадров в аспирантуре, методика испытаний, набор данных

10

Редактор В.Н. Шмельков

Технический редактор И.Е. Черепкова

Корректор Р.А. Ментова

Компьютерная верстка Е.А. Кондрашовой

Сдано в набор 20.10.2023. Подписано в печать 02.11.2023. Формат 60х84¹/₈. Гарнитура Ариал.

Усл. печ. л. 1,86. Уч.-изд. л. 1,58.

Подготовлено на основе электронной версии, предоставленной разработчиком стандарта

Создано в единичном исполнении в ФГБУ «Институт стандартизации» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.