ГОСТ Р 70946-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

ФЕДЕРАЛЬНОЕ АГЕНТСТВО

ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ГОСТ Р

70946—

2023

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ БАКАЛАВРИАТА И СПЕЦИАЛИТЕТА

Общие положения и методика испытаний

Издание официальное

Москва

Российский институт стандартизации

2023

ГОСТ Р 70946—2023

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования «Волгоградский государственный университет» (ФГАОУ ВО ВолГУ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. № 1174-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

©Оформление. ФГБУ «Институт стандартизации», 2023

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

II

ГОСТ Р 70946—2023

Содержание

1 Область применения..................................................................1

2 Нормативные ссылки..................................................................1

3 Термины и определения................................................................2

4 Общие положения....................................................................4

5 Методика испытаний..................................................................5

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам бакалавриата и специалитета..............................................9

7 Описание базового демонстрационного набора данных....................................10

Библиография........................................................................12

III

ГОСТ Р 70946—2023

Введение

Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета входит в систему образования как наиболее значимая ее составляющая, обеспечивающая учебную подготовку обучающихся.

Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта, используемых при управлении успеваемостью обучающихся по программам бакалавриата и специалитета в рамках соответствующей функциональной подсистемы высшего учебного заведения.

Основной задачей применения технологий искусственного интеллекта в рамках названной подсистемы является прогнозирование результатов обучения для повышения эффективности управления успеваемостью обучающихся руководством высшего учебного заведения. В связи с этим критически важным является обеспечение должного уровня доверия к используемым технологиям искусственного интеллекта. Одним из важных факторов такого доверия служит доверие к результатам функционирования систем искусственного интеллекта. Для обеспечения единых подходов к тестированию системы искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов «Технологии искусственного интеллекта в образовании».

IV

ГОСТ Р 70946—2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ БАКАЛАВРИАТА И СПЕЦИАЛИТЕТА

Общие положения и методика испытаний

Artificial intelligence technologies in education. Functional subsystem for managing the progress of students in undergraduate and specialty programs. General provisions and test procedure

Дата введения — 2024—01—01

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам бакалавриата и специалитета в высших учебных заведениях.

Примечание — Такие испытания может проводить:

- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);

- внешняя испытательная лаборатория, действующая по поручению организации — заказчика СИИ (оценка соответствия второй стороной);

- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19.101 Единая система программной документации. Виды программ и программных документов

ГОСТ ISO/IEC 17025 Общие требования к компетентности испытательных и калибровочных лабораторий

ГОСТ Р 59898—2021 Оценка качества систем искусственного интеллекта. Общие положения

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

Издание официальное

1

ГОСТ Р 70946—2023

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями: 3.1

аннотирование данных, разметка данных: Процесс маркирования данных, выполняемый для того, чтобы сделать данные пригодными для машинного обучения.

[ГОСТ Р 59898—2021, пункт 3.1]

3.2

аугментация данных: Процесс создания дополнительного набора данных из имеющегося набора данных.

Примечание — Применяется для увеличения обучающего набора данных путем модификации существующего набора данных.

[ГОСТ Р 59898—2021, пункт 3.2]

3.3

базовый демонстрационный набор данных: Образцовый аннотированный набор данных, сформированный в соответствии с нормативно-техническим документом, устанавливающим унифицированные требования к проведению тестирования (испытаний) системы искусственного интеллекта определенного типа.

[ГОСТ Р 59898—2021, пункт 9.1]

3.4 бакалавриат: Высшее профессиональное образование, подтвержденное присвоением лицу, успешно прошедшему итоговую аттестацию, квалификации «бакалавр».

3.5

валидация: Подтверждение, посредством представления объективных свидетельств, того, что требования, предназначенные для конкретного использования или применения, выполнены.

Примечания

1 Объективное свидетельство, необходимое для валидации, является результатом испытания или других форм определения, таких как осуществление альтернативных расчетов или анализ документов.

2 Слово «валидирован» используют для обозначения соответствующего статуса.

3 Условия, применяемые при валидации, могут быть реальными или смоделированными.

[ГОСТ Р ИСО 9000—2015, статья 3.8.13]

3.6

деятельность по оценке соответствия первой стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, предоставляющее(ая) объект.

Примечание — Выражения «первая сторона», «вторая сторона» и «третья сторона», используемые для характеристики видов деятельности по оценке соответствия с учетом данного объекта, не следует путать с юридической идентификацией соответствующих сторон какого-либо контракта.

[ГОСТ ISO/IEC 17000—2012, пункт 2.2]

3.7

деятельность по оценке соответствия второй стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, заинтересованное(ая) в объекте как пользователь.

Примечание — Лицами или организациями, осуществляющими деятельность по оценке соответствия второй стороной, являются, например, покупатели или пользователи продукции, или потенциальные потребители, желающие довериться системе менеджмента поставщика или организации, представляющей их интересы.

[ГОСТ ISO/IEC 17000—2012, статья 2.3]

2

ГОСТ Р 70946—2023

3.8

деятельность по оценке соответствия третьей стороной: Деятельность по оценке соответствия, которую осуществляет лицо или орган, независимое(ый) от лица или организации, предоставляющего(ей) объект, и от пользователя, заинтересованного в этом объекте.

Примечание — Критерии независимости органов по оценке соответствия и органов по аккредитации представлены в международных стандартах и руководствах, применяемых с учетом характера их деятельности.

[ГОСТ ISO/IEC 17000—2012, статья 2.4]

3.9

дополнительный демонстрационный набор данных: Дополнительный аннотированный набор данных, предоставляемый заказчиком работ, связанных с системой искусственного интеллекта при формировании уточненных требований к результатам работ с учетом конкретного функционала системы и условий ее эксплуатации.

[Адаптировано из ГОСТ Р 59898—2021, пункт 9.1]

3.10 естественные данные: Первичные или исходные данные, подлежащие дальнейшей обработке методами искусственного интеллекта.

3.11

искусственный интеллект; ИИ: Способность технической системы имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека.

[ГОСТ Р 59276— 2020, пункт 3.6]

3.12 кортеж: Конечная последовательность, допускающая повторения, элементов какого-нибудь множества X.

3.13

лаборатория: Орган, который осуществляет один или несколько из следующих видов деятельности:

- испытания;

- калибровка;

- отбор образцов, связанный с последующими испытаниями или калибровкой.

[ГОСТ ISO/IEC 17025—2019, пункт 3.6]

3.14

образование: Единый целенаправленный процесс воспитания и обучения, являющийся общественно значимым благом и осуществляемый в интересах человека, семьи, общества и государства, а также совокупность приобретаемых знаний, умений, навыков, ценностных установок, опыта деятельности и компетенции определенных объема и сложности в целях интеллектуального, духовнонравственного, творческого, физического и (или) профессионального развития человека, удовлетворения его образовательных потребностей и интересов.

[[1], статья 2, пункт 1]

Примечание — Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).

3.15

полный демонстрационный набор данных: Совокупность базового и дополнительного наборов данных.

[Адаптировано из ГОСТ Р 59898—2021, пункт 9.1]

3

ГОСТ Р 70946—2023

3.16

профессиональное образование: Вид образования, который направлен на приобретение обучающимися в процессе освоения основных профессиональных образовательных программ знаний, умений, навыков и формирование компетенции определенных уровня и объема, позволяющих вести профессиональную деятельность в определенной сфере и (или) выполнять работу по конкретным профессии или специальности.

[[1], статья 2, пункт 12]

Примечание — В Российской Федерации устанавливаются следующие уровни профессионального образования:

а) среднее профессиональное образование;

б) высшее образование — бакалавриат;

в) высшее образование — специалитет, магистратура;

г) высшее образование — подготовка кадров высшей квалификации.

3.17

система искусственного интеллекта: Техническая система, в которой используются технологии искусственного интеллекта и обладающая искусственным интеллектом.

[ГОСТ Р 59276—2020, пункт 3.16]

3.18 специалитет: Одноуровневая система получения пятилетнего высшего профессионального образования по специальности.

3.19 существенные условия эксплуатации: Совокупность специфических условий, факторов и данных, в контексте которых заинтересованными сторонами предполагается использование системы искусственного интеллекта.

3.20

тестовый набор данных: Набор данных, формируемый в органах на основе полного демонстрационного набора данных и необходимый для проведения испытаний алгоритмов искусственного интеллекта.

[Адаптировано из ГОСТ Р 59898—2021, пункт 9.1]

3.21

технологии искусственного интеллекта: Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека при решении задач компьютерного зрения, обработки естественного языка, распознавания и синтеза речи, поддержки принятия решений и других практически значимых задач обработки данных.

[ГОСТ Р 59276—2020, пункт 3.20]

3.22 успеваемость: Степень усвоения обучающимися знаний, умений и навыков, с точки зрения требований, установленных нормативными документами образовательной организации.

3.23 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета является системно связанной совокупностью программных решений, в том числе реализующих технологии ИИ, и направлена на достижение цели обеспечения эффективного управления успеваемостью обучающихся для названных уровней подготовки.

Ключевыми ее задачами могут являться:

- управление показателями контингента обучающихся руководством высшего учебного заведения;

4

ГОСТ Р 70946—2023

- управление результатами обучения обучающихся руководством высшего учебного заведения;

- прогнозирование у обучающихся по программам бакалавриата и специалитета перспектив продолжения обучения по программам магистратуры или успешного трудоустройства.

В рамках названной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения СИИ, в их числе:

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для автоматизированного анализа результатов мониторинга успеваемости обучающихся;

- СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для выработки рекомендаций тематик проектных, научно-исследовательских и курсовых работ обучающихся;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников-консультантов в рамках подготовки и организации практик.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используют для того, чтобы по имеющейся информационной модели можно было построить математическую модель и ее применять для решения задачи.

Успешная реализация функции управления успеваемостью обучающихся посредством применения СИИ может оказать существенное положительное влияние на показатели мониторинга высшего учебного заведения.

Для обеспечения доверия к СИИ, применяемым для реализации управления успеваемостью обучающихся, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации остальных функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте, также применима, при условии ее трансформации с учетом особенностей применяемых технологий ИИ.

5 Методика испытаний

5.1 Участниками проведения испытаний являются:

- заказчик испытаний;

- испытательная лаборатория, соответствующая требованиям ГОСТ ISO/IEC 17025.

5.2 Заказчик испытаний должен подать в испытательную лабораторию:

- заявку по форме, установленной испытательной лабораторией;

- СИИ, предназначенную для испытания (в виде программного продукта, исполняемого кода и т. п.) в формате и на носителе, согласованными с испытательной лабораторией;

- программную документацию, регламентированную ГОСТ 19.101, согласно требованиям испытательной лаборатории. В состав программной документации могут входить: спецификация, описание программы, ведомость эксплуатационных документов, формуляр, описание применения, руководство системного программиста, руководство программиста, руководство оператора, руководство по техническому обслуживанию;

- при необходимости дополнительные программные средства, необходимые испытательной лаборатории для осуществления испытаний (специфические среды программирования, библиотеки и т. п.).

5.3 Заказчик испытаний по согласованию с испытательной лабораторией может предоставить:

- дополнительный демонстрационный набор данных;

- существенные условия эксплуатации СИИ.

5.4 Испытательная лаборатория должна осуществить проверку:

- правильности заполнения заявки;

- комплектности, целостности и исполняемости представленных программных продуктов;

- соответствия требованиям испытательной лаборатории предоставленных дополнительного демонстрационного набора данных (при наличии) и существенных условий эксплуатации СИИ (при наличии);

- корректности представленной технической документации.

При выявлении замечаний испытательная лаборатория направляет по установленной ею форме уведомление заказчику испытаний и приостанавливает процедуру испытаний до их устранения.

5

ГОСТ Р 70946—2023

5.5 Существенные условия эксплуатации

5.5.1 Испытательная лаборатория, руководствуясь своими внутренними процедурами и требованиями ГОСТ Р 59898—2021 (пункты 7.2.1 и 9.2), определяет существенные условия эксплуатации СИИ.

5.5.2 Существенными условиями эксплуатации для управления успеваемостью обучающихся по программам бакалавриата и специалитета могут являться данные:

- об образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, школа, колледж);

- участии обучающихся во внеучебной деятельности [например, членство в студенческом профсоюзе, научные достижения (участие в работе студенческого научного общества, наличие научных публикаций), участие в научно-технологическом предпринимательстве, спортивные достижения, творческие достижения, добровольческая активность, общественная деятельность, данные об участии в региональных олимпиадах, конкурсах и т. п.];

- основании поступления обучающегося в учебное заведение (бюджет, платная форма обучения);

- о факте поступления обучающихся по квотам целевого набора;

- наличии у обучающихся корпоративных (персональных) стипендий;

- факте трудоустройства обучающихся во время обучения;

- месте проживания/регистрации;

- системе оценивания успеваемости (например, максимальное значение оценки успеваемости, пороговые значения оценки для уровней успеваемости);

- социальном статусе (например, полная/неполная семья, материальное положение, сфера деятельности родителей) обучающихся;

- наличии статуса представителя работодателя у преподавателей, ведущих дисциплины, и т. д.

5.5.3 Кроме того, следует выделять существенные условия эксплуатации, связанные с областью применения испытуемой СИИ. Например, испытуемая СИИ будет применяться:

- в одном конкретном образовательном учреждении;

- в группе образовательных учреждений (например, в головной организации и удаленных филиалах);

- на территории субъекта Российской Федерации и т. д.

Такие данные следует указывать в протоколе испытания.

5.6 Формирование тестового набора данных

5.6.1 Испытательная лаборатория, руководствуясь своими внутренними процедурами и требованиями ГОСТ Р 59898—2021 (пункт 9.2), на основе полного демонстрационного набора данных [состоящего из базового демонстрационного набора данных и дополнительного демонстрационного набора данных (при наличии)] и существенных условий эксплуатации (как полученных от заказчика, так и определенных испытательной лабораторией самостоятельно) должна сформировать тестовый набор данных (рисунок 1).

6

Тестовый набор данных

Рисунок 1 — Схема формирования тестового набора данных

5.6.2 Базовый демонстрационный набор данных подробно изложен в 5.6.2.1, 5.6.2.2.

ГОСТ Р 70946—2023

Примечание — Базовый демонстрационный набор данных прилагается на диске к настоящему стандарту.

5.6.2.1 Этот набор данных получен из соответствующих естественных данных, которые были подвергнуты предварительной обработке, включавшей в себя аугментацию, полную анонимизацию данных, исключение из набора данных специфических данных (например, региональной информации), способных отрицательно повлиять на применение настоящего стандарта на национальном уровне.

5.6.2.2 Базовый демонстрационный набор данных содержит данные как о самих обучающихся и о направлениях обучения, так и о результатах обучения:

- номер зачетной книжки обучающегося. Его идентификатор (зашифрован);

- код наименования учебного плана, по которому обучается обучающийся;

- уровень подготовки: «бакалавриат», «специалитет»;

- форма обучения: очная/заочная/очно-заочная;

- период контроля: «первый семестр», «второй семестр» и т. п.;

- вид контроля: возможные значения «ГАК», «зачет», «зачет с оценкой», «защита ВКР», «курсовая работа», «курсовой проект», «экзамен»;

- наименование дисциплины;

- тип ведомости, в которую внесен результат аттестации: «основная», «перезачет», «пересдача», «пересдача с комиссией»;

- идентификатор преподавателя дисциплины;

- количество баллов по дисциплине за первую внутрисеместровую аттестацию;

- количество баллов по дисциплине за вторую внутрисеместровую аттестацию;

- количество баллов по дисциплине за третью внутрисеместровую аттестацию;

- количество баллов по дисциплине при сдаче экзамена;

- количество баллов по дисциплине при пересдаче;

- количество баллов по дисциплине при пересдаче комиссии;

- количество баллов по дисциплине при пересдаче для приложения к диплому;

- результат аттестации по дисциплине: «отлично», «хорошо», «удовлетворительно», «неудовлетворительно», «зачтено», «не зачтено».

Подробное описание данных базового демонстрационного набора приведено в таблице 3.

5.6.3 Дополнительный демонстрационный набор данных может быть предоставлен заказчиком. Дополнительный демонстрационный набор данных, при условии соблюдения соответствующего законодательства, может содержать персональные данные. Испытательная лаборатория, в соответствии со своими процедурами и исходя из существенных условий эксплуатации, может применять собственные дополнительные наборы данных.

5.6.4 При необходимости испытательная лаборатория может осуществить предварительную обработку дополнительного демонстрационного набора данных.

Предварительная обработка набора данных может включать следующие этапы:

- удаление дубликатов в данных;

- валидацию данных;

- анализ и синтез шумов в данных;

- согласование типов данных;

- ликвидацию выбросов данных;

- заполнение пропусков в данных;

- консолидацию данных;

- масштабирование данных;

- аугментацию данных.

5.6.5 В зависимости от особенностей дополнительного демонстрационного набора данных и СИИ могут быть осуществлены этапы предварительной обработки, не указанные выше.

5.6.6 Испытательная лаборатория, с учетом положений 5.2—5.6 и раздела 6, должна по согласованию с заказчиком определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

5.7 Испытательная лаборатория должна осуществить тестирование представленной заказчиком испытаний СИИ на основе тестового набора данных. Процесс тестирования включает:

7

ГОСТ Р 70946—2023

- сравнение полученных испытуемой СИИ результатов с соответствующими значениями целевой функции в тестовом наборе данных. Для сравнения необходимо использовать функцию качества Q(f(x), У), ^гД^е ФО — результат вычислений СИИ для аппроксимации целевой функции на примере х, у — значение целевой функции на примере х.

Испытательная лаборатория, исходя из вида целевой функции или совокупности целевых функций, определяет, какую задачу или совокупность задач решает СИИ: аппроксимации или классификации. Если СИИ решает задачу классификации, то для сравнения значений f(x) и у следует использовать формулу (1). Если СИИ решает задачу аппроксимации, то для сравнения значений f(x) и у следует использовать формулу (2).

Показатель качества классификации Q_c вычисляют по формуле

к

а==2-Е

1=1

Nj+F_}

(1)

где к — количество классов;

Li — количество элементов класса L которые были ошибочно классифицированы в другой класс;

Nj — количество элементов класса /;

Fi — количество элементов, не принадлежащих классу /, которые были ошибочно классифицированы в класс /.

Показатель качества аппроксимации Q_a вычисляют по формуле

Q_a=1 +

л/

V/=i y/=i

(2)

где N — количество примеров в тестовом наборе данных;

Xi — /-й пример тестового набора данных;

У1 — /-я метка тестового набора данных (значение целевой функции на х,);

f(Xj) — результат вычислений СИИ для аппроксимации целевой функции на х^

5.8 Испытательная лаборатория, получив значения Q_c и/или Q_a, используя таблицы 1 и/или 2, делает общий вывод о соответствии/несоответствии испытуемой СИИ.

Таблица 1 — Требования к значению показателя качества классификации точности классификации согласно формуле (1)

8

ГОСТ Р 70946—2023

Таблица 2 — Требования к значению показателя качества аппроксимации точности аппроксимации согласно формуле (2)

Испытательная лаборатория заносит полученные результаты в протокол испытаний и передает заказчику.

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам бакалавриата и специалитета

6.1 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных, перечислены в 6.1.1—6.1.4.

6.1.1 Система, построенная на методах интеллектуального анализа данных для прогнозирования успеваемости обучающихся на основе успеваемости за предыдущие периоды обучения

Значениями целевой функции в такой системе могут служить значения полей базового демонстрационного набора данных: «ПерваяАттестация», «ВтораяАттестация», «ТретьяАттестация», «Комиссия», «Пересдача», «ПересдачаДляДиплома», «Экзамен».

6.1.2 Система, построенная на методах интеллектуального анализа данных, для определения момента времени начала снижения заинтересованности студента в обучении

Значениями целевой функции в такой системе могут служить значения полей базового демонстрационного набора данных: «ПерваяАттестация», «ВтораяАттестация», «ТретьяАттестация», «Комиссия», «Пересдача», «Экзамен».

6.1.3 Рекомендательная система, построенная на методах интеллектуального анализа данных, определяющая вид отчетности (зачет/экзамен) по дисциплине с целью улучшения успеваемости обучающихся

При этом допускается измерять успеваемость в такой системе по значениям полей базового демонстрационного набора данных: «ПерваяАттестация», «ВтораяАттестация», «ТретьяАттестация», «Комиссия», «Пересдача», «Экзамен».

6.1.4 Рекомендательная система, построенная на методах интеллектуального анализа данных, предлагающая курс по выбору с целью улучшения успеваемости обучающихся

Значениями целевой функции в такой системе могут служить значения полей базового демонстрационного набора данных: «ПерваяАттестация», «ВтораяАттестация», «ТретьяАттестация», «Комиссия», «Пересдача», «Экзамен».

6.2 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных со значениями целевой функции, вычисляемых на основе полей базового демонстрационного набора данных, перечислены в 6.2.1—6.2.4.

6.2.1 Система, построенная на методах интеллектуального анализа данных для прогнозирования вероятного числа должников на следующий семестр по итогам аттестации на пройденных курсах

В этой системе дополнительно предлагается вычисление целевой функции (количество должников) на имеющихся данных об успеваемости обучающихся из базового демонстрационного набора данных.

6.2.2 Система, построенная на методах интеллектуального анализа данных для выявления групп дисциплин, усвоение которых может вызывать трудности у последующих потоков обучающихся

В этой системе дополнительно предлагаются вычисления целевой функции (например, число обучающихся, попавших на пересдачу по дисциплине) на основе успеваемости обучающихся по дисциплинам базового демонстрационного набора данных.

9

ГОСТ Р 70946—2023

6.2.3 Система, построенная на методах интеллектуального анализа данных для прогноза количества претендентов на получение академической стипендии по результатам успеваемости на срок до конца обучения

В этой системе дополнительно предлагается вычисление целевой функции (количество претендентов на получение стипендии) на имеющихся данных об успеваемости обучающихся базового демонстрационного набора данных.

6.2.4 Система, построенная на методах интеллектуального анализа данных для выявления студентов, которым рекомендовано обучение по программам магистратуры или которые продолжили обучение по программам магистратуры

В этой системе дополнительно предлагается вычисление целевой функции (например, средний балл по итогам учебного года) на имеющихся данных об успеваемости обучающихся из базового демонстрационного набора данных.

6.3 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных и дополнительных данных, перечислены в 6.3.1—6.3.8.

6.3.1 Система, построенная на методах интеллектуального анализа данных для автоматического подбора сроков модульных аттестаций.

6.3.2 Система, построенная на методах интеллектуального анализа данных для прогнозирования среднего балла диплома выпускника по итогам промежуточных аттестаций на пройденных курсах

В этой системе дополнительно предлагается вычисление целевой функции на дополнительных данных об успеваемости обучающихся за весь период обучения.

6.3.3 Система, построенная на методах интеллектуального анализа данных для прогнозирования получения диплома с отличием по итогам аттестации на пройденных курсах

В этой системе дополнительно предлагается вычисление целевой функции на дополнительных данных об успеваемости обучающихся за весь период обучения.

6.3.4 Система, построенная на методах интеллектуального анализа данных для прогнозирования вероятного числа успешно завершивших обучение по программе бакалавриата или специалитета.

6.3.5 СИИ, построенная на принципах генеративного обучения и предназначенная для выявления интересов обучающихся на основе данных об их успеваемости с целью рекомендаций по тематике научно-исследовательской работы и выпускной квалификационной работы.

6.3.6 Рекомендательная система, построенная на методах интеллектуального анализа данных и предназначенная для определения наиболее перспективных для студента списка направлений магистратуры для продолжения обучения.

6.3.7 Рекомендательная система, построенная на методах интеллектуального анализа данных, вырабатывающая предложения мест прохождения практики на основе успеваемости студента и тематики его научно-исследовательской работы.

6.3.8 Комплекс рекомендательных и обучающих систем, построенных на методах интеллектуального анализа данных, предлагающий внутри курсов по выбору индивидуальные адаптивные образовательные траектории в предметном пространстве образовательных ресурсов, сопровождающий обучение по этим траекториям и динамически корректирующий траектории в реальном времени прохождения курсов с целью улучшения успеваемости обучающихся и общей оптимизации процесса обучения.

7 Описание базового демонстрационного набора данных

Описание полей набора данных, сформированных на основе данных успеваемости обучающихся по программам направления бакалавриата и специалитета представлено в таблице 3.

В базовом демонстрационном наборе данных каждый кортеж соответствует факту аттестации обучающегося по одной дисциплине. Если обучающийся аттестуется по нескольким дисциплинам, то каждой из таких аттестаций соответствует свой кортеж в базовом демонстрационном наборе данных, поэтому в базовом демонстрационном наборе данных одному обучающемуся может соответствовать несколько кортежей.

10

Таблица 3 — Описание полей набора данных

ГОСТ Р 70946—2023

11

ГОСТ Р 70946—2023

Библиография

[1] Федеральный закон от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации»

УДК 004.8:004.6:006.354

ОКС 35.240.90

Ключевые слова: искусственный интеллект, технологии искусственного интеллекта, функциональная подсистема, система искусственного интеллекта, обучающиеся, бакалавриат, специалитет, методика испытаний, набор данных

Редактор Е.В. Якубова

Технический редактор И.Е. Черепкова

Корректор М.И. Першина

Компьютерная верстка Е.А. Кондрашовой

Сдано в набор 20.10.2023. Подписано в печать 07.11.2023. Формат 60x84%. Гарнитура Ариал.

Усл. печ. л. 1,86. Уч.-изд. л. 1,58.

Подготовлено на основе электронной версии, предоставленной разработчиком стандарта

Создано в единичном исполнении в ФГБУ «Институт стандартизации» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.