ГОСТ Р 70946-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

        ГОСТ Р 70946-2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ БАКАЛАВРИАТА И СПЕЦИАЛИТЕТА

Общие положения и методика испытаний

Artificial intelligence technologies in education. Functional subsystem for managing the progress of students in undergraduate and specialty programs. General provisions and test procedure

ОКС 35.240.90

Дата введения 2024-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Волгоградский государственный университет" (ФГАОУ ВО ВолГУ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. N 1174-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета входит в систему образования как наиболее значимая ее составляющая, обеспечивающая учебную подготовку обучающихся.

Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта, используемых при управлении успеваемостью обучающихся по программам бакалавриата и специалитета в рамках соответствующей функциональной подсистемы высшего учебного заведения.

Основной задачей применения технологий искусственного интеллекта в рамках названной подсистемы является прогнозирование результатов обучения для повышения эффективности управления успеваемостью обучающихся руководством высшего учебного заведения. В связи с этим критически важным является обеспечение должного уровня доверия к используемым технологиям искусственного интеллекта. Одним из важных факторов такого доверия служит доверие к результатам функционирования систем искусственного интеллекта. Для обеспечения единых подходов к тестированию системы искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта в образовании".

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам бакалавриата и специалитета в высших учебных заведениях.

Примечание - Такие испытания может проводить:

- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);

- внешняя испытательная лаборатория, действующая по поручению организации - заказчика СИИ (оценка соответствия второй стороной);

- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19.101 Единая система программной документации. Виды программ и программных документов

ГОСТ ISO/IEC 17025 Общие требования к компетентности испытательных и калибровочных лабораторий

ГОСТ Р 59898-2021 Оценка качества систем искусственного интеллекта. Общие положения

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

3.2

3.3

3.4 бакалавриат: Высшее профессиональное образование, подтвержденное присвоением лицу, успешно прошедшему итоговую аттестацию, квалификации "бакалавр".

3.5

3.6

3.7

3.8

3.9

3.10 естественные данные: Первичные или исходные данные, подлежащие дальнейшей обработке методами искусственного интеллекта.

3.11

3.12 кортеж: Конечная последовательность, допускающая повторения, элементов какого-нибудь множества X.

3.13

3.14

Примечание - Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).

3.15

3.16

Примечание - В Российской Федерации устанавливаются следующие уровни профессионального образования:

а) среднее профессиональное образование;

б) высшее образование - бакалавриат;

в) высшее образование - специалитет, магистратура;

г) высшее образование - подготовка кадров высшей квалификации.

3.17

3.18 специалитет: Одноуровневая система получения пятилетнего высшего профессионального образования по специальности.

3.19 существенные условия эксплуатации: Совокупность специфических условий, факторов и данных, в контексте которых заинтересованными сторонами предполагается использование системы искусственного интеллекта.

3.20

3.21

3.22 успеваемость: Степень усвоения обучающимися знаний, умений и навыков, с точки зрения требований, установленных нормативными документами образовательной организации.

3.23 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета является системно связанной совокупностью программных решений, в том числе реализующих технологии ИИ, и направлена на достижение цели обеспечения эффективного управления успеваемостью обучающихся для названных уровней подготовки.

Ключевыми ее задачами могут являться:

- управление показателями контингента обучающихся руководством высшего учебного заведения;

- управление результатами обучения обучающихся руководством высшего учебного заведения;

- прогнозирование у обучающихся по программам бакалавриата и специалитета перспектив продолжения обучения по программам магистратуры или успешного трудоустройства.

В рамках названной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения СИИ, в их числе:

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для автоматизированного анализа результатов мониторинга успеваемости обучающихся;

- СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для выработки рекомендаций тематик проектных, научно-исследовательских и курсовых работ обучающихся;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников-консультантов в рамках подготовки и организации практик.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используют для того, чтобы по имеющейся информационной модели можно было построить математическую модель и ее применять для решения задачи.

Успешная реализация функции управления успеваемостью обучающихся посредством применения СИИ может оказать существенное положительное влияние на показатели мониторинга высшего учебного заведения.

Для обеспечения доверия к СИИ, применяемым для реализации управления успеваемостью обучающихся, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации остальных функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте, также применима, при условии ее трансформации с учетом особенностей применяемых технологий ИИ.

5 Методика испытаний

5.1 Участниками проведения испытаний являются:

- заказчик испытаний;

- испытательная лаборатория, соответствующая требованиям ГОСТ ISO/IEC 17025.

5.2 Заказчик испытаний должен подать в испытательную лабораторию:

- заявку по форме, установленной испытательной лабораторией;

- СИИ, предназначенную для испытания (в виде программного продукта, исполняемого кода и т.п.) в формате и на носителе, согласованными с испытательной лабораторией;

- программную документацию, регламентированную ГОСТ 19.101, согласно требованиям испытательной лаборатории. В состав программной документации могут входить: спецификация, описание программы, ведомость эксплуатационных документов, формуляр, описание применения, руководство системного программиста, руководство программиста, руководство оператора, руководство по техническому обслуживанию;

- при необходимости дополнительные программные средства, необходимые испытательной лаборатории для осуществления испытаний (специфические среды программирования, библиотеки и т.п.).

5.3 Заказчик испытаний по согласованию с испытательной лабораторией может предоставить:

- дополнительный демонстрационный набор данных;

- существенные условия эксплуатации СИИ.

5.4 Испытательная лаборатория должна осуществить проверку:

- правильности заполнения заявки;

- комплектности, целостности и исполняемости представленных программных продуктов;

- соответствия требованиям испытательной лаборатории предоставленных дополнительного демонстрационного набора данных (при наличии) и существенных условий эксплуатации СИИ (при наличии);

- корректности представленной технической документации.

При выявлении замечаний испытательная лаборатория направляет по установленной ею форме уведомление заказчику испытаний и приостанавливает процедуру испытаний до их устранения.

5.5 Существенные условия эксплуатации

5.5.1 Испытательная лаборатория, руководствуясь своими внутренними процедурами и требованиями ГОСТ Р 59898-2021 (пункты 7.2.1 и 9.2), определяет существенные условия эксплуатации СИИ.

5.5.2 Существенными условиями эксплуатации для управления успеваемостью обучающихся по программам бакалавриата и специалитета могут являться данные:

- об образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, школа, колледж);

- участии обучающихся во внеучебной деятельности [например, членство в студенческом профсоюзе, научные достижения (участие в работе студенческого научного общества, наличие научных публикаций), участие в научно-технологическом предпринимательстве, спортивные достижения, творческие достижения, добровольческая активность, общественная деятельность, данные об участии в региональных олимпиадах, конкурсах и т.п.];

- основании поступления обучающегося в учебное заведение (бюджет, платная форма обучения);

- о факте поступления обучающихся по квотам целевого набора;

- наличии у обучающихся корпоративных (персональных) стипендий;

- факте трудоустройства обучающихся во время обучения;

- месте проживания/регистрации;

- системе оценивания успеваемости (например, максимальное значение оценки успеваемости, пороговые значения оценки для уровней успеваемости);

- социальном статусе (например, полная/неполная семья, материальное положение, сфера деятельности родителей) обучающихся;

- наличии статуса представителя работодателя у преподавателей, ведущих дисциплины, и т.д.

5.5.3 Кроме того, следует выделять существенные условия эксплуатации, связанные с областью применения испытуемой СИИ. Например, испытуемая СИИ будет применяться:

- в одном конкретном образовательном учреждении;

- в группе образовательных учреждений (например, в головной организации и удаленных филиалах);

- на территории субъекта Российской Федерации и т.д.

Такие данные следует указывать в протоколе испытания.

5.6 Формирование тестового набора данных

5.6.1 Испытательная лаборатория, руководствуясь своими внутренними процедурами и требованиями ГОСТ Р 59898-2021 (пункт 9.2), на основе полного демонстрационного набора данных [состоящего из базового демонстрационного набора данных и дополнительного демонстрационного набора данных (при наличии)] и существенных условий эксплуатации (как полученных от заказчика, так и определенных испытательной лабораторией самостоятельно) должна сформировать тестовый набор данных (рисунок 1).

Рисунок 1 - Схема формирования тестового набора данных

5.6.2 Базовый демонстрационный набор данных подробно изложен в 5.6.2.1, 5.6.2.2.

Примечание - Базовый демонстрационный набор данных прилагается на диске к настоящему стандарту.

5.6.2.1 Этот набор данных получен из соответствующих естественных данных, которые были подвергнуты предварительной обработке, включавшей в себя аугментацию, полную анонимизацию данных, исключение из набора данных специфических данных (например, региональной информации), способных отрицательно повлиять на применение настоящего стандарта на национальном уровне.

5.6.2.2 Базовый демонстрационный набор данных содержит данные как о самих обучающихся и о направлениях обучения, так и о результатах обучения:

- номер зачетной книжки обучающегося. Его идентификатор (зашифрован);

- код наименования учебного плана, по которому обучается обучающийся;

- уровень подготовки: "бакалавриат", "специалитет";

- форма обучения: очная/заочная/очно-заочная;

- период контроля: "первый семестр", "второй семестр" и т.п.;

- вид контроля: возможные значения "ГАК", "зачет", "зачет с оценкой", "защита ВКР", "курсовая работа", "курсовой проект", "экзамен";

- наименование дисциплины;

- тип ведомости, в которую внесен результат аттестации: "основная", "перезачет", "пересдача", "пересдача с комиссией";

- идентификатор преподавателя дисциплины;

- количество баллов по дисциплине за первую внутрисеместровую аттестацию;

- количество баллов по дисциплине за вторую внутрисеместровую аттестацию;

- количество баллов по дисциплине за третью внутрисеместровую аттестацию;

- количество баллов по дисциплине при сдаче экзамена;

- количество баллов по дисциплине при пересдаче;

- количество баллов по дисциплине при пересдаче комиссии;

- количество баллов по дисциплине при пересдаче для приложения к диплому;

- результат аттестации по дисциплине: "отлично", "хорошо", "удовлетворительно", "неудовлетворительно", "зачтено", "не зачтено".

Подробное описание данных базового демонстрационного набора приведено в таблице 3.

5.6.3 Дополнительный демонстрационный набор данных может быть предоставлен заказчиком. Дополнительный демонстрационный набор данных, при условии соблюдения соответствующего законодательства, может содержать персональные данные. Испытательная лаборатория, в соответствии со своими процедурами и исходя из существенных условий эксплуатации, может применять собственные дополнительные наборы данных.

5.6.4 При необходимости испытательная лаборатория может осуществить предварительную обработку дополнительного демонстрационного набора данных.

Предварительная обработка набора данных может включать следующие этапы:

- удаление дубликатов в данных;

- валидацию данных;

- анализ и синтез шумов в данных;

- согласование типов данных;

- ликвидацию выбросов данных;

- заполнение пропусков в данных;

- консолидацию данных;

- масштабирование данных;

- аугментацию данных.

5.6.5 В зависимости от особенностей дополнительного демонстрационного набора данных и СИИ могут быть осуществлены этапы предварительной обработки, не указанные выше.

5.6.6 Испытательная лаборатория, с учетом положений 5.2-5.6 и раздела 6, должна по согласованию с заказчиком определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

5.7 Испытательная лаборатория должна осуществить тестирование представленной заказчиком испытаний СИИ на основе тестового набора данных. Процесс тестирования включает:

- сравнение полученных испытуемой СИИ результатов с соответствующими значениями целевой функции в тестовом наборе данных. Для сравнения необходимо использовать функцию качества Q(f(x), y), где f(x) - результат вычислений СИИ для аппроксимации целевой функции на примере x, y - значение целевой функции на примере x.

Испытательная лаборатория, исходя из вида целевой функции или совокупности целевых функций, определяет, какую задачу или совокупность задач решает СИИ: аппроксимации или классификации. Если СИИ решает задачу классификации, то для сравнения значений f(x) и y следует использовать формулу (1). Если СИИ решает задачу аппроксимации, то для сравнения значений f(x) и y следует использовать формулу (2).

Показатель качества классификации

вычисляют по формуле

, (1)

где k - количество классов;

- количество элементов класса

i

, которые были ошибочно классифицированы в другой класс;

- количество элементов класса

i

;

- количество элементов, не принадлежащих классу

i

, которые были ошибочно классифицированы в класс

i

.

Показатель качества аппроксимации

вычисляют по формуле

, (2)

где N - количество примеров в тестовом наборе данных;

-

i

-й пример тестового набора данных;

-

i

-я метка тестового набора данных (значение целевой функции на

);

- результат вычислений СИИ для аппроксимации целевой функции на

.

5.8 Испытательная лаборатория, получив значения

и/или

, используя таблицы 1 и/или 2, делает общий вывод о соответствии/несоответствии испытуемой СИИ.

Таблица 1 - Требования к значению показателя качества классификации точности классификации согласно формуле (1)

Значение	Вывод
	Несоответствие
	Соответствие
	Высокое соответствие

Таблица 2 - Требования к значению показателя качества аппроксимации точности аппроксимации согласно формуле (2)

Значение	Вывод
	Несоответствие
	Соответствие
	Высокое соответствие

Испытательная лаборатория заносит полученные результаты в протокол испытаний и передает заказчику.

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам бакалавриата и специалитета

6.1 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных, перечислены в 6.1.1-6.1.4.

6.1.1 Система, построенная на методах интеллектуального анализа данных для прогнозирования успеваемости обучающихся на основе успеваемости за предыдущие периоды обучения

Значениями целевой функции в такой системе могут служить значения полей базового демонстрационного набора данных: "ПерваяАттестация", "ВтораяАттестация", "ТретьяАттестация", "Комиссия", "Пересдача", "ПересдачаДляДиплома", "Экзамен".

6.1.2 Система, построенная на методах интеллектуального анализа данных, для определения момента времени начала снижения заинтересованности студента в обучении

Значениями целевой функции в такой системе могут служить значения полей базового демонстрационного набора данных: "ПерваяАттестация", "ВтораяАттестация", "ТретьяАттестация", "Комиссия", "Пересдача", "Экзамен".

6.1.3 Рекомендательная система, построенная на методах интеллектуального анализа данных, определяющая вид отчетности (зачет/экзамен) по дисциплине с целью улучшения успеваемости обучающихся

При этом допускается измерять успеваемость в такой системе по значениям полей базового демонстрационного набора данных: "ПерваяАттестация", "ВтораяАттестация", "ТретьяАттестация", "Комиссия", "Пересдача", "Экзамен".

6.1.4 Рекомендательная система, построенная на методах интеллектуального анализа данных, предлагающая курс по выбору с целью улучшения успеваемости обучающихся

Значениями целевой функции в такой системе могут служить значения полей базового демонстрационного набора данных: "ПерваяАттестация", "ВтораяАттестация", "ТретьяАттестация", "Комиссия", "Пересдача", "Экзамен".

6.2 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных со значениями целевой функции, вычисляемых на основе полей базового демонстрационного набора данных, перечислены в 6.2.1-6.2.4.

6.2.1 Система, построенная на методах интеллектуального анализа данных для прогнозирования вероятного числа должников на следующий семестр по итогам аттестации на пройденных курсах

В этой системе дополнительно предлагается вычисление целевой функции (количество должников) на имеющихся данных об успеваемости обучающихся из базового демонстрационного набора данных.

6.2.2 Система, построенная на методах интеллектуального анализа данных для выявления групп дисциплин, усвоение которых может вызывать трудности у последующих потоков обучающихся

В этой системе дополнительно предлагаются вычисления целевой функции (например, число обучающихся, попавших на пересдачу по дисциплине) на основе успеваемости обучающихся по дисциплинам базового демонстрационного набора данных.

6.2.3 Система, построенная на методах интеллектуального анализа данных для прогноза количества претендентов на получение академической стипендии по результатам успеваемости на срок до конца обучения

В этой системе дополнительно предлагается вычисление целевой функции (количество претендентов на получение стипендии) на имеющихся данных об успеваемости обучающихся базового демонстрационного набора данных.

6.2.4 Система, построенная на методах интеллектуального анализа данных для выявления студентов, которым рекомендовано обучение по программам магистратуры или которые продолжили обучение по программам магистратуры

В этой системе дополнительно предлагается вычисление целевой функции (например, средний балл по итогам учебного года) на имеющихся данных об успеваемости обучающихся из базового демонстрационного набора данных.

6.3 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных и дополнительных данных, перечислены в 6.3.1-6.3.8.

6.3.1 Система, построенная на методах интеллектуального анализа данных для автоматического подбора сроков модульных аттестаций.

6.3.2 Система, построенная на методах интеллектуального анализа данных для прогнозирования среднего балла диплома выпускника по итогам промежуточных аттестаций на пройденных курсах

В этой системе дополнительно предлагается вычисление целевой функции на дополнительных данных об успеваемости обучающихся за весь период обучения.

6.3.3 Система, построенная на методах интеллектуального анализа данных для прогнозирования получения диплома с отличием по итогам аттестации на пройденных курсах

В этой системе дополнительно предлагается вычисление целевой функции на дополнительных данных об успеваемости обучающихся за весь период обучения.

6.3.4 Система, построенная на методах интеллектуального анализа данных для прогнозирования вероятного числа успешно завершивших обучение по программе бакалавриата или специалитета.

6.3.5 СИИ, построенная на принципах генеративного обучения и предназначенная для выявления интересов обучающихся на основе данных об их успеваемости с целью рекомендаций по тематике научно-исследовательской работы и выпускной квалификационной работы.

6.3.6 Рекомендательная система, построенная на методах интеллектуального анализа данных и предназначенная для определения наиболее перспективных для студента списка направлений магистратуры для продолжения обучения.

6.3.7 Рекомендательная система, построенная на методах интеллектуального анализа данных, вырабатывающая предложения мест прохождения практики на основе успеваемости студента и тематики его научно-исследовательской работы.

6.3.8 Комплекс рекомендательных и обучающих систем, построенных на методах интеллектуального анализа данных, предлагающий внутри курсов по выбору индивидуальные адаптивные образовательные траектории в предметном пространстве образовательных ресурсов, сопровождающий обучение по этим траекториям и динамически корректирующий траектории в реальном времени прохождения курсов с целью улучшения успеваемости обучающихся и общей оптимизации процесса обучения.

7 Описание базового демонстрационного набора данных

Описание полей набора данных, сформированных на основе данных успеваемости обучающихся по программам направления бакалавриата и специалитета представлено в таблице 3.

В базовом демонстрационном наборе данных каждый кортеж соответствует факту аттестации обучающегося по одной дисциплине. Если обучающийся аттестуется по нескольким дисциплинам, то каждой из таких аттестаций соответствует свой кортеж в базовом демонстрационном наборе данных, поэтому в базовом демонстрационном наборе данных одному обучающемуся может соответствовать несколько кортежей.

Таблица 3 - Описание полей набора данных

Библиография