ГОСТ Р 70947-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам среднего профессионального образования. Общие положения и методика испытаний

        ГОСТ Р 70947-2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ СРЕДНЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Общие положения и методика испытаний

Artificial intelligence technologies in education. Functional subsystem for managing the progress of students in secondary vocational education programs. General provisions and test procedure

ОКС 35.240.90

Дата введения 2024-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Волгоградский государственный университет" (ФГАОУ ВО ВолГУ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. N 1175-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Согласно Федеральному закону "Об образовании в Российской Федерации" [1] среднее профессиональное образование является первым уровнем профессионального образования. Среднее профессиональное образование реализует программы подготовки квалифицированных рабочих (служащих) и программы подготовки специалистов среднего звена, необходимых для выполнения трудовых функций начального и среднего уровня классификации. Высокая востребованность таких специалистов продиктована развитием экономики и проникновением информационных технологий в целом и искусственного интеллекта в частности во все сферы трудовой деятельности, особенно это актуально для рабочих и служащих.

В этом контексте наиболее значимым является продвижение технологий искусственного интеллекта (ТИИ) в системе среднего профессионального образования, позволяющих, во-первых, интенсифицировать образовательные процессы, а во-вторых - формировать интеллектуальную образовательную среду, благодаря погружению в которую обучающийся будет постоянно использовать ТИИ, воспринимая их как нечто само собой разумеющееся и присутствующее повсеместно. Такое отношение сделает вполне естественным применение ТИИ как в трудовой деятельности, так и в быту и будет являться катализатором цифровизации экономики.

Функциональная подсистема управления успеваемостью обучающихся по программам среднего профессионального образования является в системе образования существенной составляющей, обеспечивающей учебную подготовку обучающихся по программам среднего профессионального образования.

Настоящий стандарт определяет общие положения и методику испытаний ТИИ, используемых при управлении успеваемостью обучающихся по программам среднего профессионального образования в рамках соответствующей функциональной подсистемы учебного заведения профессионального образования.

Основной задачей применения ТИИ в рамках определенной подсистемы является прогнозирование результатов обучения для повышения эффективности управления успеваемостью обучающихся руководством учебного заведения профессионального образования. Это позволит формировать показатели мониторинга учебного заведения и оптимизировать процесс обучения. В связи с этим критически значимым является обеспечение должного уровня доверия к используемым ТИИ. Для обеспечения единых подходов к тестированию системы искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта в образовании".

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам среднего профессионального образования в учебных заведениях профессионального образования.

Примечание - Такие испытания может проводить:

- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);

- внешняя испытательная лаборатория, действующая по поручению организации - заказчика СИИ (оценка соответствия второй стороной);

- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

Настоящий стандарт применим для организаций, осуществляющих подготовку рабочих, служащих, специалистов среднего звена по программам среднего профессионального образования, например: для колледжей, вузов, как государственных, так и негосударственных.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 70946-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

3.2

3.3

3.4

3.5

3.6

3.7

3.8

3.9

3.10

3.11 кортеж: Конечная последовательность, допускающая повторение элементов какого-нибудь множества X.

3.12

3.13

Примечание - Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).

3.14

3.15

3.16

3.17

3.18 стажировка: Форма повышения квалификации преподавателей, осуществляемого для совершенствования имеющихся или получения новых профессиональных компетенций; при этом освоение навыков выполнения работы происходит на рабочем месте в организации, осуществляющей деятельность по данным компетенциям.

3.19 существенные условия эксплуатации: Совокупность специфических условий, факторов и данных, в контексте которых заинтересованными сторонами предполагается использование системы искусственного интеллекта.

3.20

3.21

3.22 успеваемость: Степень усвоения обучающимися знаний, умений и навыков с точки зрения требований, установленных нормативными документами образовательной организации.

3.23 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема управления успеваемостью обучающихся по программам среднего профессионального образования является системно связанной совокупностью программных решений, в том числе реализующих ТИИ, и направлена на достижение цели обеспечения эффективного управления успеваемостью обучающихся для определенного уровня подготовки.

Ключевыми ее задачами могут являться:

- управление содержанием обучения для обеспечения успеваемости;

- управление содержанием обучения для обеспечения непрерывности образования;

- управление содержанием обучения для успешного проведения демонстрационного экзамена;

- управление содержанием обучения для успешной защиты дипломного проекта или дипломной работы;

- управление траекторией обучения для обеспечения успеваемости;

- управление содержанием стажировки преподавателей для оптимизации состава преподавателей, обеспечивающих преподавание дисциплин;

- управление показателями контингента обучающихся руководством учебного заведения профессионального образования;

- управление результатами обучения обучающихся руководством учебного заведения профессионального образования;

- прогнозирование у обучающихся по программам среднего профессионального образования перспектив продолжения обучения по программам бакалавриата или успешного трудоустройства.

В рамках определенной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения СИИ, в их числе:

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для оптимизации содержания и траектории обучения;

- СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для выработки рекомендаций тематик проектных, курсовых и выпускных квалификационных работ обучающихся;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников-консультантов в рамках организации и проведении учебных занятий в аудитории.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используют для того, чтобы по имеющейся информационной модели построить математическую модель и использовать последнюю для решения задачи.

Успешная реализация функции управления успеваемостью обучающихся посредством применения СИИ может оказать существенное положительное влияние на показатели мониторинга учебного заведения профессионального образования и позволит оптимизировать содержание и траекторию обучения.

Для обеспечения доверия к СИИ, применяемым для реализации управления успеваемостью обучающихся, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации других функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте, также применима при условии ее трансформации с учетом особенностей применяемых ТИИ.

5 Методика испытаний

5.1 Применяют положения ГОСТ Р 70946-2023 (5.1).

5.2 Применяют положения ГОСТ Р 70946-2023 (5.2).

5.3 Применяют положения ГОСТ Р 70946-2023 (5.3).

5.4 Применяют положения ГОСТ Р 70946-2023 (5.4).

5.5 Существенные условия эксплуатации

5.5.1 Применяют положения ГОСТ Р 70946-2023 (5.5.1).

5.5.2 Существенными условиями эксплуатации для управления успеваемостью обучающихся по программам среднего профессионального образования могут являться данные:

- об образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, школа);

- уровне общего образования при поступлении в учебное заведение (основное общее образование, среднее общее образование);

- участии обучающихся во внеучебной деятельности [в частности, членство в студенческом профсоюзе, научные достижения (участие в работе студенческого научного общества, наличие научных публикаций), участие в научно-технологическом предпринимательстве, спортивные достижения, творческие достижения, добровольческая активность, общественная деятельность, данные об участии в региональных олимпиадах, конкурсах и т.п.];

- о наличии у обучающихся региональных стипендий;

- месте проживания/регистрации;

- системе оценивания успеваемости (например, максимальное значение оценки успеваемости, пороговые значения оценки для уровней успеваемости);

- форме проведения государственной итоговой аттестации;

- об основании поступления обучающегося в учебное заведение (бюджет, платная форма обучения);

- о статусе преподавателей, ведущих дисциплины (штатный, совместитель);

- наличии педагогического образования у преподавателей, ведущих дисциплины;

- педагогическом стаже преподавателей, ведущих дисциплины;

- об ученой степени и ученом звании преподавателей, ведущих дисциплины;

- о компетенциях преподавателей, ведущих дисциплины;

- наличии статуса представителя работодателя у преподавателей, ведущих дисциплины;

- данные о социальном статусе (например, полная/неполная семья, материальное положение, сфера деятельности родителей, данные о совершенных правонарушениях, данные о вызове законных представителей обучающихся и т.д.) обучающихся и т.д.

5.5.3 Применяют положения ГОСТ Р 70946-2023 (5.5.3).

5.6 Формирование тестового набора данных

5.6.1 Применяют положения ГОСТ Р 70946-2023 (5.6.1).

5.6.2 Базовый демонстрационный набор данных изложен в 5.6.2.1, 5.6.2.2.

Примечание - Базовый демонстрационный набор данных прилагается на диске к настоящему стандарту.

5.6.2.1 Применяют положения ГОСТ Р 70946-2023 (5.6.2.1).

5.6.2.2 Базовый демонстрационный набор данных содержит данные как о самих обучающихся и о направлениях обучения, так и о результатах обучения:

- номер зачетной книжки обучающегося (зашифрован);

- код наименования учебного плана, по которому обучается обучающийся;

- форма обучения: очная/заочная;

- период контроля: "первый семестр", "второй семестр" и т.п.;

- возможные значения вида контроля: "зачет", "зачет с оценкой", "зачет с оценкой (дифференцированный зачет)", "контрольная работа (рубежный контроль)", "курсовая работа", "курсовой проект", "экзамен", "экзамен квалификационный";

- наименование дисциплины;

- идентификатор преподавателя дисциплины;

- тип ведомости;

- количество баллов по дисциплине за первую внутрисеместровую аттестацию;

- количество баллов по дисциплине за вторую внутрисеместровую аттестацию;

- количество баллов по дисциплине за третью внутрисеместровую аттестацию;

- количество баллов по дисциплине при сдаче экзамена;

- количество баллов по дисциплине при пересдаче;

- количество баллов по дисциплине при пересдаче комиссии;

- количество баллов по дисциплине при пересдаче для приложения к диплому;

- результат аттестации по дисциплине: "отлично", "хорошо", "удовлетворительно", "неудовлетворительно", "зачтено", "незачтено".

Подробное описание данных базового демонстрационного набора содержится в таблице 1.

5.6.3 Применяют положения ГОСТ Р 70946-2023 (5.6.3).

5.6.4 Применяют положения ГОСТ Р 70946-2023 (5.6.4).

5.6.5 Применяют положения ГОСТ Р 70946-2023 (5.6.5).

5.6.6 Испытательной лаборатории с учетом положений 5.2-5.6 и раздела 6 следует по согласованию с заказчиком определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

5.7 Применяют положения ГОСТ Р 70946-2023 (5.7).

5.8 Применяют положения ГОСТ Р 70946-2023 (5.8).

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам среднего профессионального образования

6.1 Применяют положения ГОСТ Р 70946-2023 (6.1).

6.2 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных со значениями целевой функции, вычисляемых на основе полей базового демонстрационного набора данных, перечислены в 6.2.1-6.2.4.

6.2.1 Система, построенная на методах интеллектуального анализа данных для прогнозирования вероятного количества должников на следующий семестр по итогам аттестации на пройденных курсах

В этой системе дополнительно предлагается вычисление целевой функции (количество должников) на имеющихся данных об успеваемости обучающихся из базового демонстрационного набора данных.

6.2.2 Система, построенная на методах интеллектуального анализа данных для прогноза количества претендентов на получение академической стипендии по результатам успеваемости на срок до конца обучения

В этой системе дополнительно предлагается вычисление целевой функции (количество претендентов на получение стипендии) на имеющихся данных об успеваемости обучающихся из базового демонстрационного набора данных.

6.2.3 Система, построенная на методах интеллектуального анализа данных для выявления студентов, которым рекомендовано обучение по программам бакалавриата или которые продолжили обучение по программам бакалавриата

В этой системе дополнительно предлагается вычисление целевой функции (например, средний балл по итогам учебного года) на имеющихся данных об успеваемости обучающихся из базового демонстрационного набора данных.

6.2.4 Система, построенная на методах интеллектуального анализа данных для выявления групп дисциплин, усвоение которых может вызывать трудности у последующих потоков обучающихся

В этой системе предлагаются дополнительные вычисления целевой функции (например, количество обучающихся, попавших на пересдачу по дисциплине) на основе данных об успеваемости обучающихся по дисциплинам из базового демонстрационного набора данных.

6.3 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных и дополнительных данных, перечислены в 6.3.1-6.3.12.

6.3.1 Система, построенная на методах интеллектуального анализа данных для прогнозирования числа обучающихся, успешно завершивших обучение

В этой системе дополнительно предлагается вычисление целевой функции на дополнительных данных об успешном завершении обучения обучающимся.

6.3.2 Рекомендательная система для построения траектории обучения

В этой системе дополнительно предлагаются дополнительные данные об успеваемости обучающихся за весь предшествующий период обучения, а также о семантических связях между дисциплинами.

6.3.3 Рекомендательная система для выявления семантических связей между дисциплинами

В этой системе дополнительно предлагаются дополнительные данные об успеваемости обучающихся за весь период обучения, а также о семантических связях между дисциплинами.

6.3.4 Рекомендательная система для выявления содержательных компонентов дисциплин, необходимых для успешного проведения демонстрационного экзамена

В этой системе дополнительно предлагаются дополнительные данные об успеваемости обучающихся за весь период обучения, семантических связях между дисциплинами, содержательных компонентах дисциплин и демонстрационного экзамена.

6.3.5 Система, построенная на методах интеллектуального анализа данных для прогнозирования успешной защиты дипломного проекта или дипломной работы

В этой системе дополнительно предлагаются дополнительные данные об успеваемости обучающихся за весь период обучения.

6.3.6 Рекомендательная система для выявления содержательных компонентов стажировки

В этой системе дополнительно предполагаются дополнительные данные о содержательных компонентах дисциплин и стажировок.

6.3.7 Система, построенная на методах интеллектуального анализа данных для прогнозирования среднего балла диплома выпускника по итогам промежуточных аттестаций на пройденных курсах

В этой системе дополнительно предлагается вычисление целевой функции на дополнительных данных об успеваемости обучающихся за весь период обучения.

6.3.8 Система, построенная на методах интеллектуального анализа данных для прогнозирования получения диплома с отличием по итогам аттестации на пройденных курсах

В этой системе дополнительно предлагается вычисление целевой функции на дополнительных данных об успеваемости обучающихся за весь период обучения.

6.3.9 СИИ, построенная на принципах генеративного обучения и предназначенная для выявления интересов обучающихся на основе данных об их успеваемости с целью рекомендаций по тематике научно-исследовательской работы и выпускной квалификационной работы.

6.3.10 Рекомендательная система, построенная на методах интеллектуального анализа данных и предназначенная для определения наиболее перспективного для студента списка направлений бакалавриата для продолжения обучения.

6.3.11 Система, построенная на методах интеллектуального анализа данных для автоматического подбора сроков модульных аттестаций.

6.3.12 Рекомендательная система, построенная на методах интеллектуального анализа данных, вырабатывающая предложения мест прохождения практики на основе успеваемости студента и тематики его научно-исследовательской работы.

7 Описание базового демонстрационного набора данных

Описание полей набора данных, сформированных на основе данных успеваемости обучающихся по программам среднего профессионального образования представлено в таблице 1.

В базовом демонстрационном наборе данных каждый кортеж соответствует факту аттестации обучающегося по одной дисциплине. Если обучающийся аттестуется по нескольким дисциплинам, то каждой из таких аттестаций соответствует свой кортеж в базовом демонстрационном наборе данных, поэтому в базовом демонстрационном наборе данных одному обучающемуся может соответствовать несколько кортежей.

Таблица 1 - Описание полей набора данных

Библиография