ГОСТ Р 70948-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема формирования контингента абитуриентов по программам бакалавриата и специалитета. Общие положения и методика испытаний

        ГОСТ Р 70948-2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА ФОРМИРОВАНИЯ КОНТИНГЕНТА АБИТУРИЕНТОВ ПО ПРОГРАММАМ БАКАЛАВРИАТА И СПЕЦИАЛИТЕТА

Общие положения и методика испытаний

Artificial intelligence technologies in education. Functional subsystem for forming the contingent of applicants for undergraduate and specialty programs. General provisions and test procedure

ОКС 35.240.90

Дата введения 2024-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Волгоградский государственный университет" (ФГАОУ ВО ВолГУ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. N 1176-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Функциональная подсистема формирования контингента абитуриентов по программам бакалавриата и специалитета входит в систему образования как ее наиболее значимая составляющая, обеспечивающая приемную кампанию образовательных организаций по программам бакалавриата и специалитета.

Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта, используемых при формировании контингента абитуриентов по программам бакалавриата и специалитета в рамках соответствующей функциональной подсистемы высших учебных заведений.

Основной задачей применения технологий искусственного интеллекта в рамках названной подсистемы является прогнозирование результатов приемной кампании для повышения эффективности принимаемых руководством высшего учебного заведения решений. В связи с этим критически важным является обеспечение должного уровня доверия к используемым технологиям искусственного интеллекта. Для обеспечения единых подходов к испытаниям технологий искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта в образовании".

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), используемых в управлении формированием контингента абитуриентов по программам бакалавриата и специалитета.

Примечание - Такие испытания может проводить:

- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);

- внешняя испытательная лаборатория, действующая по поручению организации - заказчика СИИ (оценка соответствия второй стороной);

- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

Настоящий стандарт предназначен для применения организациями, осуществляющими подготовку бакалавров и специалистов по программам высшего образования (например, вузы, как государственные, так и негосударственные).

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 70946-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 абитуриент: Лицо, поступающее в учреждение профессионального образования с целью освоения образовательной программы и получения квалификации.

3.22 формирование контингента: Набор (прием) лиц в образовательное учреждение в рамках приемной кампании.

3.23 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема формирования контингента абитуриентов по программам бакалавриата и специалитета является системно связанной совокупностью программных решений, в том числе реализующих технологии ИИ, и направлена на достижение цели обеспечения результативной приемной кампании для названных уровней подготовки.

Ключевыми ее задачами могут являться:

- выполнение высшим учебным заведением контрольных цифр приема;

- обеспечение результативного и рационально распределенного по направлениям подготовки набора на платную форму обучения.

В рамках названной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения СИИ, в их числе:

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для прогнозирования результатов приемной кампании (количество абитуриентов, давших согласие на зачисление на то или иное направление подготовки*, или распределение приоритетов по направлениям подготовки абитуриентом) в зависимости от данных об абитуриентах (например, результаты единого государственного экзамена, совокупность направлений подготовки, на которые абитуриент претендует, и т.п.);

_______________

* Согласием на зачисление для лиц, поступающих в рамках контрольных цифр приема, является факт представления оригиналов документов об образовании, а для лиц, поступающих за счет средств физических или юридических лиц, является факт заключения договора об оказании платных образовательных услуг.

- СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для автоматизации консультирования абитуриентов;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников для абитуриентов.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используются для того, чтобы по имеющейся информационной модели построить математическую модель и уже ее использовать для решения задачи.

Реализация функции прогнозирования результатов приемной кампании посредством применения СИИ может оказать существенное положительное влияние как на эффективное использование бюджетных средств, так и на увеличение объема внебюджетных поступлений.

Для обеспечения доверия к СИИ, применяемым для реализации функции прогнозирования результатов приемной кампании, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации остальных функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте также применима, при условии ее трансформации с учетом особенностей применяемых технологий ИИ.

5 Методика испытаний

5.1 Применяют положения ГОСТ Р 70946-2023 (5.1).

5.2 Применяют положения ГОСТ Р 70946-2023 (5.2).

5.3 Применяют положения ГОСТ Р 70946-2023 (5.3).

5.4 Применяют положения ГОСТ Р 70946-2023 (5.4).

5.5 Существенные условия эксплуатации

5.5.1 Применяют положения ГОСТ Р 70946-2023 (5.5.1).

5.5.2 Существенными условиями эксплуатации для формирования контингента абитуриентов по программам бакалавриата и специалитета могут являться данные:

- об образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, школа, колледж);

- участии в региональных программах развития обучающихся;

- о месте проживания/регистрации;

- выбранных профилях направлений подготовки бакалавриата и специалитета;

- приеме на направления подготовки бакалавриата и специалитета за прошлые годы;

- дополнительных вступительных испытаниях (структура, состав);

- пороговых значениях баллов единого государственного экзамена для возможности участия в конкурсе на поступление на направления подготовки бакалавриата и специалитета;

- соответствующем профильном среднем профессиональном образовании, позволяющим преодолеть ограничения поступления на отдельные направления подготовки (например, для поступления на направление подготовки бакалавриата 40.03.01 "Юриспруденция" заочной формы обучения необходимо наличие у абитуриента диплома среднего профессионального образования по специальности из укрупненной группы 40.00.00 или диплома о высшем образовании);

- наличии у направления/специальности профессионально-общественной аккредитации;

- наличии у направления/специальности международной аккредитации;

- месте вуза в международных и национальных рейтингах (например, Round University Rankings, RankPro, Webometrics Ranking of World Universities, Top Universities by Citations in Top Google Scholar profiles, Ul GreenMetric, RAEX, Интерфакс, "Три миссии университета");

- целевом наборе;

- предполагаемых заказчиках целевого обучения;

- стоимости, наличии и размере скидок на оплату обучения по договору;

- общежитии (его наличие, количество мест, стоимость и другие условия проживания);

- наличии поощрений для поступивших абитуриентов на направления подготовки бакалавриата и специалитета и имеющих дополнительные достижения, дающие особые права при зачислении;

- гражданстве абитуриентов;

- льготах (например, лица с ограниченными физическими возможностями, дети, оставшиеся без попечения родителей, сироты и т.д.).

5.5.3 Применяют положения ГОСТ Р 70946-2023 (5.5.3).

5.6 Формирование тестового набора данных

5.6.1 Применяют положения ГОСТ Р 70946-2023 (5.6.1).

5.6.2 Базовый демонстрационный набор данных изложен в 5.6.2.1, 5.6.2.2.

Примечание - Базовый демонстрационный набор данных прилагается на диске к настоящему стандарту.

5.6.2.1 Применяют положения ГОСТ Р 70946-2023 (5.6.2.1).

5.6.2.2 Базовый демонстрационный набор данных содержит данные об абитуриентах бакалавриата и специалитета и о направлениях обучения:

- идентификатор абитуриента (зашифрован);

- число баллов (в диапазоне 0-100) за первый предмет по результатам ЕГЭ или вступительных испытаний;

- число баллов (в диапазоне 0-100) за второй предмет по результатам ЕГЭ или вступительных испытаний;

- число баллов (в диапазоне 0-100) за третий предмет по результатам ЕГЭ или вступительных испытаний;

- номер приоритета (в диапазоне 1-10) направления подготовки, указанного в поле "направление/специальность";

- число баллов за индивидуальные достижения (медали, олимпиады и т.п.);

- вид документа об образовании (целочисленный идентификатор вида документа об образовании);

- уровень подготовки (два значения: "бакалавриат" и "специалитет");

- направление/специальность (код наименования направления подготовки, на которое подаются документы абитуриентом);

- вид образования [строковое представление уровня образования в соответствии с поданными документами (например, "среднее общее", "среднее профессиональное")];

- набор вступительных испытаний (строковое представление наименований предметов, баллы по которым представлены в полях "Предмет1", "Предмет2", "Предмет3");

- основание поступления [два значения: "1" - "бюджетная основа"; "0" - "договорная основа"];

- форма обучения [на какую форму обучения поданы документы для участия в конкурсе. Два значения: "1" - "Очное"; "0" - "Заочное"];

- план приема (количество мест на выбранное направление подготовки);

- текущее состояние участия в конкурсе: "зачислен", "отозвано", "подано";

- согласие на зачисление* (отмечается подано ли согласие на зачисление. Значения "1" соответствует "Да", "0" - "Нет").

_______________

* Согласием на зачисление для лиц, поступающих в рамках контрольных цифр приема, является факт представления оригиналов документов об образовании, а для лиц, поступающих за счет средств физических или юридических лиц, является факт заключения договора об оказании платных образовательных услуг

5.6.3 Применяют положения ГОСТ Р 70946-2023 (5.6.3).

5.6.4 Применяют положения ГОСТ Р 70946-2023 (5.6.4).

5.6.5 Применяют положения ГОСТ Р 70946-2023 (5.6.5).

5.6.6 Испытательная лаборатория, с учетом положений 5.2-5.6 и раздела 6, должна, по согласованию с заказчиком, определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

5.7 Применяют положения ГОСТ Р 70946-2023 (5.7).

5.8 Применяют положения ГОСТ Р 70946-2023 (5.8).

6 Примеры интеллектуальных систем и задач для формирования контингента обучающихся по направлениям бакалавриата и специалитета

6.1 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных, перечислены в 6.1.1, 6.1.2.

6.1.1 Система прогнозирования решения абитуриента о согласии на зачисление (функционирующая в интересах образовательной организации) на основе его баллов единого государственного экзамена, вступительных испытаний, баллов за индивидуальные достижения и других данных, представленных в тестовом наборе

Значениями целевой функции в такой системе могут служить значения поля "Согласие НаЗачисление"* базового демонстрационного набора данных.

_______________

* Согласием на зачисление для лиц, поступающих в рамках контрольных цифр приема, является факт представления оригиналов документов об образовании, а для лиц, поступающих за счет средств физических или юридических лиц, является факт заключения договора об оказании платных образовательных услуг

6.1.2 Система предсказания зачисления абитуриента на программу бакалавриата или специалитета по результатам приемной кампании (функционирующая в интересах абитуриента) на основе его баллов единого государственного экзамена, количества мест на направление подготовки и других данных, представленных в тестовом наборе

Значением целевой функции в такой системе будет служить значение поля "Состояние" базового демонстрационного набора данных.

6.2 Система, с помощью которой может быть решена задача с использованием базового демонстрационного набора данных со значениями целевой функции, вычисляемых на основе полей базового демонстрационного набора данных.

Данная система является рекомендательной системой (функционирующей в интересах абитуриента) оптимальной расстановки приоритетов по направлениям подготовки на основе его баллов Единого государственного экзамена, вступительных испытаний, баллов за индивидуальные достижения, количества мест на направление подготовки. Значениями целевой функции в такой системе будет служить значение, вычисляемое на основе полей "Состояние", "Приоритет" базового демонстрационного набора данных.

6.3 Система, с помощью которой может быть решена задача с использованием базового демонстрационного набора данных и дополнительных данных.

К данной системе относится комплекс рекомендательных и обучающих систем по индивидуализированному подбору образовательного контента и адаптивного сопровождения самоподготовки абитуриентов к поступлению и дальнейшему обучению на выбранных образовательных программах с целью предварительной профориентации и создания предпосылок для успешного дальнейшего обучения.

7 Описание базового демонстрационного набора данных

Описание полей набора данных, сформированный на основе данных приемных кампаний по направлениям бакалавриата и специалитета представлено в таблице 1.

В базовом демонстрационном наборе данных каждый кортеж соответствует факту подачи абитуриентом заявления на поступление на одно направление подготовки. Если абитуриент подает заявления на несколько направлений подготовки, то каждому из таких заявлений соответствует свой кортеж в базовом демонстрационном наборе данных. Поэтому в базовом демонстрационном наборе данных одному абитуриенту может соответствовать несколько кортежей.

Таблица 1 - Описание полей набора данных

Библиография