ПНСТ 919-2024 Информационные технологии. Эталонная архитектура больших данных. Часть 5. Направления стандартизации

ПНСТ 919-2024/

ISO/IEC TR 20547-5:2018

ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии

ЭТАЛОННАЯ АРХИТЕКТУРА БОЛЬШИХ ДАННЫХ

Часть 5

Направления стандартизации

Information technology. Big data reference architecture. Part 5. Directions of standardization

ОКС 35.020

Срок действия - с 2024-07-01

до 2026-07-01

Предисловие

1 ПОДГОТОВЛЕН Федеральным государственным бюджетным образовательным учреждением высшего образования "Московский государственный университет имени М.В.Ломоносова" (МГУ имени М.В.Ломоносова) в лице Научно-образовательного центра компетенций в области цифровой экономики МГУ и Институтом развития информационного общества (ИРИО) на основе собственного перевода на русский язык англоязычной версии документа, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 17 апреля 2024 г. № 13-пнст

4 Настоящий стандарт идентичен международному документу ISO/IEC TR 20547-5:2018* "Информационные технологии. Эталонная архитектура больших данных. Часть 5. Дорожная карта стандартов" (ISO/IEC TR 20547-5:2018 "Information technology - Big data reference architecture - Part 5: Standards roadmap", IDT).

Наименование настоящего стандарта изменено относительно наименования указанного международного документа для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА.

Дополнительная сноска в тексте стандарта, выделенная курсивом, приведена для пояснения текста оригинала

Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).

Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: 119991, Москва, Ленинские горы, д.1 и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112, Москва, Пресненская набережная, д.10, стр.2.

В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе "Национальные стандарты" и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Международная организация по стандартизации (ИСО) (International Organization for Standardization, ISO) и Международная электротехническая комиссия (МЭК) (International Electrotechnical Commission, IEC) совместно образуют специализированную систему всемирной стандартизации. Национальные органы по стандартизации, являющиеся членами ИСО или МЭК, принимают участие в разработке международных стандартов через технические комитеты, созданные соответствующей организацией для рассмотрения вопросов, касающихся конкретных областей технической деятельности. Технические комитеты ИСО и МЭК сотрудничают в областях, представляющих взаимный интерес. Другие международные правительственные и неправительственные организации в сотрудничестве с ИСО и МЭК также принимают участие в этой работе. В области информационных технологий ИСО и МЭК создали Совместный технический комитет ISO/IEC JTC1.

Процедуры, использованные для разработки настоящего стандарта и предназначенные для его дальнейшей актуализации, описаны в Директивах ИСО/МЭК, часть 1. В частности, следует отметить, что для различных типов документов требуются различные критерии утверждения. Настоящий стандарт учитывает редакционные правила Директив ИСО/МЭК, часть 2 (см. www.iso.org/directives).

Следует иметь в виду, что некоторые элементы настоящего стандарта могут подпадать под действие патентного права. ИСО и МЭК не несут ответственности за идентификацию соответствующих патентных прав.

Подробная информация о любых патентных правах, выявленных в ходе разработки настоящего стандарта, будет представлена во введении и/или в списке полученных патентных деклараций ИСО (см. www.iso.org/patents).

Любые товарные знаки использованы в настоящем стандарте исключительно в качестве информации для удобства пользователей и не требуют разрешения на их применение.

Данные о добровольном характере стандартов, значениях конкретных терминов и выражений ИСО, относящихся к оценке соответствия, а также к информации о приверженности ИСО принципам Всемирной торговой организации (ВТО) в Технических барьерах в торговле (ТВТ) приведены на www.iso.org/iso/foreword.html.

Настоящий стандарт подготовлен Совместным техническим комитетом СТК 1 "Информационные технологии" ИСО и МЭК.

Полный список частей серии стандартов ИСО/МЭК 20547 можно найти на веб-сайте ИСО.

Ведущие организации и специалисты в сферах науки, бизнеса и государственного управления отмечают значительный потенциал больших данных в плане стимулирования инноваций, развития коммерции и в качестве движущей силы прогресса. Большие данные - это общеупотребительный термин, используемый для описания лавины данных в современном сетевом мире, перешедшем на цифровые технологии, переполненном датчиками и движимом информацией. Доступность обширных ресурсов данных позволяет ответить на следующие вопросы:

- каким образом обнаружить потенциальную пандемию на стадии, достаточной для принятия упреждающих мер предотвращения;

- можно ли спрогнозировать появление новых материалов с улучшенными свойствами до момента их создания;

- как можно изменить существующую ситуацию в области кибербезопасности, когда атакующая сторона имеет преимущество перед защищающейся.

Существует также широко распространенное представление о связанных с технологией больших данных новых возможностях, расширяющих традиционные подходы. Темпы роста объемов, скорости производства и увеличения сложности данных опережают темпы научно-технического прогресса в областях аналитики, управления и передачи данных, а также использования данных пользователями.

Несмотря на общее понимание определенных возможностей и ограничений работы с большими данными, отсутствие консенсуса по некоторым важным фундаментальным вопросам затрудняет восприятие потенциальных пользователей и негативно влияет на дальнейший прогресс.

Прежде всего это следующие вопросы:

- какие свойства являются характерными для решений на основе технологий больших данных;

- чем большие данные отличаются от традиционных массивов (сред) данных и связанных с ними приложений;

- какие основные характеристики сред больших данных;

- как эти среды объединяются с распространенными в настоящее время архитектурами;

- какие ограничения сопутствуют использованию больших данных;

- какие существуют стандарты для поддержки больших данных и как большие данные влияют на существующие стандарты;

- какие основные задачи с точки зрения науки, технологий и стандартизации необходимо решить для стимулирования внедрения надежных решений в области больших данных.

Настоящий стандарт ориентирован на предоставление нескольких ответов на два последних вопроса. Он содержит возможные направления стандартизации и описание стандартов, разработанных ИСО/МЭК и другими организациями, а также установление целесообразности их применения в области эталонной архитектуры больших данных. Наименование "Направления стандартизации" 5-й части серии стандартов "Эталонная архитектура больших данных" отражает именно эти задачи.

1 Область применения

Настоящий стандарт содержит описание стандартов, относящихся к большим данным (существующих и разрабатываемых), а также приоритетных направлений разработки стандартов больших данных в будущем на основе анализа пробелов и несоответствий.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующий стандарт [для датированных ссылок применяют только указанное издание ссылочного стандарта, для недатированных - последнее издание (включая все изменения)]:

ISO/IEC 20546, Information technology - Big data - Overview and vocabulary (Информационные технологии. Большие данные. Обзор и словарь)

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями.

Для целей настоящего стандарта использованы термины и определения, приведенные в ИСО/МЭК 20546.

ИСО и МЭК поддерживают терминологические базы данных для использования в стандартизации по следующим адресам:

- библиотека онлайн-просмотра ИСО, доступная по адресу: https://www.iso.org/obp;

- Электропедия МЭК, доступная по адресу: http://www.electropedia.org/.

3.1 Термины, определяемые в других документах

3.1.1 большие данные (big data): Большие массивы данных, отличающиеся главным образом такими характеристиками, как объем, разнообразие, скорость обработки и/или вариативность, которые требуют использования технологии масштабирования для эффективного хранения, обработки, управления и анализа.

Примечание - Термин "большие данные" широко применяют в различных значениях, например: в качестве наименования технологии масштабирования, используемой для обработки больших массивов данных.

[ИСО/МЭК 20549:2019, 3.1.2]

3.2 Термины, определяемые в настоящем стандарте

3.2.1 исполнитель стандарта (standard implementer): Компонент, который обеспечивает предоставление сервисов, основанных на внедрении стандарта.

Примечание - Например, разработчик, который должен следовать командам языка SQL, может считаться исполнителем этого стандарта.

3.2.2 пользователь стандарта (standard user): Лицо или компонент, взаимодействующие с сервисом на основе стандарта и/или принимающие/использующие/декодирующие данные, представленные в соответствии со стандартом.

3.3 Сокращения

ANSI - Американский национальный институт стандартов (American National Standards Institute);

AP - уровень сервис-провайдера приложений (Application Provider layer);

BDRA - Эталонная архитектура больших данных (Big Data Reference Architecture);

BSI - Британский институт стандартов (British Standards Institute);

DC - уровень потребителя данных (Data Consumer layer);

DIN - Немецкий институт по стандартизации [Deutsches Institut f

r Normung e.V. (German Institute for Standardization)];

DMTF - Целевая группа по распределенному управлению (Distributed Management Task Force, Inc.);

DP - уровень сервис-провайдера данных (Data Provider layer);

ISO - Международная организация по стандартизации (International Organization for Standardization);

IEC - Международная электротехническая комиссия (International Electrotechnical Commission);

IEEE - Институт инженеров электротехники и электроники (Institute of Electrical and Electronics Engineers);

IETF - Инженерный совет Интернета (Internet Engineering Task Force);

INF - инфраструктурный уровень (Infrastructure Layer);

INT - интеграционный уровень (Integration Layer);

ITU-T - Международный союз электросвязи (Сектор стандартизации телекоммуникаций) [International Telecommunication Union (Telecommunication standardization sector)];

JISC - Японский комитет промышленных стандартов (Japanese Industrial Standards Committee);

MGT - уровень управления данными (Management Layer);

OASIS - Организация по развитию стандартов структурированной информации (Organization for the Advancement of Structured Information Standards);

OGC - Открытый геопространственный консорциум (Open Geospatial Consortium);

OGF - Открытый ГРИД-форум (Open Grid Forum);

OSS-Association - Ассоциация открытых стандартов безопасности (Open Security Standards Association);

PL - платформенный уровень (Platform Layer);

PR - уровень обработки данных (Processing layer);

S&P - уровень обеспечения безопасности и конфиденциальности (Security and Privacy Layer);

SDO - Организация открытых стандартов (Standards Development Organization);

W3C - Консорциум Всемирной паутины (World Wide Web Consortium).

4 Обоснование

Выявление соответствующих стандартов, разработанных ИСО/МЭК и другими организациями, а также установление целесообразности их применения в области больших данных и эталонной архитектуры больших данных (BDRA) является непрерывным процессом. Настоящий стандарт предоставляет разработчикам и пользователям стандартов указатели и ссылки на другие стандарты, применяющиеся при реализации эталонной архитектуры больших данных или содержащие о ней информацию.

5 Взаимосвязь стандартов с эталонной архитектурой больших данных

В эталонной архитектуре больших данных, представленной в ISO/IEC 20547-3 [4], даны описания различных точек зрения на парадигму больших данных и их взаимосвязи. Поскольку парадигма больших данных объединяет множество существующих технологий, целесообразно определить стандарты, лежащие в их основе.

6 Организации, разрабатывающие стандарты

Большие данные вызвали интерес у действующих на коллективной основе и вовлекающих широкий круг заинтересованных сторон, в том числе у официальных организаций стандартизации, отраслевых консорциумов и организаций - разработчиков программного обеспечения с открытым исходным кодом.

Эти организации могут работать по-разному и фокусироваться на различных аспектах, но все они заинтересованы в использовании больших данных. Ключом к успеху является сочетание дополнительных инициатив по большим данным с непрерывной совместной работой. Определение того, какие совместные инициативы реализованы в целях удовлетворения архитектурных требований, а какие требования в настоящее время не рассмотрены, является отправной точкой для совместных работ в будущем многих заинтересованных сторон. Совместные инициативы включают в себя:

- международные организации по разработке стандартов, например ИМО, МЭК, ITU-T;

- национальные организации по разработке стандартов, например ANSI, BSI, DIN, JISC, SAC;

- индустриальные консорциумы, например W3C, OASIS, DMTF;

- прочие, например спецификация OSS-Association (Ассоциации открытых стандартов безопасности).

Ведущими организациями открытых стандартов и отраслевыми консорциумами, которые работают над стандартами в области больших данных, являются следующие организации:

- ИСО - процесс стандартизации де-юре;

- Институт инженеров по электротехнике и электронике (IEEE) - процесс стандартизации де-юре;

- МЭК;

- Инженерный совет Интернета (IETF);

- Консорциум Всемирной паутины (W3C) - индустриальный консорциум;

- Открытый геопространственный консорциум (OGC) - индустриальный консорциум;

- Организация по усовершенствованию стандартов структурированной информации (OASIS) - индустриальный консорциум;

- Открытый форум по грид-вычислениям (OGF) - индустриальный консорциум.

Примечание - Организации и инициативы, упомянутые в настоящем стандарте, не представляют собой исчерпывающий список. Ожидается, что по мере широкого распространения настоящего стандарта будут выявлены и другие инициативы по стандартизации, включающие дополнительные элементы многообразия больших данных.

Многие государственные организации публикуют стандарты, относящиеся к их специфической сфере деятельности.

Большинство этих стандартов основаны на других стандартах (например, ИСО, IEEE, ANSI) и могут быть применимы в работе с большими данными. Тем не менее объективный и исчерпывающий анализ этих стандартов может превысить сроки, отведенные на подготовку настоящего стандарта, и не будет востребован у большей части его аудитории. Пользователям, которым интересны области, представленные государственными организациями и стандартами, рекомендуется ознакомиться со стандартами на предмет их применимости к этим областям.

Решения с открытым исходным кодом предоставляют полезные новые технологии, которые используются напрямую или в качестве основы для коммерциализации продуктов, но не являются самостоятельными. Для достижения целей пользователей стандартов необходима интеграция технологий в экосистему продуктов. Из-за сложности экосистемы и трудности объективного и исчерпывающего анализа решений с открытым исходным кодом подобные проекты не включены в данный раздел. Однако следует отметить, что эти проекты зачастую развиваются, становясь фактически эталонными решениями для многих технологий.

7 Существующие стандарты

В этом разделе представлен список существующих стандартов вышеперечисленных организаций, которые имеют отношение к большим данным и эталонной архитектуре. Определение актуальности стандартов в области больших данных является сложной задачей, поскольку почти все стандарты в той или иной мере имеют дело с данными. Соответствие стандартов большим данным, как правило, определяется их характеристиками (например, объемом, разнообразием, скоростью обработки и/или вариативностью) или, в общем смысле, масштабируемостью для учета этих характеристик. Стандарты могут быть применяемы в области больших данных в зависимости от того, в какой степени в них учтены одна или несколько этих характеристик. Наконец, некоторые стандарты связаны с областью применения или возникшей задачей, поэтому, имея дело с большими данными, они поддерживают довольно специфическую предметную область, а создание даже минимально необходимого перечня таких стандартов потребует чрезмерных усилий с привлечением экспертов в каждой такой области, что выходит за рамки тематики настоящего стандарта.

Документы, включенные в таблицу 1, ориентированы на стандарты, назначение которых состоит в следующем:

- способствовать взаимодействию между компонентами эталонной архитектуры больших данных;

- упрощать обработку больших данных, имеющих одну или несколько характеристик;

- представляться в качестве базовой функции, которая должна быть реализована одной или несколькими эталонными архитектурами функциональных компонентов или деятельности;

- быть общедоступными стандартами, облегчающими работу с большими данными, независимо от области применения.

В таблице 1 частично представлены потенциально применимые стандарты, разработанные организациями, осуществляющими деятельность в области больших данных.

Так как большинство стандартов представляют некоторую форму взаимодействия между компонентами эталонной архитектуры больших данных, в таблице 1 отображено соответствие между этими компонентами, исполнителем или пользователем стандарта. Определения исполнителя и пользователя стандартов приведены в разделе 3.

Примечание - Хотя приведенные выше определения обеспечивают приемлемую основу для некоторых стандартов, различие между внедрением и использованием может быть незначительным или не существовать вовсе.

Наименования функциональных уровней эталонной архитектуры больших данных и многоуровневых функций в графах таблицы сокращены следующим образом:

- DP - уровень сервис-провайдера данных;

- DC - уровень потребителя данных;

- AP - уровень сервис-провайдера приложений;

- PR - уровень обработки данных;

- PL - платформенный уровень;

- INF - инфраструктурный уровень;

- INT - интеграционный уровень;

- S&P - уровень обеспечения безопасности и конфиденциальности;

- MGT - уровень управления данными.

Для получения полного описания уровней и названий типов функциональных компонентов внутри уровней следует обратиться к ISO/IEC TR 20547-3 [4].

В таблице для каждого из стандартов приведены сведения о том, в каком из функциональных уровней эталонной архитектуры он используется и в какой роли выступают те, кто его применяют, - исполнители или пользователи.

Определения исполнителя стандарта и пользователя стандарта приведены в разделе 3. Список стандартов сформирован ООС и отраслевыми консорциумами и структурирован в алфавитном/числовом порядке по наименованию и номеру стандарта.

Таблица 1 - Актуальные стандарты больших данных

Наименование/	Описание	Функциональные уровни BDRA
обозначение стандарта		DP	DC	AP	PR	PL	INF	INT	S&P	MGT
ИСО 6709:2008	Стандартное представление местоположения географической точки в системе координат	И	П	ИП	ИП	И
ИСО/МЭК 9075-	ISO/IEC 9075 дает определение SQL. Область применения SQL (языка структурированных запросов) - это определение структуры данных и операций с данными, хранящимися в этой структуре. В ISO/IEC 9075-1, ISO/IEC 9075-2 и ISO/IEC 9075-11 перечислены минимальные требования языка. В других частях приведены определения расширения	И	ИП	П	П	И			П	П
_______________ В Российской Федерации действует ГОСТ Р ИСО/МЭК 9075-93 "Информационная технология. Язык баз данных SQL с расширением целостности".
ISO/IEC TR 9789 (технический отчет)	Информационная технология. Руководство по организации и представлению элементов данных при обмене данными. Методы и принципы кодирования	ИП	ИП	ИП	ИП	ИП		ИП
ISO/IEC 9798-*	Информационные технологии. Методы обеспечения безопасности. Аутентификация объектов	ИП	П	П	П	П	ИП	П	ИП	П
ИСО/МЭК 10728-*	Интерфейс служб Системы словаря информационных ресурсов (IRDS)			П	И	И		И		И
ИСО/МЭК 11770-*	Информационная технология. Методы обеспечения безопасности. Управление ключами	ИП	П	П	П	П	И	П	ИП	П
ИСО/МЭК 11179-*	Этот стандарт является многокомпонентным стандартом для определения и реализации реестров метаданных. Серия включает в себя следующие части: часть 1. Структура; часть 2. Классификация; часть 3. Метамодель реестра и основные атрибуты; часть 4. Формулировка определений данных; часть 5. Принципы наименования; часть 6. Регистрация; часть 7. Метамодель для регистрации набора данных	И	ИП	ИП	П	ИП			П
ИСО/МЭК 13249-*	Языки баз данных - мультимедиа SQL и пакеты приложений: часть 1. Структура; часть 2. Полнотекстовый; часть 3. Пространственный; часть 5. Неподвижное изображение; часть 6. Извлечение данных	И	ИП	П	П	И		П
ISO/IEC TR 14516:2002	Информационная технология. Методы обеспечения безопасности. Руководство по использованию доверенных сторонних служб и управлению ими	И	П	ИП			И		П
ИСО/МЭК 15408-*	Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий						И		И
ISO/IEC TR 19075-*	Это серия технических отчетов по технологиям, связанным с SQL: часть 1. XQuery; часть 2. Поддержка SQL для информации, связанной со временем; часть 3. Программы, использующие язык программирования Java; часть 4. Подпрограммы и типы, использующие язык программирования Java; часть 5. Распознавание паттернов строк в SQL; часть 6. Поддержка SQL для JSON; часть 7. Полиморфные функции таблиц в SQL	И	ИП	П	П	И		П	П	П
ИСО 19110	Географическая информация. Методология каталогизации функций	И	П	ИП	П	И
ИСО 19114	Географическая информация. Процедуры оценки качества			И
ИС0 19115-*	Пространственные данные	И	П	ИП	П	И
ИСО 19119	Географическая информация. Услуги	И	П	ИП	И	И
ИСО 19139	Географическая информация. Метаданные. Реализация XML Schema	И	П	ИП	П	И
ИСО 19157	Пространственные данные. Качество данных	И	П	ИП	П	И
ИСО/МЭК 19503	Обмен метаданными (XMI) расширяемого языка разметки (XML)	И	ИП	П	ИП	И			П	П
ИСО/МЭК 19763-*	Информационная технология. Концепция интероперабельности на основе метамоделей. Многосекционный стандарт, включающий в себя следующие части: часть 1. Структура; часть 3. Метамодель для регистрации онтологии; часть 5. Метамодель для регистрации моделей процессов; часть 6. Сводка реестров; часть 7. Метамодель для регистрации моделей услуг;	И	ИП	П	П	И		ИП
	часть 8. Метамодель для регистрации моделей ролей и целей; часть 9. Выбор модели по требованию (технический отчет); часть 10. Базовая модель и базовый маппинг; часть 12. Метамодель для регистрации модели информации; часть 13. Метамодель для регистрации дизайна форм
ИСО/МЭК 19773	Модули реестров метаданных	И	ИП	П	П	И			ИП
ИСО/МЭК 19944	Информационная технология. Облачные вычисления. Облачные сервисы и устройства: поток, категории и использование данных						И			П
ИСО/МЭК 20933	Информационная технология. Распределенные платформы приложений и сервисов (DAPS). Системы доступа	И	П	ИП	И	И
ISO/IEC TR 20943	Согласованность содержимого реестра метаданных	И	ИП	П	П	И			П	П
ИСО/МЭК 27010:2015	Информационная технология. Методы и средства обеспечения безопасности. Менеджмент информационной безопасности при обмене информацией между отраслями и организациями	И	П	ИП			И		ИП
ИСО/МЭК 27017	Информационная технология. Методы и средства обеспечения безопасности. Правила применения мер обеспечения информационной безопасности на основе ИСО/МЭК 27002 при использовании облачных служб								И
ИСО/МЭК 27033-1:2015	Информационная технология. Методы обеспечения безопасности. Сетевая безопасность	ИП	ИП	ИП	ИП	ИП	И	ИП	ИП	ИП
ИСО/МЭК 27035-*	Информационные технологии. Методы обеспечения безопасности. Менеджмент инцидентов информационной безопасности						И		И	П
ИСО/МЭК 27037:2012	Информационная технология. Методы и средства обеспечения безопасности. Руководства по идентификации, сбору, получению и хранению свидетельств, представленных в цифровой форме						И		И
ИСО/МЭК 29100:2011	Информационная технология. Методы и средства обеспечения безопасности. Основы обеспечения приватности	ИП	ИП	П	П	П	И	П	И	П
ISO/IEC TR 30102	Информационная технология. Платформы и сервисы распределенных приложений (DAPS). Общие технические принципы сервис-ориентированной архитектуры	И		ИП	И	И	И			П
IEEE 2200-2012	Стандартный протокол для управления потоком данных в устройствах медиа клиентов	И	П	ИП
W3C Data Catalogue Vocabulary (DCAT) [Словарь каталогов данных (DCAT), W3C]	DCAT - это словарь RDF (среды описания ресурса), разработанный для облегчения взаимодействия между каталогами данных, опубликованными в Интернете. Этот документ устанавливает схему и предоставляет примеры ее использования	И	П	ИП
W3C Document Object Model (DOM) Level 1 Specification [Спецификация 1 уровня объектной модели документов (DOM), W3C]	Эта серия спецификаций описывает DOM - интерфейс, независимый от платформ и языков, который позволяет программам и сценариям динамически получать доступ и обновлять содержимое, структуру и стиль языка разметки гипертекста (HTML) и документов XML	И	П	ИП	ИП	И		П
W3C Efficient XML Interchange (EXI) Format 1.0 (Second Edition) [Эффективный формат обмена XML (EXI) 1.0, второе издание, W3C]	Данная спецификация охватывает формат EXI. EXI - это предельно компактное представление для набора информации XML, предназначенное для одновременной оптимизации производительности и использования вычислительных ресурсов	И	П	ИП	ИП	ИП		ИП
W3C HTML5 A vocabulary and associated APIs for HTML and XHTML (Словарь связанных API для HTML и XHTML, W3C HTML5)	Данная спецификация описывает пятую основную версию базового языка Всемирной паутины - HTML	И	П	ИП
W3C Internationalization Tag Set (ITS) 2.0 [Набор тегов интернационализации (ITS), версия 2.0, W3C]	Спецификация ITS 2.0 расширяет основу для интеграции автоматизированной обработки человеческого языка в основные веб-технологии и концепции, предназначенные для стимуляции автоматического создания и обработки многоязычного веб-контента	И	П	ИП	ИП
W3C JavaScript Object Notation (JSON)-LD 1.0 [Объектная нотация JavaScript для связанных данных (JSON-LD), версия 1.0, W3C]	JSON-LD 1.0 - это сериализация на основе JSON для связанных данных. Рекомендация W3C от 16 января 2014 г.	И	П	ИП	ИП	И		ИП
W3C OWL 2 Web Ontology Language [Язык веб-онтологий (OWL) 2, W3C]	Язык веб-онтологий OWL 2, неофициально OWL 2, является языком онтологии для семантической сети с формально определенным значением	И	П	ИП	ИП	ИП
W3C Platform for Privacy Preferences (P3P) 1.0 [Платформа для настройки конфиденциальности (РЗР), версия 1.0, W3C]	Следуя стандарту РЗР, веб-сайты могут устанавливать свои требования к конфиденциальности в стандартном формате, благодаря которому данные могут быть автоматически извлечены и интерпретированы пользовательскими агентами	И	П	ИП	П	П		П	ИП
W3C Protocol for Web Description Resources (POWDER) [Протокол для описания веб-ресурсов (POWDER), W3C]	POWDER - протокол для описания веб-ресурсов - предоставляет механизм для описания и обнаружения веб-ресурсов и помогает пользователям принимать решение о том, представляет ли для них интерес конкретный ресурс	И	П	ИП
W3C Provenance	Provenance (происхождение) - это спецификация, включающая сведения об объектах, мероприятиях и людях, участвующих в создании части данных или того, что может быть использовано для оценки качества, надежности и достоверности. Семейство документов Provenance (PROV) описывает модель, соответствующие сериализации и другие вспомогательные определения для обеспечения функционального обмена информацией о происхождении данных в разнородных средах, таких как Интернет	И	П	ИП	ИП	И		П	П
W3C Resource Description Framework (RDF) [Структура описания ресурсов (RDF), W3C]	RDF - это структура для представления информации в Интернете. Графы RDF представляют собой наборы троек типа "субъект-предикат-объект", в которых элементы используются для выражения описаний ресурсов	И	П	ИП	ИП	И		П
W3C RDF Data Cube Vocabulary (Словарь RDF Data Cube, W3C)	Словарь DataCube предоставляет средства для публикации многомерных данных, таких как статистика в Интернете, с использованием стандарта W3C по RDF	И	П	ИП
W3C Rule Interchange Format (RIF) [Формат обмена правилами (RIF), W3C]	RIF - это серия стандартов для обмена правилами между системами правил, в частности между механизмами веб-правил	И	П	ИП	ИП	И		П
W3C Service Modeling Language (SML) 1.1 [Язык моделирования сервисов (SML), версия 1.1, W3C]	Эта спецификация описывает SML версии 1.1, используемый для моделирования сложных сервисов и систем, включая их структуру, ограничения, политики и передовые практики	И	П	ИП	ИП	И				П
W3C Simple Knowledge Organization System Reference (SKOS) [Простая система организации знаний (SKOS), W3C]	Эта спецификация описывает SKOS, общую модель данных для совместного использования и связывания систем организации знаний через Интернет	И	П	ИП	П	И
W3C Simple Object Access Protocol (SOAP) 1.2 [Простой протокол доступа к объектам (SOAP), версия 1.2, W3C]	SOAP - спецификация протокола для обмена структурированной информацией при внедрении веб-сервисов в компьютерных сетях	И	П	ИП
W3C SPARQL 1.1	SPARQL - языковая спецификация для запросов и обработки связанных данных в формате RDF	И	П	ИП	П	И

W3C Web Service Description Language (WSDL) 2.0 [Язык описания веб-сервисов (WSDL), версия 2.0, W3C]	Эта спецификация описывает WSDL, версия 2.0 - язык XML для описания веб-сервисов	И	П	ИП	И
W3C XML	XML 1.0 (пятое издание), рекомендация W3C от 26 ноября 2008 г.	ИП	ИП	ИП	ИП	ИП		ИП	ИП	ИП
W3C XML Syntax Encryption and Processing Version 1.1 (Синтаксис и обработка XML-шифрования, версия 1.1, W3C)	Эта спецификация охватывает процесс для шифрования данных и представления результата в XML	И	П	ИП	П	И
W3C XML Key Management Specification (XKMS) 2.0 [Спецификация управления ключами XML (XKMS), версия 2.0, W3C]	Этот стандарт описывает протоколы для распространения и регистрации открытых ключей, подходящие для использования вместе с рекомендациями W3C для XMLSignature [XML-SIG] и XML Encryption [XML-Enc]. XKMS состоит из двух частей: Спецификации информационной службы ключей XML (X-KISS) и Спецификации службы регистрации ключей XML (X-KRSS)	И	П	ИП	П	П
W3C XML Signature Syntax and Processing Version 1.1 (Синтаксис и обработка XML-подписей, версия 1.1, W3C)	В эту спецификацию включены правила и синтаксис обработки электронной подписи XML. Подписи XML обеспечивают целостность, аутентификацию сообщений и/или аутентификацию подписанта для данных любого типа независимо от формата файла	И	П	ИП	ИП	ИП		ИП
W3C XPath 3.0	XPath 3.0 - язык выражений, который позволяет обрабатывать значения, соответствующие модели данных, определенной в [XQuery и XPath Data Model (XDM), версия 3.0]. Модель данных обеспечивает древовидное представление документов XML, а также атомарные значения и последовательности, которые могут содержать как ссылки на узлы в документе XML, так и атомарные значения	И	П	ИП	ИП	И
W3C XProc	Эта спецификация описывает синтаксис и семантику XProc: An XML Pipeline Language - языка для описания операций, выполняемых с документами XML	И	П	ИП	ИП	И		ИП
W3C XQuery3.0	Спецификации XQuery описывают язык запросов, называемый XQuery, который предназначен для широкого применения во многих типах источников данных XML	И	П	ИП	П	И		ИП
W3C XSL Transformations (XSLT) Version 2.0 [XSL Transformations (XSLT), версия 2.0, W3C]	Эта спецификация описывает синтаксис и семантику XSLT 2.0 - языка для преобразования документов XML в другие документы XML	И	П	ИП	ИП	И
OGC® network Common Data Form (netCDF) [Общая форма данных сети (netCDF), OGC®]	netCDF - это набор программных библиотек и самоописываемых машинно-независимых форматов данных, которые поддерживают создание, доступ и совместное использование научных данных, ориентированных на массивы	И	П	ИП	П	И
OGC® Open Modelling Interface Standard (Open-MI) [Стандарт открытого интерфейса моделирования (Open-MI), OGC®]	Целью Open-MI является обеспечение обмена данными во время работы между моделями симуляции процессов, а также между моделями и другими инструментами моделирования, такими как базы данных и приложения для анализа и визуализации	И	П	ИП	ИП	ИП		ИП
OASIS Advanced Message Queuing Protocol (AMQP) Version 1.0 (Расширенный протокол очереди сообщений (AMQP), версия 1.0, OASIS)	AMQP - открытый интернет-протокол для обмена бизнес-сообщениями. Он описывает двоичный протокол проводного уровня, который обеспечивает надежный обмен деловыми сообщениями между двумя сторонами	И	П	П	П	П		ИП		П
OASIS Application Vulnerability Description Language (AVDL) v1.0 [Язык описания уязвимостей приложений (AVDL), версия 1.0, OASIS]	Спецификация описывает стандартный формат XML, который позволяет объектам (таким как приложения, организации или институты) передавать информацию об уязвимостях веб-приложений	И	П	И					П
OASIS AS4 Profile of ebMS 3.0v1.0 [Профиль 4-го заявления о применимости (AS4) электронного бизнеса с использованием расширяемого языка разметки (ebMS) 3.0, версия 1.0, OASIS]	Стандарт для обмена сообщениями между предприятиями через платформу веб-сервисов	И	П	ИП				ИП
OASIS Biometric Identity Assurance Services (BIAS) Simple Object Access Protocol (SOAP) Profile v1.0 [Профиль сервисов по биометрическому подтверждению личности (BIAS) простого протокола доступа к объектам (SOAP), версия 1.0, OASIS]	Этот профиль OASIS BIAS определяет, как использовать XML (XML10), описанный в ANSI INCITS 442-2010-BIAS, для вызова сервисов на основе SOAP, реализующих операции BIAS	И	П	ИП					П
OASIS Content Management Interoperability Services (CMIS) [Сервисы взаимодействия управления контентом (CMIS), OASIS]	Стандарт CMIS описывает модель домена и набор привязок, включающий в себя веб-службы и ReSTful AtomPub, которые могут быть использованы приложениями для работы с одним или несколькими репозиториями/ системами управления контентом	И	П	ИП	ИП	И
OASIS Digital Signature Service (DSS) [Служба цифровой подписи (DSS), OASIS]	В этой спецификации описываются два протокола запросов/ответов на основе XML: протокол подписи и протокол проверки. С помощью этих протоколов клиент может отправлять документы (или хеши документов) на сервер и получать обратно подпись на документах, либо отправлять документы (или хеши документов) вместе с подписью на сервер и получать ответ о том, подтверждаются ли документы подписью	И	П	ИП	П	И		ИП
OASIS Directory Services Markup Language (DSML) v2.0 [Язык разметки служб каталогов (DSML), версия 2.0, OASIS]	DSML предоставляет средства для представления структурной информации каталогов в виде методов XML-документа для выражения запросов и обновлений каталогов (и результатов этих операций) в виде XML-документов	И	П	ИП	П	И
OASIS ebXML Messaging Services (Службы обмена сообщениями ebXML, OASIS)	Эти спецификации определяют нейтральный для протокола обмена данными метод обмена электронными деловыми сообщениями в формате XML	И	П	ИП	П			И
OASIS ebXML RegRep	ebXML RegRep - стандарт, описывающий сервисные интерфейсы, протоколы и информационную модель для интегрированного реестра и репозитория. В репозитории хранится цифровой контент, в то время как в реестре хранятся метаданные, описывающие контент в репозитории	И	П	ИП	П	И		ИП
OASIS ebXML Registry Information Model (Информационная модель реестра ebXML, OASIS)	Информационная модель реестра предоставляет план или схему высокого уровня для реестра ebXML. Она дает разработчикам информацию о типе метаданных, хранящихся в реестре, а также об отношениях между классами метаданных	И	П	ИП	П	И		И
OASIS ebXML Registry Services Specification (Спецификация служб реестра ebXML, OASIS)	Реестр ebXML - информационная система, которая безопасно управляет любым типом контента и стандартизированными метаданными, которые его описывают. Реестр ebXML предоставляет набор служб, позволяющих обмениваться контентом и метаданными между объектами организации в объединенной среде	И	П	ИП	П	И		ИП
OASIS extensible Access Control Markup Language (XACML) [Расширяемый язык разметки контроля доступа (XACML), OASIS]	Стандарт описывает декларативный язык политики управления доступом, реализованный в XML, а также модель обработки, описывающую, как оценивать запросы на получение доступа в соответствии с правилами, указанными в политиках	И	П	ИП	ИП	И			ИП
OASIS Message Queuing Telemetry Transport (MQTT) [Передача телеметрии очереди сообщений (MQTT), OASIS]	MQTT - протокол обмена сообщениями в среде "клиент-сервер" по принципу "публикация/подписка" для ограниченных сред, например для связи типа "машина-машина" и в рамках Интернета вещей, где требуется небольшой размер кода и/или существует нехватка пропускной способности сети	И	П	ИП	П			ИП
OASIS Open Data (OData) Protocol [Протокол открытых данных (OData), OASIS]	Протокол OData - это протокол прикладного уровня для взаимодействия с данными через интерфейсы RESTful. Протокол поддерживает описание моделей данных, а также редактирование и запросы на получение данных в соответствии с этими моделями	И	П	ИП	П	И
OASIS Search Web Services (SWS) [Службы веб-поиска (SWS), OASIS]	Инициатива OASIS SWS описывает общий протокол взаимодействия между клиентом и сервером для выполнения поиска. SWS устанавливают абстрактное определение протокола (APD) для описания этого взаимодействия	И	П	ИП
OASIS Security Assertion Markup Language (SAML) v2.0 [Язык разметки утверждений безопасности (SAML), версия 2.0, OASIS]	SAML определяет синтаксис и семантику обработки утверждений, сделанных системным объектом в отношении субъекта. Эта спецификация описывает как структуру утверждений SAML, так и связанный с ней набор протоколов в дополнение к правилам обработки, задействованным в управлении системой SAML	И	П	ИП	ИП	И		ИП	ИП
OASIS SOAP-over-UDP (User Datagram Protocol) v1.1 [Протокол пользовательских датаграмм (SOAP-over-UDP), версия 1.1, OASIS]	Эта спецификация описывает привязку SOAP к пользовательским датаграммам, включая шаблоны сообщений, требования к адресации и соображения безопасности	И	П	ИП
OASIS Solution Deployment Descriptor Specification v1.0 (Спецификация дескриптора развертывания решений, версия 1.0 OASIS)	Эта спецификация описывает схему для двух типов документов XML: дескрипторов пакета и дескрипторов развертывания. Дескрипторы пакета определяют характеристики пакета, используемого для развертывания решения. Дескрипторы развертывания определяют характеристики содержимого пакета решения, включая требования, имеющие значение для создания, настройки и обслуживания содержимого решения						ИП			ИП
OASIS Symptoms Automation Framework (SAF) Version 1.0 [Структура автоматизации симптомов (SAF), версия 1.0, OASIS]	Этот стандарт описывает эталонную архитектуру для Symptoms Automation Framework - инструмента для автоматического обнаружения, оптимизации и исправления эксплуатационных аспектов сложных систем						И			ИП
OASIS Topology and Orchestration Specification for Cloud Applications Version 1.0 [Спецификация топологии и манипуляции для облачных приложений, версия 1.0, OASIS]	Для указания "топологии" (или структуры) и "манипуляции" (или инициирования управленческой деятельности) ИТ-служб использовано понятие "шаблон служб". Эта спецификация предоставляет формальное описание шаблонов служб, включая их структуру, свойства и поведение			П	ИП		И			ИП
OASIS Universal Business Language (UBL) v2.1 [Универсальный деловой язык (UBL), версия 2.1, OASIS]	OASIS UBL описывает общий формат обмена XML для деловых документов, который может быть ограничен или расширен для соответствия требованиям конкретных отраслей	И	П	ИП	П	И		П
OASIS Universal Description, Discovery and Integration (UDDI) v3.0.2 [Универсальное описание, обнаружение и интеграция (UDDI), версия 3.0.2, OASIS]	В центре внимания UDDI находится определение набора сервисов, поддерживающих описание и обнаружение (1) предприятий, организаций и других поставщиков веб-сервисов, (2) предоставляемых ими веб-сервисов и (3) технических интерфейсов, которые могут быть использованы для доступа к этим сервисам	И	П	ИП						П
OASIS Unstructured Information Management Architecture (UIMA) v1.0 [Неструктурированная архитектура управления информацией (UIMA), версия 1.0, OASIS]	Спецификация UIMA описывает независимые от платформы представления данных и интерфейсы для текстовой и мультимодальной аналитики			П	И
OASIS Unstructured Operation Markup Language (UOML) v1.0 [Неструктурированный язык разметки операций (UOML), версия 1.0, OASIS]	UOML является стандартом интерфейса для обработки неструктурированных документов; он имеет такое же значение, как и SQL для структурированных данных. UOML выражается стандартным XML	И	П	ИП	И
OASIS/W3C Web-CGM v2.1	Метафайл компьютерной графики (CGM) - это стандарт ИСО, установленный ИСО/МЭК 8632- *, для обмена двухмерной векторной и смешанной векторной/растровой графикой. WebCGM - это профиль CGM, который добавляет веб-ссылки и оптимизирован для веб-приложений в области технической иллюстрации, электронной документации, визуализации геофизических данных и аналогичных сферах	И	П	ИП	П	ИП	И
OASIS Web Services Business Process Execution Language (WS-BPEL) v2.0 [Язык выполнения бизнес-процессов веб-служб (WS-BPEL), версия 2.0, OASIS]	Этот стандарт описывает язык для определения поведения бизнес-процессов на основе веб-служб. WS-BPEL предоставляет язык для спецификации исполняемых и абстрактных бизнес-процессов	И	П	ИП	И
OASIS/W3C - Web Services Distributed Management (WSDM): Management Using Web Services (MUWS) v1.1 [Распределенное управление веб-службами (WSDM): управление с помощью веб-сервисов (MUWS), версия 1.1, OASIS/W3C]	MUWS определяет, каким образом ИТ-ресурс, подключенный к сети, предоставляет интерфейсы управления, позволяющие контролировать ИТ-ресурс локально и из удаленных мест с использованием технологий веб-служб			И	И	И			П	П
OASIS WSDM: Management of Web Services (MOWS) v1.1 [WSDM: Управление веб-сервисами (MOWS), версия 1.1, OASIS]	Эта часть спецификации WSDM описывает управление конечными точками веб-служб с использованием протоколов веб-сервисов			И	И	И			П	П
OASIS Web Services Dynamic Discovery (WS-Discovery) v1.1 [Динамическое обнаружение веб-служб (WS-Discovery), версия v1.1, OASIS]	Эта спецификация описывает протокол обнаружения для определения местоположения сервисов. Основной сценарий обнаружения - это клиент, который ищет одну или несколько целевых служб	И	П	ИП	И	И				П
OASIS Web Services Federation Language (WS-Federation) v1.2 [Язык объединения веб-служб (WS-Federation), версия 1.2, OASIS]	Эта спецификация описывает механизмы, позволяющие объединять различные области безопасности, так что авторизованный доступ к ресурсам, управляемым в одной области, может быть предоставлен администраторам по информационной безопасности, чьи идентификаторы и атрибуты контролируются в других областях	И	П	ИП					П
OASIS Web Services Notification (WSN) v1.3 [Уведомления веб-сервисов (WSN), версия 1.3, OASIS]	WSN - это семейство связанных спецификаций, описывающих стандартный подход веб-сервисов к уведомлению с использованием тематического паттерна "издатель/подписка"	И	П	ИП	И	И
IETF Extensible Provisioning Protocol (EPP) [Расширяемый протокол обеспечения (EPP), IETF]	Эта серия стандартов IETF описывает клиент-серверный протокол прикладного уровня для обеспечения и управления объектами, хранящимися в общем центральном хранилище. Указанный в XML протокол определяет общие операции управления объектами и расширяемую среду, которая сопоставляет операции протокола с объектами						ИП			ИП
IETF Simple Network Management Protocol (SNMP) v3 [Простой протокол сетевого управления (SNMP), версия 3, IETF]	SNMP - это серия поддерживаемых IETF стандартов для удаленного управления системными/сетевыми ресурсами и передачи их статуса. Стандарты включают в себя определения стандартных объектов управления наряду с мерами безопасности			ИП	ИП	И	И	ИП	ИП	П
Примечание - В таблице использованы следующие сокращения: DP - уровень сервис-провайдера данных; DC - уровень потребителя данных; AP - уровень сервис-провайдера приложений; PR - уровень обработки данных; PL - платформенный уровень; INF - инфраструктурный уровень; INT - интеграционный уровень; S&P - уровень обеспечения безопасности и конфиденциальности; MGT - уровень управления данными; И - исполнитель стандартов; П - пользователь стандартов.

8 Перспективные направления стандартизации

В данном разделе представлены лакуны в стандартизации больших данных в тех областях, которые могут быть необходимы организациям по разработке стандартов, консорциумам и пользователям настоящего стандарта. Приведенный ниже список составлен в качестве рекомендаций для ИСО при разработке мероприятий по стандартизации больших данных. Выявленные направления стандартизации больших данных относятся к тем областям, которые могут быть полезны для данного сообщества.

Эти лакуны в работе по стандартизации, связанной с большими данными, находятся в следующих областях:

1) сценарии использования больших данных, определения, словари и эталонные архитектуры (например, система, данные, платформы, онлайн/офлайн);

2) спецификации и стандартизация метаданных, включая происхождение данных;

3) модели приложений (например, пакетные, потоковые);

4) языки запросов, в том числе нереляционных, для поддержки различных типов данных (например, XML, RDF, JSON, мультимедиа) и операций с большими данными (например, матричные операции);

5) предметно-ориентированные языки;

6) семантика соответствия больших данных предметным областям;

7) расширенные сетевые протоколы для эффективной передачи данных;

8) общие и предметные онтологии и таксономии для описания семантики данных, включая взаимосвязь между онтологиями;

9) контроль безопасности больших данных и доступа к конфиденциальности;

10) удаленная, распределенная и объединенная аналитика (перенос аналитики в данные), включая обнаружение данных и ресурсов обработки, а также извлечение данных;

11) совместный доступ к данным и обмен ими;

12) хранение данных (например, система хранения в памяти, распределенная файловая система, хранилище данных);

13) использование результатов анализа больших данных (например, визуализация);

14) измерение потребления энергии при работе с большими данными;

15) интерфейс между реляционными SQL-хранилищами данных и нереляционными NoSQL-хранилищами данных;

16) описание и управление качеством и достоверностью больших данных.

9 Подходы к перспективной стандартизации

Стандарты обычно создают с учетом наиболее усовершенствованных практик и подходов, которые проверены на реальных приложениях, или теории, адаптированной для отражения дополнительных переменных и условий, выявленных в ходе реализации.

В случае больших данных многие стандарты развиваются на основе действующих стандартов, модифицированных для учета уникальных особенностей больших данных. Определения и эталонная архитектура формируют основу существующих стандартов для удовлетворения потребностей в больших данных, а также оценки существующих решений и практик в качестве прототипов новых стандартов. Инициативы по разработке требуемых стандартов на основе принятых стандартов могут устранить эти лакуны путем их расширения или дополнения с учетом особенностей больших данных, а также в рамках разработки на их основе уникальных профилей больших данных. Экспоненциальный рост объема данных уже приводит к разработке новых теорий в различных областях, например: синхронизации данных в больших распределенных вычислительных средах или обеспечения согласованности в средах с большим объемом и скоростью обработки данных.

Примечание - В ходе практической реализации технологий эталонные решения будут развиваться на основе общественного признания программных проектов с открытым кодом.

Приложение А

(справочное)

Список используемых источников

А.1 Основные источники

Институт инженеров электротехники и электроники (IEEE) https://www.ieee.org/index.html

Международный комитет по стандартам информационных технологий (INCITS) http://www.incits.org/

Международная электротехническая комиссия (МЭК) http://www.iec.ch/

Международная организация по стандартизации (ИСО) http://www.iso.org/iso/home.html

Открытый геопространственный консорциум (OGC) http://www.opengeospatial.org/

Открытый форум по грид-вычислениям (OGF). https://www.ogf.org/ogf/doku.php

Организация по усовершенствованию стандартов структурированной информации (OASIS) https://www.oasis-open.org/

Консорциум Всемирной паутины (W3C) http://www.w3.org/

Приложение ДА