ГОСТ Р 57700.36-2021 Высокопроизводительные вычислительные системы. Оценка производительности высокопроизводительных вычислительных систем на алгоритмах, использующих сверточные нейронные сети

ГОСТ Р 57700.36-2021

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ

Оценка производительности высокопроизводительных вычислительных систем на алгоритмах, использующих сверточные нейронные сети

High-performance computing systems. Performance evaluation of high-performance computing systems on algorithms using convolutional neural network

ОКС 35.240.50

Дата введения 2022-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным унитарным предприятием "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") и Федеральным государственным унитарным предприятием "Российский федеральный ядерный центр - Всероссийский научно-исследовательский институт экспериментальной физики" (ФГУП "РФЯЦ-ВНИИЭФ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 700 "Математическое моделирование и высокопроизводительные вычислительные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 16 сентября 2021 N 980-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет ()

Введение

Развитие вычислительной техники делает возможным постоянное расширение числа прикладных задач, решаемых с помощью технологий искусственного интеллекта. В частности, повсеместное применение в задачах компьютерного зрения находят алгоритмы на основе сверточных нейронных сетей (СНС). Распространение СНС повлекло за собой создание различных специализированных архитектур вычислителей.

СНС обладают своей спецификой, не позволяющей объективно оценить реальную производительность вычислителя или вычислительной системы с помощью только общих технических характеристик. Возникла необходимость в специальной методике для оценки реальной производительности различных вычислительных систем в задачах, использующих алгоритмы на основе СНС.

В настоящем стандарте описана методика оценки производительности высокопроизводительных вычислительных систем (ВВС) и их частей на алгоритмах, использующих СНС. Методика была разработана с целью максимального упрощения задачи оценки производительности для лиц, не знакомых с СНС, сделать возможным оценку производительности без использования источников информации, отличных от настоящего стандарта, в то же время позволяя эффективно применять методику для оценки вычислительных систем любого типа и размера.

В качестве необходимых данных для создания эталонных реализаций тестов производительности в настоящем стандарте приведены описания типовых операций СНС и описания типовых нейронных сетей. Для создания высокопроизводительных реализаций СНС в настоящем стандарте приведена методика верификации реализации СНС. Высокопроизводительные реализации СНС используются в описанной в настоящем стандарте методике оценки производительности.

В настоящем стандарте также приведены рекомендуемые требования к программному обеспечению (ПО), используемому при тестировании производительности согласно приведенной методике, и вычислительным системам, применяемым для вычислений СНС. Несоблюдение требований к ПО может привести либо к невозможности выполнения оценки производительности, либо к получению значений реальной производительности в разы меньших по сравнению со значениями, которые могут быть практически получены на той же вычислительной технике. Несоблюдение требований к вычислительным системам может привести к применению для вычислений СНС ВВС, заведомо не способных продемонстрировать на них удовлетворительный уровень производительности.

Методику оценки производительности, описанную в настоящем стандарте, рекомендуется применять, в том числе, при составлении требований технического задания на ВВС и их части, при составлении требований на прикладное ПО, реализующее вычисления СНС на ВВС и их частях, при описании характеристик ВВС, которые предполагается применять для алгоритмов, использующих СНС.

1 Область применения

Настоящий стандарт устанавливает методику определения реальной производительности высокопроизводительных вычислительных систем (ВВС) в задачах, использующих алгоритмы на основе сверточных нейронных сетей (СНС), методику верификации реализаций СНС, а также рекомендательные требования к вычислительным системам и программному обеспечению (ПО).

Методика оценки производительности и требования к вычислительным системам и ПО, установленные настоящим стандартом, рекомендуются для использования при оценке производительности вычислительных систем, применяемых для решения задач, использующих алгоритмы на основе СНС. Методика верификации реализаций СНС рекомендуется для использования при реализации алгоритмов на основе СНС.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 57700.27 Высокопроизводительные вычислительные системы. Термины и определения

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ Р 57700.27, а также следующие термины с соответствующими определениями:

3.1 искусственный интеллект (artificial intelligence): Комплекс технологических и программных решений, приводящих к результату, аналогичному или превосходящему результат интеллектуальной деятельности человека (включая способность к самообучению), и используемых для решения прикладных задач на основе данных, в том числе с помощью систем компьютерного зрения, систем обработки естественного языка, рекомендательных систем и интеллектуальных систем поддержки принятия решений и робототехники.

3.2 машинное обучение (machine learning): Процесс обучения алгоритмов искусственного интеллекта с использованием вычислительной техники.

3.3 обучение (training): Процесс создания или улучшения определенной функциональности алгоритмов искусственного интеллекта либо путем использования набора данных в качестве примеров для предполагаемого отношения вопрос/ответ, либо путем обеспечения положительной или отрицательной обратной связи с выходными данными, полученными для соответствующих входных данных.

3.4 нейронная сеть (neural network): Алгоритм из класса алгоритмов искусственного интеллекта, представляющий собой предопределенную последовательность действий с множеством регулируемых параметров, в котором значения выходных данных сложным образом зависят от значений входных данных.

3.5 алгоритм (algorithm): Точно установленное предписание о выполнении в определенном порядке некоторой последовательности операций, однозначно ведущих к решению той или иной конкретной задачи.

3.6 среда машинного обучения (machine learning framework): Программное обеспечение, упрощающее создание пользователем реализаций СНС, обучение СНС и применение СНС.

3.7 тест производительности (benchmark): Типовая тестовая программа, используемая при тестировании производительности вычислительной системы или ее части.

3.9 относительная реальная производительность (relative real performance): Отношение реальной производительности к теоретической пиковой производительности.

3.10 вычислительная ячейка (computing cell): Часть ВВС, которая может включать в себя части подсистем ВВС, в том числе вычислительные узлы ВВС, выделение которой удобно с точки зрения высокопроизводительной реализации конкретной программы.

Примечание - Вычислительные ячейки ВВС не могут пересекаться друг с другом.

3.11 однородные вычислительные компоненты (homogeneous computing components): Компоненты ВВС с одинаковым функционалом и характеристиками.

3.12 слой нейронной сети (neural network layer): Фрагмент нейронной сети, который можно выделить в отдельную типовую параметризованную процедуру.

3.13 обучение методом обратного распространения ошибки (back propagation): Итеративный способ обучения, каждая итерация которого состоит из четырех шагов: прямого хода, обратного хода, вычисления градиента и изменения значений весов.

3.14 сверточный слой (convolutional layer): Тип слоя нейронной сети, в основе которого лежат процедуры свертки и матричного умножения.

3.15 сверточная нейронная сеть (convolutional neural network); СНС: Вид нейронной сети, в которой используются сверточные слои.

3.16 вход нейронной сети (input): Начало нейронной сети как алгоритма.

3.17 входной массив нейронной сети (input): Массив данных, подаваемый на вход нейронной сети.

3.18 выход нейронной сети (output): Конец нейронной сети как алгоритма.

3.19 выходной массив нейронной сети (output): Массив данных, генерируемый нейронной сетью на выходе нейронной сети.

3.20 веса (weights): Параметры нейронной сети, настраиваемые во время процесса машинного обучения.

3.21 архитектура нейронной сети (neural network architecture): Описание нейронной сети, в котором приведено, из каких слоев состоит нейронная сеть, каковы параметры этих слоев, описан процесс передачи данных между этими слоями, а также входом и выходом нейронной сети, но не указаны конкретные значения весов нейронной сети.

3.22 применение нейронной сети (inference): Использование нейронной сети как алгоритма для получения выходных данных по входным данным с целью извлечения практической пользы.

3.23 размер пакета (batch size, batchsize): Параметр, устанавливающий для процесса обучения количество комплектов входных массивов нейронной сети, обрабатываемых нейронной сетью в одной итерации обучения, либо устанавливающий для применения нейронной сети количество одновременно обрабатываемых комплектов входных данных.

3.24 реализация сверточной нейронной сети (implementation of a convolutional neural network): Прикладная программа или программный компонент, выполняющая вычисления, заданные нейронной сетью как алгоритм, для процедуры обучения нейронной сети или для процедуры применения нейронной сети.

3.25 эталонная реализация сверточной нейронной сети (reference implementation of a convolutional neural network): Реализация сверточной нейронной сети, относительно которой принимается допущение, что она не содержит ошибок, а погрешности округлений и вычислений в ней можно игнорировать.

Примечание - Эталонная реализация сверточной нейронной сети также является корректной реализацией сверточной нейронной сети.

3.26 корректная реализация сверточной нейронной сети (correct implementation of a convolutional neural network): Реализация сверточной нейронной сети, которая не обязательно считается эталонной, но для которой известно, что она выдает корректный результат с допустимой точностью.

3.27 высокопроизводительная реализация сверточной нейронной сети (high-performance implementation of a convolutional neural network): Реализация сверточной нейронной сети, реализованная таким образом, чтобы она выдавала корректный результат с допустимой точностью за минимальное время.

3.28 прямой ход (forward): Первый из четырех шагов обучения методом обратного распространения ошибки, заключающийся в применении нейронной сети и получении выходных данных по заданным входным.

3.29 карты признаков (feature map): Промежуточные массивы данных, возникающие во время вычислений прямого хода в сверточной нейронной сети.

Примечание - Для общности к картам признаков также относятся входной и выходной массивы нейронной сети.

3.30 обратный ход (backward): Второй из четырех шагов обучения методом обратного распространения ошибки, заключающийся в вычислении специальных промежуточных данных, облегчающих вычисления следующего шага.

3.31 невязки (residual): Промежуточные данные, возникающие во время вычислений обратного хода в сверточной нейронной сети аналогично тому, как карты признаков возникают во время вычислений прямого хода.

3.32 вычисление градиента (gradient calculation): Третий из четырех шагов обучения методом обратного распространения ошибки, заключающийся в вычислении массива приращений для весов.

3.33 градиент (gradient): Массив приращений для весов.

3.34 изменение значений весов (updating weights): Четвертый из четырех шагов обучения методом обратного распространения ошибки, заключающийся в замене текущих весов нейронной сети новыми значениями с использованием градиента.

3.35 итерация обучения (training iteration): Итерация процесса обучения методом обратного распространения ошибки, состоящая из последовательных вызовов четырех шагов обучения.

3.36 фильтр (filter): Массив с определенной структурой, в который объединяются веса некоторых слоев сверточной нейронной сети.

3.37 смещение (bias): Один из типов весов, используемый в различных слоях сверточной нейронной сети.

3.38 ядро пулинга (pooling kernel): Прямоугольная рамка, умозрительная прикладываемая к входной карте признаков в слое пулинга.

3.39 канал карты признаков (channel): Группа значений, выделяемая в карте признаков, объединяющая значения карты признаков с одним индексом глубины.

3.40 шаг свертки/шаг пулинга (stride): Величина, регулирующая число вычислений в слое нейронной сети.

3.41 расширение (padding): Величина, регулирующая ширину и высоту выходной карты признаков.

4 Сокращения и обозначения

В настоящем стандарте применены следующие сокращения и обозначения:

5 Общие положения

Оценку производительности выполняют следующим образом:

- с помощью описания типовых слоев СНС, приведенных в разделе 6, реализуются отдельные функции, выполняющие вычисления отдельных слоев;

- с помощью описания типовых СНС, приведенных в разделе 7, и реализованных функций, создаются эталонные реализации типовых СНС;

- помимо эталонной реализации, создаются также высокопроизводительные реализации СНС, верифицируемые с помощью эталонных реализаций и методики верификации, описанной в разделе 8;

- оценка производительности осуществляется согласно методике, описанной в разделе 9.

6 Типовые операции в сверточных нейронных сетях

Большинство СНС состоят из слоев, типы которых описаны в данном разделе. Встречаются также и другие типы слоев СНС, однако для целей оценки производительности достаточно использовать описанные в настоящем стандарте типы. Для каждого слоя (см. приложение А) приведен один или два поясняющих фрагмента кода на языке С. Эти фрагменты кода не являются полноценными текстами программ, они приведены в качестве описания последовательности математических операций, выполняемых в слое.

6.1 Сверточный слой

6.1.1 Общие сведения

Сверточный слой является основной вычислительной процедурой в СНС. Наличие сверточного слоя в нейронной сети позволяет классифицировать эту нейронную сеть как сверточную.

6.1.2 Краткое описание слоя

Ширину и высоту выходной карты признаков вычисляют по формулам:

Примечания

1 Встречаются также описания сверточного слоя, содержащие дополнительные параметры помимо описанных выше параметров. При этом слой также можно классифицировать как сверточный, если найдется набор значений дополнительных параметров, при фиксации которых слой выполняет те же вычисления, что и сверточный слой.

2 Как правило, СНС содержат от нескольких единиц до нескольких сотен сверточных слоев.

6.2 Слой пулинга

6.2.1 Общие сведения

Слой пулинга (англ. pooling layer) применяется в СНС для уменьшения ширины и высоты карт признаков, используемых в СНС.

6.2.2 Краткое описание слоя

Ширину и высоту выходной карты признаков вычисляют по формулам:

В некоторых реализациях ширина и (или) высота выходной карты признаков могут быть больше значений, полученных по приведенной формуле, на единицу.

Примечания

1 Встречаются также описания слоя пулинга, содержащие дополнительные параметры помимо описанных выше параметров. При этом слой также можно классифицировать как слой пулинга, если найдется набор значений дополнительных параметров, при фиксации которых слой выполняет те же вычисления, что и слой пулинга.

2 Иногда для слоя пулинга определяется параметр режима округления (англ. ceil mode) или другие особые режимы использования расширения. В этих случаях расчет тех значений выходного массива, которые по ширине и высоте имеют крайние индексы, может отличаться от приведенного выше.

3 Иногда слой пулинга определяется как глобальный (англ. global). Это означает, что размеры ядра пулинга выбираются равными ширине и глубине входной карты признаков.

4 Как правило, СНС содержат от нескольких единиц до нескольких десятков слоев пулинга.

6.3 Слой ректификации

6.3.1 Общие сведения

Слой ректификации (англ. rectified linear unit - урезанный линейный модуль) используется в СНС для придания им определенных свойств.

6.3.2 Краткое описание слоя

Примечания

1 Чаще всего для обозначения слоя ректификации используется аббревиатура "ReLU".

2 Встречаются различные варианты слоев, являющиеся модификациями слоя ректификации, со схожим функционалом. Как правило, в названиях этих слоев фигурирует аббревиатура "ReLU".

3 Как правило, в СНС слой ректификации регулярно следуют сразу после сверточных или других слоев.

6.4 Слой склейки

6.4.1 Общие сведения

Слой склейки (англ. concat) используется в СНС для усложнения их структуры.

6.4.2 Краткое описание слоя

Примечания

1 Иногда встречаются обобщенные описания слоя склейки, допускающие большее число измерений у карт признаков, а также допускающие, что в качестве размерности, по которой выполняется склейка, выступает размерность, отличная от глубины.

2 В СНС, как правило, слой склейки либо не встречаются, либо встречаются в количестве от нескольких десятков до нескольких сотен.

6.5 Слой расщепления

6.5.1 Общие сведения

Слой расщепления (англ. split) используется в СНС для усложнения их структуры.

6.5.2 Краткое описание слоя

Примечания

1 Иногда встречаются обобщенные описания слоя расщепления, допускающие большее число измерений у карт признаков, а также допускающие, что в качестве размерности, по которой выполняется расщепление, выступает размерность, отличная от глубины.

2 В СНС, как правило, слой расщепления либо не встречаются, либо встречаются в количестве от нескольких десятков до нескольких сотен.

6.6 Поканальный сверточный слой

6.6.1 Общие сведения

Поканальный сверточный слой (англ. depthwise convolution layer) является вычислительной процедурой, применяемой в СНС в качестве упрощенного варианта сверточного слоя.

6.6.2 Краткое описание слоя

Ширину и высоту выходной карты признаков вычисляют по формулам:

Примечания

1 Иногда поканальный сверточный слой описывается как модификация сверточного слоя или как сверточный слой с определенными ограничениями на параметры.

2 В СНС, как правило, поканальные сверточные слои либо не встречаются, либо встречаются в количестве от нескольких десятков до нескольких сотен.

6.7 Поэлементный слой

6.7.1 Общие сведения

Поэлементный слой (англ. elementwise) используется в СНС для придания им определенных свойств.

6.7.2 Краткое описание слоя

Примечания

1 Чаще всего для обозначения поэлементного слоя используется сокращение "eltwise". Поэлементный слой является операцией сложения, примененной к массивам в СНС, поэтому иногда понятие поэлементного слоя опускается.

2 Встречаются варианты поэлементного слоя, в которых карты признаков складываются с весовыми коэффициентами, либо вместо операции сложения используется операция умножения.

3 В СНС, как правило, поэлементные слои либо не встречаются, либо встречаются в количестве нескольких десятков.

6.8 Полносвязный слой

6.8.1 Общие сведения

Полносвязный слой (англ. fully connected layer) является вычислительной процедурой в СНС, используемой в конце вычислений для формирования признаков, несущих конкретный понятный пользователю смысл.

6.8.2 Краткое описание слоя

Примечания

1 Для обозначения полносвязного слоя иногда используются термины "dense", "inner product", реже "linear".

2 Как правило, СНС содержат не более трех полносвязных слоев, расположенных последовательно друг за другом.

6.9 Слой перемешивания

6.9.1 Общие сведения

Слой перемешивания (англ. shuffle layer) используется в СНС для придания им определенных свойств.

6.9.2 Краткое описание слоя

Примечания

1 Встречаются реализации слоя перемешивания, в которых формула вычисления индекса глубины в выходном массиве отличается от приведенной.

2 Как правило, в СНС слои перемешивания либо не встречаются, либо встречаются в количестве нескольких десятков.

7 Типовые сверточные нейронные сети

7.1 В настоящем стандарте описаны шесть типовых СНС: "М", "Г", "В", "С", "Р" и "Ш". Перечисленные СНС являются упрощенными аналогами широко распространенных СНС, их архитектуры вместе содержат все типовые слои СНС. Пример широко распространенной СНС приведен на рисунке 2.

7.2 Описания СНС приведены в таблицах Б.1-Б.6 приложения Б. В таблицах приведены все параметры СНС, кроме размера пакета. Выбранное для СНС значение размера пакета является значением размера пакета для каждого слоя СНС.

7.3 СНС в таблицах описаны согласно следующим правилам:

- каждый слой СНС описан одной строкой таблицы и имеет собственный номер, указанный в графе "Номер п/п";

- вычисление прямого хода для СНС представляет собой последовательные вычисления прямого хода для всех слоев СНС в порядке возрастания номеров; вычисление обратного хода для СНС представляют собой последовательные вычисления обратного хода для всех слоев СНС в порядке убывания номеров; вычисление градиента для СНС представляет собой совокупность вычислений градиента для каждого слоя, располагающего весами; изменение значений весов для СНС представляет собой совокупность изменений значений весов для каждого слоя, располагающего весами;

- в каждой итерации обучения все промежуточные значения, полученные на одном из четырех шагов, остаются постоянными до завершения итерации обучения; значения весов (в том числе фильтров и смещений), полученные на текущей итерации обучения, передаются на следующую итерацию обучения;

- для каждого СНС входом является входная карта признаков первого слоя, выходом СНС является выходная карта признаков последнего слоя;

- для каждого слоя указан его тип в графе "Тип";

- для каждого слоя в графах "Вх1" и "Вх2" указаны номера слоев, выходные карты признаков которых являются входными картами признаков данного слоя; если у слоя только одна входная карта признаков, то в графе "Вх2" стоит символ "-"; если в графе "Вх1" или "Вх2" указан номер слоя, являющегося слоем расщепления, то к номеру дописывается набор символов ".1", если в качестве соответствующей входной карты признаков используется первая выходная карта признаков слоя расщепления, либо набор символов ".2", если в качестве соответствующей входной карты признаков используется вторая выходная карта признаков слоя расщепления;

Рисунок 2 - СНС, упрощенной версией которой является СНС "Г"

8 Методика верификации реализации сверточных нейронных сетей

8.1 Методика верификации применяется для верификации реализации СНС и позволяет определить, может ли реализация СНС считаться корректной или эталонной. Методика не исключает наличия других способов, позволяющих заключить, что реализация СНС является эталонной.

8.2 Методика состоит в выполнении следующей последовательности действий:

- определяется верифицируемая реализация СНС, в частности, осуществляется ли реализация обучения или применения СНС;

- задается вход СНС и все веса СНС, которые будут использоваться и верифицируемой, и эталонной реализациями СНС; вход СНС должен состоять из случайно выбранных действительных чисел в диапазоне от -127 до 128, веса СНС должны состоять из случайно выбранных действительных чисел в диапазоне от -1 до 1; если реализация осуществляет обучение нейронной сети, то задается также массив невязок, ассоциированный с выходом СНС; массив невязок должен состоять из случайно выбранных действительных чисел в диапазоне от -127 до 128;

- создается эталонная реализация СНС, при этом для СНС, описанных в настоящем стандарте, эталонная реализация СНС создается согласно описанию, приведенному в настоящем стандарте;

- если условия задачи, в интересах которой создана верифицируемая реализация СНС, допускают погрешности вычислений, и для этих погрешностей вычислений можно аналитически определить максимально допустимое значение СКО, то задается значение СКОП, равное максимально допустимому значению СКО; в противном случае задается значение СКОП, равное нулю;

- если значение СКО оказалось меньше СКОП, то считается, что верифицируемая реализация СНС может считаться корректной, но эталонной считаться не может, процедура верификации завершается;

- если значение СКО оказалось не меньше СКОП, то считается, что верифицируемая реализация СНС не может считаться корректной, процедура верификации завершается.

9 Методика оценки производительности

9.1 Ключевым компонентом методики оценки производительности ВВС на алгоритмах, использующих СНС, являются тесты производительности, основанные на типовых СНС, приведенных в приложении Б.

9.2 Для обозначения теста производительности применяется специальная нотация. Схема формирования обозначения теста производительности приведена на рисунке 3.

9.3 Тест производительности для обучения применяется согласно следующим правилам:

- для теста производительности выбирается одна из шести типовых СНС;

- определяется ВВС, на которой будет запущен тест производительности; в ВВС выделяется максимально возможное число одинаковых с точки зрения программирования и доступа к общим ресурсам (дисковым накопителям, коммуникационным связям) вычислительных ячеек, содержащих основные вычислительные ресурсы ВВС;

- создается высокопроизводительная реализация выбранной для теста производительности СНС, позволяющая выполнять последовательные итерации обучения в одной вычислительной ячейке с использованием выбранного типа данных; реализация СНС должна быть верифицирована с помощью методики, описанной в разделе 8;

- для каждой вычислительной ячейки создается набор из 1000000 изображений, каждое из которых по размеру совпадает с входной картой признаков первого слоя выбранной СНС, при этом наборы, используемые разными вычислительными ячейками, не должны совпадать;

- выполняется прямой ход СНС;

- массив невязок, ассоциированный с выходной картой признаков последнего слоя СНС, заполняется любыми действительными значениями с плавающей точкой одинарной точности (float);

- выполняется обратный ход;

- для всех слоев СНС выполняется вычисление градиента и изменение значений весов;

9.4 Тест производительности для применения СНС применяется согласно следующим правилам:

- определяется ВВС, на которой будет запущен тест производительности; в ВВС выделяется максимально возможное число одинаковых с точки зрения программирования и доступа к общим ресурсам (дисковым накопителям, коммуникационным связям) вычислительных ячеек, содержащих основные вычислительные ресурсы ВВС;

- создается реализация выбранной для теста производительности СНС, позволяющая выполнять применение нейронной сети в одной вычислительной ячейке с использованием выбранного типа данных; реализация СНС должна быть верифицирована с помощью методики, описанной в разделе 8;

- произвольным образом выбирается входная карта признаков первого слоя;

- выполняется прямой ход СНС;

Таблица 1 - Значения вычислительной сложности для типовых СНС, миллиарды УнС

9.6 Вычисленное значение ОРП является результатом теста производительности и может использоваться вместе с обозначением теста производительности.

Рисунок 3 - Нотация обозначения теста производительности

9.7 Вместе с результатом теста производительности рекомендуется приводить комментарий, поясняющий используемый тип данных, способ разделения ВВС на вычислительные ячейки, какие компоненты ВВС не были использованы, значение производительности вычислительной ячейки в УсН/с в выбранном типе данных, особенности использованного программного обеспечения и, если необходимо, пояснение относительно того, как это значение было определено.

9.8 Методика оценки производительности ВВС на алгоритмах, использующих СНС, состоит в получении двух оценок при выполнении следующей последовательности действий:

- определяется ВВС, для которой выполняется оценка производительности;

- определяется, выполняется ли оценка производительности для обучения нейронных сетей или для применения нейронных сетей;

- определяется, какой тип данных используется в реализациях тестов производительности для данной ВВС;

- задается целое число от 1 до 1024, используемое в качестве размера пакета В для всех тестов производительности;

- среди полученных шести результатов тестов производительности выбирается одно самое малое значение, для остальных вычисляется их среднеарифметическое значение, оно измеряется в процентах и принимается за первый результат оценки производительности;

- второй результат оценки производительности формируется путем умножения первого результата на теоретическую пиковую производительность ВВС в УсН/с над используемым типом данных и деления полученного произведения на 100; второй результат измеряется в УсН/с и характеризует реальную производительность ВВС;

- для обозначения оценки производительности применяется специальная нотация. Схема формирования обозначения оценки производительности приведена на рисунке 4;

- вместе с результатом оценки производительности рекомендуется приводить комментарий, поясняющий используемый тип данных, способ разделения ВВС на вычислительные ячейки (если этот способ различается для разных СНС, то приводится для каждой СНС), какие компоненты ВВС не были использованы, название теста производительности, результат которого не был учтен при вычислении среднеарифметического значения на шаге 6, результат этого теста производительности, особенности использованного программного обеспечения и значение производительности вычислительной ячейки в УсН/с в выбранном типе данных.

Примечания

1 Первый результат оценки производительности характеризует качество работы ВВС, второй результат оценки характеризует реальную производительность ВВС и предназначен для сравнения ВВС друг с другом. Чем больше значения второго результата оценки, тем больший объем вычислений может быть выполнен в ВВС за заданное время. Если высокопроизводительные реализации тестов производительности выполнены некачественно, т.е. не обеспечивают эффективного использования вычислительных ресурсов, то значения оценки производительности могут быть в разы меньше достижимых значений и, таким образом, могут неверно характеризовать производительность ВВС.

2 Рекомендуется первый и второй результаты оценки производительности всегда приводить вместе для наглядности и избежания неверного трактования получаемых результатов.

Рисунок 4 - Нотация обозначения оценки производительности

10 Требования к программному обеспечению

Следующие требования рекомендуется применять к ПО, используемому при оценке производительности в соответствии с методикой:

- используемое ПО должно допускать верификацию создаваемых реализаций СНС при условии наличия эталонных реализаций;

- в случае, если для компонентов ВВС, осуществляющих вычисления, существуют свободно распространяемые высокопроизводительные библиотеки с реализациями вычислений СНС, то либо для реализации тестов производительности должна быть использована хотя бы одна из этих библиотек, либо должно быть обосновано, что применяемые программные средства эффективно используют возможности аппаратуры компонентов ВВС;

- использование реализаций СНС, написанных без использования аппаратно-зависимых программных компонентов, не допускается.

11 Требования к высокопроизводительным вычислительным системам

11.1 Следующие требования рекомендуется предъявлять к ВВС и вычислительным ячейкам, используемым для применения СНС:

- должна быть обеспечена аппаратная и программная поддержка вычислений и хранения данных в одном из типов данных: число с плавающей точкой одинарной точности (float), число с плавающей точкой половинной точности (half float), не стандартизованное число с плавающей точкой с разрядностью, не превосходящей 32 или целое число в дополнительном коде с разрядностью, не превосходящей 16;

- если тип данных, который предполагается использовать для реализаций СНС, отличается от числа с плавающей точкой одинарной точности, то должна быть возможность поддержки реализаций СНС, использующих тип данных, который предполагается использовать;

- значение теоретической пиковой производительности ВВС, исчисляемой в УсН/с в выбранном типе данных, должно быть не менее чем на 75% обеспечено однородными вычислительными компонентами;

- ВВС должна допускать такое разбиение на вычислительные ячейки, чтобы каждая вычислительная ячейка позволяла пользователю запускать независимые программы, включающие реализации СНС, внутри этой ячейки;

- ВВС должна быть обеспечена ПО, удовлетворяющим требованиям настоящего стандарта.

11.2 Рекомендуется предъявлять к ВВС и вычислительным ячейкам, используемым для обучения СНС, следующие требования:

- должна быть обеспечена аппаратная и программная поддержка вычислений и хранения данных в одном из типов данных: число с плавающей точкой одинарной точности (float) или число с плавающей точкой половинной точности (half float);

- если для реализаций СНС предполагается использовать числа с плавающей точкой половинной точности, то должна быть возможность поддержки реализаций СНС, использующих числа с плавающей точкой половинной точности;

- значение теоретической пиковой производительности ВВС, исчисляемой в УсН/с в выбранном типе данных, должно быть не менее чем на 75% обеспечено однородными вычислительными компонентами;

- ВВС должна допускать такое разбиение на вычислительные ячейки, чтобы каждая вычислительная ячейка позволяла пользователю запускать независимые программы, включающие реализации СНС, и каждая вычислительная ячейка имела доступ к подсистеме хранения данных, при этом для каждой вычислительной ячейки может быть обеспечен объем не менее 256 Гбайт в подсистеме хранения данных;

- ВВС должна быть обеспечена ПО, удовлетворяющим требованиям настоящего стандарта.

Приложение А

(обязательное)

Поясняющие фрагменты кода для типовых слоев СНС

Приведенные в данном приложении фрагменты кодов написаны на языке С и являются поясняющими. При их написании в целях наглядности были приняты следующие условности:

- в начале каждого фрагмента объявлены массивы, используемые во фрагменте, но заполнение массивов начальными значениями опущено;

- объявления параметров слоев и других переменных опущены;

- в каждом фрагменте после объявления массивов следуют две или четыре секции, разделенные строками, начинающимися с символов "//";

- в строках, начинающихся с символов "//", указано, к какому из четырех шагов обучения относится следующая за строкой секция;

- для слоев, которые не располагают весами, не выполняется никаких действий на шагах вычисления градиента и изменения значений весов, поэтому соответствующие секции для таких слоев опущены;

- используемые во фрагментах кода данные представлены статическими многомерными массивами типа float для простоты иллюстрации; в реализации СНС способ представления данных может быть выбран произвольно;

- для корректности работы секции кода, иллюстрирующей прямой ход, необходимо, чтобы перед началом секции были заполнены начальными значениями входная карта признаков и массивы весов (в том числе фильтров и смещений);

- для корректности работы секции кода, иллюстрирующей обратный ход, необходимо, чтобы перед началом секции были заполнены начальными значениями входная карта признаков, выходная карта признаков, массив невязок, ассоциированный с выходной картой признаков, и массивы весов (в том числе фильтров и смещений);

- для корректности работы секции кода, иллюстрирующей вычисления градиента, необходимо, чтобы перед началом секции были заполнены начальными значениями входная карта признаков и массив невязок, ассоциированный с выходной картой признаков;

- для корректности работы секции кода, иллюстрирующей изменение значений весов, необходимо, чтобы перед началом секции были заполнены начальными значениями массивы весов (в том числе фильтры и смещения) и массивы соответствующих им приращений;

- прямой ход, обратный ход, вычисление градиента и изменение значений весов проиллюстрированы в одном фрагменте кода для простоты иллюстрации; в реализации СНС вычисления каждого из четырех шагов обучения выполняются совместно для всех слоев сети, при этом вычисления одного шага для всей СНС может быть отделено от вычислений другого шага для всей СНС.

Следующий фрагмент кода поясняет вычисления сверточного слоя.

float IN[B][X][Y][L];

float IN_D[B][X][Y][L];

float OUT[B][Xout][Yout][F];

float OUT_D[B][Xout][Yout][F];

float FILTERS[Rx][Ry][L][F];

float FILTERS_D[Rx][Ry][L][F];

float BIASES[F];

float BIASES_D[F];

// Прямой ход

for (b=0;b<B;b++)

for (f=0;f<F;f++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++) {

OUT[b][x][y][f]=BIASES[f];

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++)

if (x*S+rx-Px>=0)

if (y*S+ry-Py>=0)

if (x*S+rx-Px<X)

if (y*S+ry-Py<Y)

for (l=0;l<L;l++)

OUT[b][x][y][f]+=IN[b][x*S+rx-Px][y*S+ry-Py][l]*FILTERS[rx][ry][l][f];

}

// Обратный ход

for (b=0;b<B;b++)

for (l=0;l<L;l++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

IN_D[b][x][y][l]=0;

for (b=0;b<B;b++)

for (l=0;l<L;l++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++)

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++)

if (x*S+rx-Px>=0)

if (y*S+ry-Py>=0)

if (x*S+rx-Px<X)

if (y*S+ry-Py<Y)

for (f=0;f<F;f++)

IN_D[b][x*S+rx-Px][y*S+ry-Py][l]+=OUT_D[b][x][y][f]*FILTERS[rx][ry][l][f];

// Вычисление градиента

for (f=0;f<F;f++)

for (l=0;l<L;l++)

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++) {

FILTERS_D[rx][ry][l][f]=0;

for (b=0;b<B;b++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++)

if (x*S+rx-Px>=0)

if (y*S+ry-Py>=0)

if(x*S+rx-Px<X)

if (y*S+ry-Py<Y)

FILTERS_D[rx][ry][l][f]+=IN[b][x*S+rx-Px][y*S+ry-Py][l]*OUT_D[b][x][y][f|;

}

for (f=0;f<F;f++) {

BIASES_D[f]=0;

for (b=0;b<B;b++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++)

BIASES_D[f]+=OUT_D[b][x][y][f];

}

// Изменение значений весов

for (f=0;f<F;f++) {

BIASES[f]+=(BIASES_D[f])/B;

for (rx=0;rx<Rx; rx++)

for (ry=0;ry<Ry;ry++)

for (l=0;l<L;l++)

FILTERS[rx][ry ][l][f]+=(FILTERS_D[rx][ry][l][f])/B;

}

В последнем фрагменте IN - входная карта признаков, OUT - выходная карта признаков, FILTERS - массив фильтров, BIASES - массив смещений, IN_D - массив невязок, соответствующий входной карте признаков, OUT_D - массив невязок, соответствующий выходной карте признаков, FILTERS_D - массив приращений фильтров, BIASES_D - массив приращений смещений.

Следующий фрагмент кода поясняет вычисления слоя пулинга с операцией выбора максимального.

float IN[B][X][Y][L];

float IN_D[B][X][Y][L];

float OUT[B][Xout][Yout][L];

float OUT_D[B][Xout][Yout][L];

// Прямой ход

for (b=0;b<B;b++)

for (l=0; l<L;l++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++) {

FIRST=0;

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++)

if ((x*S+rx-Px>=0)&& (y*S+ry-Py>=0)&& if (x*S+rx-Px<X)&& if (y*S+ry-Py<Y)) {

if (FIRST==0) {

FIRST=1;

RES=IN[b][x*S+rx-Px][y*S+ry-Py][l];

} else {

if (RES<IN[b][x*S+rx-Px][y*S+ry-Py][l])

RES=IN[b][x*S+rx-Px][y*S+ry-Py][l];

}

} else {

if (FIRST==0) {

FIRST=1;

RES=0;

} else {

if (RES<0)

RES=0;

}

}

OUT[b][x][y][l]=RES;

}

// Обратный ход

for (b=0;b<B;b++)

for (l=0;l<L;l++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

IN_D[b][x][y][l]=0;

for (b=0;b<B;b++)

for (l=0; l<L;l++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++)

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++)

if ((x*S+rx-Px>=0)&& (y*S+ry-Py>=0)&& if (x*S+rx-Px<X)&& if (y*S+ry-Py<Y))

if (IN[b][x*S+rx-Px][y*S+ry-Py][l]==OUT[b][x][y][l])

IN_D[b][x*S+rx-Px][y*S+ry-Py][l]+=OUT_D[b][x][y][l];

Следующий фрагмент кода поясняет вычисления слоя пулинга с операцией вычисления среднего.

float IN[B][X][Y][L];

float IN_D[B][X][Y][L];

float OUT[B][Xout][Yout][L];

float OUT_D[B][Xout][Yout][L];

// Прямой ход

for (b=0;b<B;b++)

for (l=0; l<L;l++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++) {

RES=0;

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++)

if (x*S+rx-Px>=0)

if (y*S+ry-Py>=0)

if (x*S+rx-Px<X)

if (y*S+ry-Py<Y)

RES+=IN[b][x*S+rx-Px][y*S+ry-Py][l];

OUT[b][x][y][l]=RES/(float)(Rx*Ry);

}

// Обратный ход

for (b=0;b<B;b++)

for (l=0; l<L;l++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

IN_D[b][x][y][l]=0;

for (b=0;b<B;b++)

for (l=0; l<L;l++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++)

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++)

if ((x*S+rx-Px>=0)&& (y*S+ry-Py>=0)&& if (x*S+rx-Px<X)&& if (y*S+ry-Py<Y))

IN_D[b][x*S+rx-Px][y*S+ry-Py][l]+=(OUT_D[b][x][y][l]/(float)(Rx*Ry));

В последних двух фрагментах IN - входная карта признаков, OUT - выходная карта признаков, IN_D - массив невязок, соответствующий входной карте признаков, OUT_D - массив невязок, соответствующий выходной карте признаков.

Следующий фрагмент кода поясняет вычисления слоя ректификации

float IN[B][X][Y][L];

float IN_D[B][X][Y][L];

float OUT[B][X][Y][L];

float OUT_D[B][X][Y][L];

// Прямой ход

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

for (l=0;l<L;l++)

if (IN[b][x][y][l]>0)

OUT[b][x][y][l]=IN[b][x][y][l];

else

OUT[b][x][y][l]=0;

// Обратный ход

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

for (l=0;l<L;l++)

if (IN[b][x][y][l]>0)

IN_D[b][x][y][l]=OUT_D[b][x][y][l];

else

IN_D[b][x][y][l]=0;

В последнем фрагменте IN - входная карта признаков, OUT - выходная карта признаков, IN_D - массив невязок, соответствующий входной карте признаков, OUT_D - массив невязок, соответствующий выходной карте признаков.

Следующий фрагмент кода поясняет вычисления слоя склейки.

float IN1[B][X][Y][L1];

float IN1_D[B][X][Y][L1];

float IN2[B][X][Y][L2];

float IN2_D[B][X][Y][L2];

float OUT[B][X][Y][L1+L2];

float OUT_D[B][X][Y][L1+L2];

// Прямой ход

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++) {

for (l=0;l<L1;l++)

OUT[b][x][y][l]=IN1[b][x][y][l];

for (l=0;l<L2;l++)

OUT[b][x][y][l+L1]=IN2[b][x][y][l];

}

// Обратный ход

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++) {

for (l=0;l<L1;l++)

IN1_D[b][x][y][l]=OUT_D[b][x][y][l];

for (l=0;l<L2;l++)

IN2_D[b][x][y][l]=OUT_D[b][x][y][l+L1];

}

В последнем фрагменте IN1 и IN2 - входные карты признаков, OUT - выходная карта признаков, IN1_D и IN2_D - массивы невязок, соответствующие входным картам признаков, OUT_D - массив невязок, соответствующий выходной карте признаков.

Следующий фрагмент кода поясняет вычисления слоя расщепления.

float IN[B][X][Y][L];

float IN_D[B][X][Y][L];

float OUT1[B][X][Y][L1];

float OUT1_D[B][X][Y][L1];

float OUT2[B][X][Y][L-L1];

float OUT2_D[B][X][Y][L-L1];

// Прямой ход

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++) {

for (l=0;l<L1;l++)

OUT1[b][x][y][l]=IN[b][x][y][l];

for (l=0;l<L-L1;l++)

OUT2[b][x][y][l]=IN[b][x][y][L1+l];

}

// Обратный ход

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++) {

for (l=0;l<L1;l++)

IN_D[b][x][y][l]=OUT1_D[b][x][y][l];

for (l=0;l<L-L1;l++)

IN_D[b][x][y][L1+l]=OUT2_D[b][x][y][l];

}

В последнем фрагменте IN - входная карта признаков, OUT1 и OUT2 - выходные карты признаков, IND - массив невязок, соответствующий входной карте признаков, OUT1_D и OUT2_D - массивы невязок, соответствующие выходным картам признаков.

Следующий фрагмент кода поясняет вычисления поканального сверточного слоя.

float IN[B][X][Y][L];

float IN_D[B][X][Y][L];

float OUT[B][Xout][Yout][L];

float OUT_D[B][Xout][Yout][L];

float FILTERS[Rx][Ry][L];

float FILTERS_D[Rx][Ry][L];

float BIASES[F];

float BIASES_D[L];

// Прямой ход

for (b=0;b<B;b++)

for (l=0;l<L;l++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++) {

OUT[b][x][y][l]=BIASES[f];

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++)

if (x*S+rx-Px>=0)

if (y*S+ry-Py>=0)

if (x*S+rx-Px<X)

if (y*S+ry-Py<Y)

OUT[b][x][y][l]+=IN[b][x*S+rx-Px][y*S+ry-Py][l]*FILTERS[rx][ry][l];

}

// Обратный ход

for (b=0;b<B;b++)

for (l=0;l<L;l++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

IN_D[b][x][y][l]=0;

for (b=0;b<B;b++)

for (l=0;l<L;l++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++)

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++)

if (x*S+rx-Px>=0)

if (y*S+ry-Py>=0)

if (x*S+rx-Px<X)

if (y*S+ry-Py<Y)

IN_D[b][x*S+rx-Px][y*S+ ry-Py][l]+=OUT_D[b][x][y][l]*FILTERS[rx][ry][l];

// Вычисление значений градиента

for (l=0;l<L;l++)

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++) {

FILTERS_D[rx][ry][l]=0;

for (b=0;b<B;b++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++)

if (x*S+rx-Px>=0)

if (y*S+ry-Py>=0)

if (x*S+rx-Px<X)

if (y*S+ry-Py<Y)

FILTERS_D[rx][ry][l]+=IN[b][x*S+rx-Px][y*S+ry-Py][l]*OUT_D[b][x][y][l];

}

for (l=0;l<L;l++) {

BIASES_D[I]=0;

for (b=0;b<B;b++)

for (x=0;x<Xout;x++)

for (y=0;y<Yout;y++)

BIASES_D[l]+=OUT_D[b][x][y][l];

}

// Изменение значений весов

for (l=0;l<L;l++) {

BIASES[I]+=(BIASES_D[I])/B;

for (rx=0;rx<Rx;rx++)

for (ry=0;ry<Ry;ry++)

FILTERS[rx][ry][l]+=(FILTERS_D[rx][ry][l])/B;

}

В последнем фрагменте IN - входная карта признаков, OUT - выходная карта признаков, FILTERS - массив фильтров, BIASES - массив смещений, IN_D - массив невязок, соответствующий входной карте признаков, OUT_D - массив невязок, соответствующий выходной карте признаков, FILTERS_D - массив приращений фильтров, BIASES_D - массив приращений смещений.

Следующий фрагмент кода поясняет вычисления поэлементного слоя.

float IN1[B][X][Y][L];

float IN1_D[B][X][Y][L];

float IN2[B][X][Y][L];

float IN2_D[B][X][Y][L];

float OUT[B][X][Y][L];

float OUT_D[B][X][Y][L];

// Прямой ход

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

for (l=0;l<L;l++)

OUT[b][x][y][l]=IN1[b][x][y][l]+IN2[b][x][y][l];

// Обратный ход

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

for (l=0;l<L;l++) {

IN1_D[b][x][y][l]=OUT_D[b][x][y][l];

IN2_D[b][x][y][l]=OUT_D[b][x][y][l];

}

В последнем фрагменте IN1 и IN2 - входные карты признаков, OUT - выходная карта признаков, IN1_D и IN2_D - массивы невязок, соответствующие входным картам признаков, OUT_D - массив невязок, соответствующий выходной карте признаков.

Следующий фрагмент кода поясняет вычисления полносвязного слоя.

float IN[B][X][Y][L];

float IN_D[B][X][Y][L];

float OUT[B][F];

float OUT_D[B][F];

float WEIGHTS[F][L];

float WEIGHTS_D[F][L][X][Y];

float BIASES[F];

float BIASES_D[F];

// Прямой ход

for (b=0;b<B;b++)

for (f=0;f<F;f++) {

OUT[b][f]=BIASES[f];

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

for (l=0; l<L;l++)

OUT[b][f]+=IN[b][x][y][l]*WEIGHTS[f][l][x][y];

}

// Обратный ход

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

for (l=0; l<L;l++) {

IN_D[b][x][y][l]=0;

for (f=0; f<F;f++)

IN_D[b][x][y][l]+=OUT_D[b][f]*WEIGHTS[f][l][x][y];

}

// Вычисления значений градиента

for (f=0;f<F;f++) {

BIASES_D[f]=OUT D[b][f];

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

for (l=0;l<L;l++)

WEIGHTS_D[f][l][x][y]=0;

for (b=0;b<B;b++)

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

for (l=0; l<L;l++)

WEIGHTS_D[f][l][x][y]+=IN[b][x][y][l]*OUT_D[b][f];

}

// Изменение значений весов

for (f=0;f<F;f++) {

BIASES[f]+=(BIASES_D[f])/B;

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

for (l=0;l<L;l++)

WEIGHTS[f][l][x][y]+=(WEIGHTS_D[f][l][x][y])/B;

}

В последнем фрагменте IN - входная карта признаков, OUT - выходная карта признаков, WEIGHTS - массив весов, BIASES - массив смещений, IN_D - массив невязок, соответствующий входной карте признаков, OUT_D - массив невязок, соответствующий выходной карте признаков, WEIGHTS_D - массив приращений весов, BIASES_D - массив приращений смещений.

Следующий фрагмент кода поясняет вычисления слоя перемешивания.

float IN[B][X][Y][L];

float IN_D[B][X][Y][L];

float OUT[B][X][Y][L];

float OUT_D[B][X][Y][L];

// Прямой ход

for (b=0;b<B;b++)

for (l=0;l<L;l++) {

f=(l/(L/G))+G*(l%(L/G));

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

OUT[b][x][y][f]=IN[b][x][y][l];

}

// Обратный ход

for (b=0;b<B;b++)

for (l=0;l<L;l++) {

f=(l/(L/G))+G*(l%(L/G));

for (x=0;x<X;x++)

for (y=0;y<Y;y++)

IN_D[b][x][y][l]=OUT_D[b][x][y][f];

}

В последнем фрагменте IN - входная карта признаков, OUT - выходная карта признаков, IN_D - массив невязок, соответствующий входной карте признаков, OUT_D - массив невязок, соответствующий выходной карте признаков.

Приложение Б

(обязательное)

Параметры типовых сверточных нейронных сетей

Таблица Б.1 - СНС "М"

Таблица Б.2 - СНС "Г"