Структура нейропроцессора NM6403

Ядро nm6403 состоит из двух базовых блоков: 32-битного RISC процессора и 64 битного векторного процессора, обеспечивающего выполнение векторных операций над данными переменной разрядности. Имеются два идентичных программируемых интерфейса для работы с внешней памятью различного типа и два коммуникационных порта, аппаратно совместимых с портами DSP TMS320C4x, для построения многопроцессорных систем. Общая структура нейропроцессора показана на рис. refnm6403.

Рис. 12 Общая структура нейропроцессора NM6403

Нейропроцессор предназначен для обработки 32 разрядных скалярных данных и данных программируемой разрядности (с упаковкой в 64 разрядные слова). Основными узлами нейропроцессора являются:

• · RISC core. Ядро нейропроцессора, выполняющее операции сдвига, арифметико-логические операции над 32 разрядными данными, формирующее адреса команд и данных, выполняющее управление работой нейропроцессора.
• · VCP. Векторный сопроцессор, выполняющий арифметические и логические операции над 64 разрядными векторами упакованных данных переменной разрядности.
• · LMI и GMI. Два идентичных блока программируемого интерфейса с локальной и глобальной 64 разрядными внешними шинами, к каждой из которых может быть подключен блок внешней памяти, содержащий до 2³¹ 32 разрядных ячеек. Обмен с внешней памятью может осуществляться 32 или 64 разрядными словами. Адресация осуществляется страничным способом, при котором на одну 15 разрядную адресную шину в режиме разделения времени выдаются как младшие, так и старшие разряды адреса. Причем старшие разряды адреса выдаются только при переходе к выборке новой страницы памяти.
• · CP0 и CP1. Два идентичных коммуникационных порта, полностью совместимых с коммуникационным портом сигнального процессора TMS320C4x.

Нейропроцессор содержит пять внутренних шин:

• · LOCAL ADDRESS BUS и GLOBAL ADDRESS BUS. Шины, служащие для пересылки адресов команд и данным, сформированных RISC-ядром и адресов данных, сформированных коммуникационными портами в режиме ПДП.
• · OUTPUT DATA BUS. Шина, служащая для пересылки данных, подлежащих записи в локальную или глобальную внешнюю память из RISC-ядра, векторного сопроцессора и коммуникационных портов в блоки программируемого интерфейса.

· INPUT BUS #1 и INPUT BUS #2. Шины, предназначенные для пересылки данных и команд, считанных из локальной или глобальной внешней памяти, из блоков программируемого интерфейса в любой из основных узлов нейропроцессора. В программном режиме работы пересылка скалярных данных осуществляется только по шине INPUT BUS #2, а пересылка векторных данных — только по шине INPUT BUS #1. Пересылка данных в режиме ПДП и пересылка команд могут осуществляться по любой из этих шин.

Рис. 13 Ядро нейропроцессора NM6403

Структура ядра нейропроцессора представлена на рис. 13. Регистровое АЛУ (RALU) служит для оперативного хранения до восьми 32 разрядных скалярных данных и выполнения над ними операций сдвига, одно и двухоперандных арифметических и логических операций. При выполнении операций в RALU формируются признаки, которые используются при выполнении условных команд. Данные, хранящиеся в RALU, могут также использоваться в качестве адресов и смещений при выполнении команд обращения к памяти и команд управления.

RALU содержит:

• · Регистры общего назначения GR0,…, GR7, которые образуют регистровый файл;
• · ALU выполняющее за один такт одну из арифметических или логических операций над содержимым любых регистров общего назначения. Арифметические операции выполняются над данными, представленными в дополнительном коде;
• · SHIFTER — устройство сдвига, выполняющее за один такт циклический, логический или арифметический сдвиг на любое число разрядов вправо или влево содержимого любого регистра общего назначения, выдаваемого на шину первого операнда ALU.

DAG1 — первый генератор адресов данных служит для формирования адресов данных при выполнении команд обращения к памяти и адресов переходов при выполнении команд управления. Кроме того, DAG1 обеспечивает оперативное хранение и модификацию до четырех 32 разрядных адресов данных, адресов переходов или смещений адресов переходов. DAG1 содержит:

• · Адресные регистры AR0,…, AR3, образующие регистровый файл;
• · AU1 — первое арифметическое устройство для выполнения арифметических операций при вычислении адреса или модификации одного из регистров AR0,…, AR3;
• · MUX — мультиплексор для выдачи на одну из внутренних адресных шин нейропроцессора информации с выходов AU1 или с шины первого операнда AU1.

Второй генератор адресов данных DAG2 по своей структуре и выполняемым функциям аналогичен DAG1. Его специфика заключается в том, что один из его адресных регистров AR7(SP) дополнительно выполняет функции системного указателя стека.

Генератор адресов команд (PROGRAMM SEQUENCER), служит для формирования адреса очередной 64 разрядной команды или очередной пары 32 разрядных команд на линейных участках программы, когда вычисление адреса каждой следующей команды осуществляется путем инкремента адреса текущей команды.

Генератор адресов команд включает в себя следующие блоки:

• · PC. Счетчик команд, предназначенный для хранения адреса текущей выбираемой из памяти 64 разрядной команды (или пары 32 разрядных команд) и вычисления адреса следующей команды (или пары 32 разрядных команд) путем увеличения его содержимого на два. Выходы PC подключены к шине OUTPUT BUS, что делает данный регистр программно доступным для чтения.
• · MUX. Мультиплексор для выдачи на одну из внутренних адресных шин увеличенного на два содержимого счетчика команд PC или содержимого указателя стека AR7(SP).

Блок управления (CONTROL UNIT) выполняет предварительный анализ и дешифрацию команд, выбранных из внешней памяти, формирует сигналы управления всеми узлами нейропроцессора в процессе конвейерного выполнения команд, обрабатывает все запросы на внутренние и внешние прерывания, осуществляет арбитраж.

Рис. 14 Векторный сопроцессор

Векторный сопроцессор (VCP) является основным вычислительным узлом нейропроцессора особенно для нейросетевых приложений. VCP ориентирован на обработку данных произвольной разрядности от 1 до 64 разрядов, упакованных в 64 разрядные слова. Возможность выбора разрядности обрабатываемых данных является отличительной чертой нейропроцессора NM6403. Основными узлами VCP являются:

• · OU. Операционное устройство, служащее для выполнения арифметических и логических операций над 64 разрядными словами упакованных данных [(X)/vec] = < X₁,?, X_K > и [(Y)/vec] = < Y₁,?, Y_I >, которые подаются на входы X и Y, и матрицей весов WOPER, которая подается на входы W₁,?,W_J в виде J 64 разрядных слов упакованных весовых коэффициентов [(W₁)/vec] = < W₁₁?W_1I >,?, [(W_J)/vec] = < W₁₁?W_JI >. Результат каждой операции формируется на выходе R в виде 64 разрядного слова упакованных данных [(R)/vec] = < R₁,?, R_I >.
• · RCS. Циклический сдвигатель вправо, пропускает данные без изменений или циклически сдвигаются вправо на один разряд. За один такт выполняется сдвиг одного слова как единого операнда, не зависимо от количества данных в слове.
• · SU1, SU2. Узлы, аппаратно реализующие функцию насыщения, они служат для вычисления функции активации над 64 разрядными словами упакованных данных. Общий вид реализуемой функции активации показан на рис.

Рис. 15 Реализуемая функция активации

Функция активации применяется к входному вектору [(X)/vec] до выполнения операции.

• · SWITCH 3? 2. Коммутатор 3 в 2 обеспечивает выбор двух источников векторных данных, поступающих на входы исполнительных узлов VCP. На вход каждого нелинейного преобразователя могут поступать следующие вектора:
  • o вектора данных с нулевыми значениями всех разрядов
  • o содержимое RAM с шины векторных данных VCP (VECTOR DATA BUS)
  • o содержимое AFIFO по цепи обратной связи VCP
  • o вектора данных из внешней памяти
• · WBUF и WOPER. Память весовых коэффициентов, состоящая из двух матриц ячеек памяти, каждая из которых имеет емкость 32×64 бита и позволяющая хранить матрицу весрв в виде J 64 разрядных слов упакованных весовых коэффициентов. WOPER служит для хранения матрицы весов, используемых в операциях взвешенного суммирования в OU. WBUF служит для подкачки из WFIFO новой матрицы весов на фоне выполнения текущих операций взвешенного суммирования с использованием прежней матрицы весов, хранящейся в WOPER.
• · WFIFO. Этот блок используется в качестве накопительного буфера в процессе подкачки матрицы весов в WBUF из внешней памяти. Емкость буфера составляет 32×64 бит, запись и чтение ведется 64 разрядными словами.
• · AFIFO. Этот блок используется в качестве аккумулятора и служит для хранения 32×64 бит результата последней векторной операционной команды.
• · RAM. Векторный регистр типа FIFO емкостью 32×64 бита. Отличие от обычного буфера FIFO состоит в том, что после чтения из RAM его содержимое не меняется.

Возможности создания многопроцессорных вычислителей на базе NM6403.

Нейропроцессор NM6403 имеет следующие аппаратные средства, предназначенные для построения многопроцессорных систем на его основе:

• · два байтовых коммуникационных порта CP0 и CP1, каждый из которых позволяет осуществить обмен между нейропроцессором и другой системой со скоростью 20 Мбайт/с.
• · два программируемых интерфейса с 64 разрядными внешними шинами (локальной и глобальной), каждый из которых поддерживает три различных мультипроцессорных конфигурации внешней шины. Подключение к одной шине нескольких нейропроцессоров позволяет им обмениваться информацией через общую память, расположенную на этой же шине. Подключение к одной шине двух нейропроцессоров осуществляется без использования дополнительной управляющей аппаратуры. Скорость обмена данными через общую шину может достигать 400 Мбайт/с.

Каждая из двух внешних шин поддерживает как однопроцессорный, так и многопроцессорный режим работы, если к общей памяти подключены два процессора, то арбитраж для доступа к ней осуществляется между ними без использования внешнего контроллера.

Возможны три типа конфигурации внешней шины для многопроцессорного режима:

· Банк 0 — общий, банк 1 — общий (конфигурация 1, рис.). Доступ к памяти в каждый момент времени разрешен лишь одному процессору.

Рис. 16 Конфигурация 1 шины

· Банк 0 — свой, банк 1 — общий (конфигурация 2, рис.). Каждый процессор имеет свой банк памяти, к которому другой не имеет доступа. Общий банк доступен через буферы, обращение к нему идет поочередно.

Рис. 17 Конфигурация 2 шины

· Банк 0 — свой, банк 1 — чужой (конфигурация 3, рис.). Каждый процессор имеет свой банк памяти, но существует возможность каждому процессору обратиться к чужому банку через буфер.

Рис. 18 Конфигурация 3 шины

Хотя возможности построения мультимикропроцессорных систем на базе NM6403 довольно ограничены (по сравнению с рассмотренным выше семейством цифровых сигнальных процессоров), но все же они являются вполне достаточными для создания нейроприложений повышенной производительности. Примеры мултимикропроцессорных структур приведены на рис.

Рис. 19 Линейная (кольцевая) и матричная мультимикропроцессорные структуры

Реализация нейронной сети на нейропроцессоре NM6403.

Рис. 20 Модель слоя сети NM6403

Обработка реакции сети на входное воздействие происходит в нейропроцессоре последовательно, слой за слоем. На рис. 20 показана модель нейронной сети, эмулируемой NM6403. В общем случае каждый слой нейросети имеет N нейронных входов и состоит из M нейронов. При этом каждый нейрон выполняет взвешенное суммирование с учетом смещения данного нейрона:

Затем каждый нейрон вычисляет функцию насыщения от результата взвешенного суммирования:

Все входные данные, весовые коэффициенты, пороговые значения и результаты представляются в дополнительном коде.

Процессор NM6403 создавался как универсальное средство для реализации нейросред. При его использовании пользователь может программно задавать множество параметров нейронной сети:

• · число слоев;
• · число нейронов и нейронных входов в каждом слое;
• · разрядность данных на каждом нейронном входе;
• · разрядность каждого весового коэффициента;
• · разрядность выходного значения каждого нейрона;
• · параметр функции насыщения для каждого нейрона.

Для эмуляции нейронной сети каждый ее слой разбивается на последовательно обрабатываемые фрагменты. Данное разбиение осуществляется следующим образом. Множество нейронных входов слоя разбивается на группы входов так, чтобы суммарная разрядность данных, подаваемых на каждую группу входов, была равна разрядности нейропроцессора — 64. Множество нейронов слоя разбивается на группы нейронов так, чтобы суммарная разрядность результатов взвешенного суммирования для каждой группы также была равна 64. Таким образом выделяются фрагменты сети двух типов с разным функциональным назначением: первый тип фрагментов осуществляет взвешенное суммирование, а второй — вычисление функции активации.

Эмуляция слоя нейронной сети на нейропроцессоре NM6403 состоит из последовательно выполняемых макроопераций, каждая из которых эмулирует один фрагмент слоя. Число выполняемых макроопераций равно числу фрагментов в слое. Обработка данных ведется нейропроцессором в пакетном режиме — по T наборов входных данных в каждом пакете. Пакет данных, подаваемых на группу нейронных входов слоя нейронной сети представляет собой вектор X_n = < X₁,?, X_n >, каждый элемент которого является вектором упакованных данных. Разрядность каждой из упакованных величин может принимать любое четное значение в диапазоне от 2 до 64, то есть количество элементов вектора может быть любым от 1 до 32. Ограничением является то, что суммарная разрядность всех данных, упакованных в одном векторе, должна быть равна 64.

При эмуляции фрагмента первого типа нейропроцессор выполняет следующую операцию для каждого набора входных данных: Y_n = Y_n-1+X_nЧW_n. В качестве Y₀ выступает смещение V₀.

64 разрядные выходные векторы содержат упакованные данные с разрядностью от N_min до 64. Значение минимальной разрядности каждого элемента в этих векторах зависит от суммарного числа нейронных входов в слое и вытекает из необходимости избегать арифметического переполнения при сложении чисел:

Выполнение операции взвешенного суммирования над всеми векторами задается одной командой <> нейропроцессора. Выполнение этой команды зависит от количества значений в обрабатываемом векторе, за один такт обрабатывается один компонент вектора.

При эмуляции фрагмента второго типа для группы нейронов процессор формирует вектор X_n = < OUT₁,?, OUT_m >, каждый элемент которого является вектором упакованных данных. Компонентами вектора OUT_i являются результаты вычисления функции насыщения над элементом Y_i вектора Y:

Вычисление функций насыщения для всех элементов всех векторов задается одной командой <> нейропроцессора. Время выполнения этой команды также составляет один такт на компонент.

Ориентация нейропроцессоров на создание нейросред значительно упрощает создание высокопроизводительных нейросетевых приложений. Разработчики нейропроцессоров создают библиотеки алгоритмов для наиболее распространенных типов нейросетей, что делает их особенно привлекательными для построения нейросред.

Задачи, для решения которых используют нейросети Нейронные сети используются для решения разнообразных задач во многих отраслях человеческой деятельности, вот некоторые из них:

• · Экономика и бизнес. Здесь нейросети применяются для предсказания рынков, оценки риска невозврата кредитов, предсказания банкротств, оценки стоимости недвижимости, автоматического рейтингования, оптимизации товарных и денежных потоков, автоматического считывания чеков и форм. Нейросети в этой области реализуются в основном в виде программных комплексов для рабочих станций на базе процессоров общего назначения. Но объем данных, подлежащий анализу очень велик, а ценность, которую представляют результаты анализа, значительна, поэтому часто используются специальные нейроускорители, выполненные в виде модулей расширения.
• · Медицина. В этой области нейрокомпьютеры выполняют обработку медицинских изображений, мониторинг состояния пациентов, диагностику, факторный анализ эффективности лечения, очистку показаний приборов от шумов. В медицине есть необходимость в построении специфических нейровычислителей, мобильных систем, сверхминиатюрных персональных нейродатчиков.
• · Авиация. С помощью нейросистем производится автоматическое пилотирование, распознавание сигналов радаров, адаптивное пилотирование сильно поврежденного самолета. Условия, в которых работают авиаприборы, накладывают сильные ограничения на их размер, быстродействие, помехозащищенность. Это создает благоприятные условия для внедрения современных аппаратных решений для нейросред.
• · Связь. В области средств связи нейроалгоритмы осуществляют сжатие видео-информации, быстрое кодирование/декодирование, оптимизацию сотовых сетей и схем маршрутизации пакетов. Особые требования в этой сфере предъявляются к возможности создания автономных, мобильных решений, допускающих встраивание в переносные видеокамеры, сотовые телефоны и др.
• · Безопасность и охранные системы. В этой области уже довольно эффективно действуют системы идентификации личности, распознавания голоса, лиц в толпе, распознавания автомобильных номеров, анализа аэрокосмических снимков, мониторинга информационных потоков, обнаружения подделок.

Автоматизация производства. В этой области нейрокомпьютеры могут использоваться для оптимизации режимов производственного процесса, комплексной диагностики качества продукции (с помощью ультразвука, оптики, гамма-излучения), мониторинга и визуализации многомерной диспетчерской информации, предупреждения аварийных ситуаций, в робототехнике. Это наиболее перспективное направление для применения нейросистем, требующее серийных решений, достаточно гибких для разнородных производств.