Модель нейронной сети глубокого обучения

Структура свёрточной нейронной сети

Свёрточная нейронная сеть впервые была представлена в публикации Fukushima в 1980 году [38] под названием Неокогнитрон. Позже Yann LeCun [20], известный своими работами по распознаванию рукописных цифр (LeNet [21]), возродил интерес к CNN и внёс свой вклад в их развитие. В настоящее время множество публикаций, связанных с распознаванием образов/объектов/паттернов в изображении и видео, используют CNN и демонстрируют хорошие результаты по сравнению с другими подходами [41, 43].

CNN представляет собой искусственную нейронную сеть прямого распространения. Структура сети создана на основе исследований зрительной коры мозга [16] 1969 года, в ходе которых выяснилось, что в данной части коры существует иерархия нейронов. Особенностью строения является то, что каждый нейрон соединен лишь с небольшим регионом нейронов из предыдущего слоя.

В связи с открытием иерархии нейронов в зрительной коре было решено перенести эту структуру в искусственную нейронную сеть. В типичной искусственной нейронной сети все нейроны из предыдущего слоя имеют соединение с нейронами следующего. В свёрточной нейронной сети нейрон высшего слоя имеет соединения только с определенной группой нейронов предыдущего слоя. Так как CNN обычно работает с изображением, то в качестве группы нейронов рассматривается набор соседних пикселей на изображении. Такая группа нейронов называется восприимчивым полем (receptive field), и их соединения с нейроном высшего слоя называются выделителем признаков (feature extractors). Выбор шага применения определителя признаков задаётся исходя из здравого смысла, в примере он равен 1, для изображений большого разрешения можно рассматривать вариант с шагом 2 или 3. Уменьшение количества соединений в сети улучшает скорость и простоту обучения.

Другой важной особенностью CNN является наличие общих весов для всех определителей признаков. Матрица весов, называемая ядром свертки, применяется ко всем восприимчивым полям предыдущего слоя, таким образом образуя следующий слой — карту признаков (feature map). Естественно, для определенного слоя возможно наличие нескольких ядер свертки, каждое из которых будет образовывать свою карту признаков для следующего слоя. На рис. 6 соединения с одинаковым весом выделены одним цветом. Как можно заметить, для построения карты особенности слоя m-1 при заданном восприимчивом поле необходимо только 3 параметра веса и один параметр порогового значения нейрона.

Объединяя две особенности, описанные выше, получим так называемый свёрточный слой — основу свёрточной нейронной сети.

Pooling — способ уменьшить размерность определённого слоя в CNN, оставив только необходимую информацию [3]. Благодаря способу построения карт признаков различные особенности могут быть выявлены на всем изображении, однако они не будут инвариантны к собственному положению. Благодаря pooling слоям происходит уменьшение размерности слоя, что добавляет некоторую инвариантность к положению особенностей на изображении. Pooling-слой определяется собственной функцией. Карта особенностей разбивается на заданное количество одинаковых регионов, к каждому из которых применяется pooling-функция, и, в зависимости от функции, на следующий слой передаются значения размером одного региона.

Распространенными pooling-функциями являются так называемые max-pooling и average-pooling. Как понятно из названия, max-pooling функция выбирает регион на карте особенностей с суммарным максимальным значением. Минусом такой функции является то, что не максимальные выходные значения нейронов будут игнорироваться полностью. Average-pooling функция считает среднее значение соответствующих нейронов во всех регионах. Минус такого подхода в том, что он может работать некорректно в том случае, когда выходные значения нейронов будут отрицательными или небольшими. Особых предписаний по использованию определенного pooling слоя нет.

Значение искусственного нейрона определяется применением функции активации к входным данным. Некоторые функции позволяют перейти к работе с непрерывными значениями (в отличие от бинарных со значениями 0 и 1), что позволяет обучать искусственную нейронную сеть алгоритмами градиентного спуска. Распространенными функциями активации является сигмоида, гиперболический тангенс и кусочно-линейная функция.

Специальных предписаний по поводу использования той или иной функции активации нет. Обзор со сравнением различных функций активаций [18] показывает, что комбинация функций в разных слоях может привести к улучшению результатов работы сети в целом.