Используемая структура нейронной сети

С точки зрения архитектуры искусственные нейронные сети являются интересным примером того случая, когда строгих рекомендаций для построения подходящей сети для решения поставленной задачи нет. Поэтому довольно широкой практикой является либо подбор «на ощупь», либо построение сети на основе архитектур, которые проявили себя хорошо в схожей задаче.

С точки зрения распознавания изображений большую известность как своими результатами, так и использованным подходом (использование свёрточной нейронной сети) известен французский ученый Yann LeCun [50]. В ходе работ над искусственной нейронной сетью для распознавания рукописных цифр (на основе базы рукописных цифр MNIST [49]), была предложена архитектура свёрточной нейронной сети, которая получила название LeNet-5, показавшая лучшие на момент публикации результаты по распознаванию цифр, и дала старт дальнейшим исследованиям [20].

В данной работе архитектура искусственной нейронной сети позаимствована из сети LeNet-5, которая состоит из пяти слоев. Первые два слоя являются свёрточными слоями с pooling функциями. Последние три слоя являются обычными слоями нейронной сети, имеющие все соединения между соседними слоями. Точные настройки сети, такие как разрешение входного изображения, размер восприимчивых полей, количество ядер свёртки, количество нейронов в скрытых слоях, определятся во время тестирования сети и описаны в главе 3.