Разработка программы распознавания движений

Приложение состоит из двух частей, каждая из которых реализована в виде отдельных модулей. Взаимодействие между модулями реализовано при помощи сокетов. Первая программа работает с сенсором Kinect и формирует MHI для полученного видеопотока с помощью камеры. Вторая программа представляет собой искусственную нейронную сеть. Получая по UDP (User Datagram Protocol) на определенном порту путь к MHI, данное изображение классифицируется нейронной сетью, результат классификации передаётся по UDP в первую программу.

Для работы с сенсором Kinect в данной работе используется официальная библиотека Kinect SDK от компании Microsoft. Выбор обосновывается тем, что данная библиотека позволяет пользоваться функциями сенсора Kinect без различных ограничений за исключением операционной системы. Альтернативой может являться библиотека OpenNI, которая поддерживает не все версии выпущенных сенсоров и имеет проблемы с производительностью. Используемый сенсор Kinect for Xbox One накладывает следующие ограничения для работы с ПК: операционная система от Windows 8 и новее, Visual Studio 2012 и новее,.NET framework 4.5 и выше. Программа разработана на языке программирования C# в Visual Studio 2013 Community Edition.

Для описания модели нейронной сети используется библиотека Theano [31] на языке Python. Она является библиотекой с открытым исходным кодом. Основанная на NumPy, разработка Theano направлена на решение задач машинного обучения и техник глубокого обучения. Выбор Theano обоснован наличием удобных реализованных методов для работы со свёрточными нейронными сетями. Так же плюсом является компиляция в С и возможность работы с GPU. Минусом является трудность отладки приложения из-за особенности работы с библиотекой — в Theano работа с математическими выражениями происходит как с последовательностью символов. Theano является простым и доступным инструментом по сравнению с другими библиотеками [51]. Для работы на платформе Windows самым простым способом установки необходимых библиотек и интерпретатора языка Python является установка WinPython [49]. Способы установки других дополнительных компонентов (поддержка CUDA, другие операционные системы) подробно описаны на странице документации [44].