Введение. 
Разработка приложения для трёхмерной реконструкции сцены с помощью RGB-D камеры

Трёхмерная реконструкция и трёхмерное сканирование в настоящее время быстро развиваются и находят широкое применение в робототехнике, медицине, производстве, 3D печати и 3D моделировании. Распространению применения трёхмерных реконструкций способствует повышение доступности устройств, пригодных для трёхмерного сканирования и печати, и применение новых алгоритмов трёхмерной реконструкции.

Существует множество различных технологий, применяемых для трёхмерного сканирования. В основном применяются лазерные сканеры, позволяющие проводить реконструкцию с высокой точностью. Но лазерные сканеры являются дорогими устройствами, пока недоступными для обычных пользователей. Появление Microsoft Kinect — устройства, совмещающего в себе обычную RGB (Red-Green-Blue) камеру и сенсор глубины (Depth), использующий инфракрасный свет для получения информации о расстоянии до поверхности объекта — существенно расширило круг пользователей, имеющих возможности для трёхмерного сканирования.

Распространение устройств, подобных Kinect, привело к повышению интереса к трёхмерному сканированию и к развитию новых алгоритм трёхмерной реконструкции. Несмотря на многочисленные недостатки сенсора, такие как невозможность его использования вне помещений, ограниченная дистанция применения, высокая погрешность измерений, невысокая стоимость привела к его широкому распространению.

В связи с более высокой доступностью данных камер появились приложения, позволяющие использовать их для трёхмерной реконструкции. Несмотря на простоту пользовательского интерфейса и быстроту работы, эти приложения имеют ряд общих недостатков. Будучи сфокусированными главным образом на геометрической реконструкции, они уделяют меньше внимания точности передачи цвета сцены или объекта. Такие факторы как неточность наложения изображений на трёхмерную модель, искажения и размытия изображения отражаются на визуальном качестве реконструкции.

Целью данной работы является разработка приложения для трёхмерной реконструкции сцены с помощью RGB-D камеры. Приложение должно использовать поток снимков глубины для построения полигональной модели сцены и поток цветных RGB снимков для реконструкции цвета вершин полигональной модели. В программе будет применён недавно опубликованный алгоритм Q.-Y. Zhou и V. Koltun [13], позволяющий получить более качественную реконструкцию цвета по сравнению с существующими аналогами.

Задачи данной работы:

• · Изучение существующих решений, программных продуктов, применяющихся для трёхмерной реконструкции с помощью RGB-D камеры;
• · Выбор технических средств, алгоритмов и инструментов разработки программы;
• · Реализация программы для трёхмерной реконструкции сцены:
  • o Реализация взаимодействия с RGB-D камерой;
  • o Реализация геометрической реконструкции сцены;
  • o Реализация алгоритма для вычисления цвета вершин модели;
  • o Реализация пользовательского интерфейса;
• · Разработка технической документации к программе.

В первой главе данной работы описан процесс трёхмерной реконструкции с помощью RGB-D камер, рассмотрены программные продукты и алгоритмы, применяемые для трёхмерной реконструкции с помощью таких устройств. Во второй главе описаны алгоритмы, применяемые в разрабатываемом приложении: алгоритм KinectFusion и алгоритм Zhou&Koltun. В третьей главе дано описание реализации — использованные инструменты, архитектура и описание приложения и процесса трёхмерного сканирования с его помощью.