Актуальность проблемы.
Удешевление жидкокристаллических мониторов, интегрированных с сенсорными панелями, выполненными на основе ультразвуковых, инфракрасных и емкостных технологий, способствовало широкому использованию интуитивно понятного взаимодействия с программным обеспечением. Появились системы [1] анализирующие изображение окружающей сцены в непосредственной близости от экрана монитора и распознающие набор определенных жестов оператора.
Для игровой индустрии впечатляющим прорывом стала разработанная Microsoft консоль Kinect [2], осуществляющая измерения пространственного положения человеческого тела. Эта система позволяет фактически осуществить «погружение» человека-оператора в виртуальное пространство, дает новые формы взаимодействия с программным обеспечением. Это тем более становится актуальным, в связи с появлением 3D дисплеев. Становится возможным «придать объем» управляющим элементам (кнопкам, переключателям и т. п.), расположить их на разных уровнях и глубине виртуального пространства.
Принципы построения управляющих систем, использующих в контуре обратной связи стереотелевизионный датчик пространственного положения, рассматривался еще в ставшей классической монографии Г. П. Катыса «Оптические системы роботов-манипуляторов», изданной в 1977 году [3]. Еще более давнюю историю имеют системы измерения пространственного положения, основанные на использовании зондирующего излучения, обозначаемые термином «оптико-локационные». Эти системы позволяют решать задачи наведения на цель в военных и космических приложениях (угловые координаты цели) и измерять ориентацию кооперированных (оборудованных отражателями) объектов. Использование в этих системах фазовых или импульсных методов оптического зондирования, позволяет измерить кроме того и дальность до объекта, отражающего это излучение.
Появление высокопроизводительных однокристальных процессоров, ориентированных на потоковую обработку видеоинформации, позволило решить огромное число практических задач. На рынке появилось большое число фирм, предлагающих системы технического зрения, ориентированных как на простые задачи типа обнаружения, так и на структурирование, логический анализ, выявление дефектов механических заготовок и управления процессами металлообработки и сборки [4].
Тем не менее, использование специального типа подсветки (получившей название «структурированная») трехмерной сцены, в сочетании с новыми типами приемников оптического сигнала, позволило получить практически значимые технические решения [5].
К ним относится, например, ЗБ-сканер, позволяющий восстановить форму объектов трехмерной сцены и выполненный на основе позиционно-чувствительного диода (PSD) [6], оптически сопряженного с лазерной сканирующей системой.
Серийно производится ряд датчиков пространственного положения на базе PSD, которые обладают высокой помехоустойчивостью и точностью, однако решают узкий ряд задач (датчик дальности ближней зоны [7], триангуляционный дальномер [8]).
Появление специальных фоточувствительных матриц, измеряющих фазовый сдвиг принятого сигнала относительно зондирующего, позволило решить задачу определения фазовой задержки от отдельных точек объекта контроля.
Управление фазовым сдвигом зондирующего излучения, с помощью MEMS-устройств, позволило получить субпиксельную точность измерения координат изображения объекта на ПЗС-матрице [9].
Генерация псевдослучайного распределения зондирующего излучения, позволило обойти проблему нахождения идентичных точек на изображениях стереопар (упомянутая выше система Ктесг).
Из отечественных разработок можно упомянуть работу, проведенную в институте математики и механики Уральского отделения РАН [10]. Там предложена система, обеспечивающая взаимодействие пользователя с объектами виртуальной реальности. В Московском государственном техническом университете им. Баумана разработан ряд устройств на основе структурированной подсветки, предназначенных для задач идентификации личности [11]. В Центральном НИИ Робототехники и технической кибернетики (С. — Петербург) разрабатывается система пространственного измерения положения космического аппарата в ближней рабочей зоне, основанная на принципах структурированного освещения [12].
Таким образом, использование специальных зондирующих подсветок трехмерной сцены позволяет упростить алгоритмы обработки видеоданных, повысить точность и помехоустойчивость, и в конечном счете, удешевить устройство.
При этом разработка оптико-электронных информационно-управляющих систем, обладающих простотой, быстродействием и точностью, и позволяющих их встраивание в новые типов интерфейсов взаимодействия человека с «виртуальной реальностью», безусловно, следует считать актуальной задачей.
Цель и задачи диссертационной работы.
Целью диссертационной работы является исследование и разработка оптико-электронных информационно-управляющих систем, позволяющих определять пространственное положение (координаты, ориентацию и скорость) указателя (в частности пальца кисти руки) на основании информации о его теневых составляющих. Должна быть разработана математическая модель этого процесса и проведен анализ его технической б реализации. В диссертации рассмотрена возможность использования этой системы в составе пользовательского управляющего интерфейса, который может служить формальной «заготовкой» для создания перспективных методов трехмерного манипулирования.
Методы исследования.
Для решения поставленных задач в работе использованы: программный пакет «Matlab» для имитационного моделирования, среда разработки Embarcadero Delphi, САПР Mentor Graphics, пакет разработки проектов ПЛИС на базе кристаллов XILINX ISE и EDK ver. 10.03, система моделирования цифровых устройств ModelSim.
Научная новизна диссертации состоит в том, что автором, на основе.
ГС «-* впервые введенного в практику измерении понятия поверхность теневой локации», рассмотрен вопрос определения пространственного положения объекта контроля. В ходе решения этой задачи:
— получено матричное уравнение, описывающее процесс формирования теней от двух пространственного разнесенных точечных излучателей;
— показано, что его решение позволяет определить положение пространственного объекта;
— разработаны оптико-геометрические схемы устройств для определения пространственного положении объекта контроля, в которых может отсутствовать функция построения изображения;
— разработаны функциональные схемы оптико-электронных информационно-управляющих систем, использующие поверхность теневой локации;
— созданы математические модели их функционирования;
— разработано математическое обеспечение специализированных вычислительных устройств обработки видеоинформации, входящих в состав информационно-управляющих систем, позволяющее определить 7 пространственое положение (координат и ориентации) объекта контроля;
— предложены принципы взаимодействия человека-оператора с информационно-управляющей системой.
Новизна предложенных автором технических решений подтверждена патентом РФ № 2 362 216 от 12.05.2008 г.
Практическая значимость работы заключается в следующих результатах:
— разработаны новые типы оптико-геометрических и функциональныхсхем информационно-измерительных систем пространственного положения, работающих на основе анализа теневых составляющих, формируемых на поверхности теневой локации;
— предложены алгоритмы и созданы модели интерфейсов трехмерного взаимодействия человека-оператора с программным обеспечением информационно-управляющих систем;
— разработано программное обеспечение специализированного устройства обработки видеоинформации и формальное описание аппаратных модулей информационно-управляющей системы;
— разработана библиотека программ для построения специализированных интерфейсов пространственного манипулирования данными;
— проведено натурное испытание макета информационно-управляющей системы пространственного положения, реализованного на основе идеологии «система на кристалле»;
— проведено моделирование работы отдельных функциональных модулей информационно-управляющей системы.
Достоверность полученных результатов подтверждается хорошей сходимостью результатов моделирования с результатами натурного испытания информационно-управляющей системы.
Личный вклад автора.
Результаты, представленные в диссертационной работе, получены автором лично. Проанализированы существующие и разработаны новые оптико-геометрические и функциональные схемы управляющих устройств пространственного положения, получены математические формулы и построены модели ошибок. Основными результатами являются:
— оптико-геометрические и функциональные схемы информационно-управляющих систем, использующих для получения информациио пространственном положении объекта управления «поверхность теневой локации»;
— решения по интеграции информационно-управляющей системы в интерфейс пространственного манипулирования графическими элементами интерфейса персонального компьютера;
— принципы построения интерфейсов пространственного манипулирования для человека-оператора, взаимодействующего с трехмерными виртуальными пультами управления;
— модели функционирования информационно-управляющих систем пространственного положения на основе пакета МаИ. аЬ;
— статистический анализ результатов натурных испытаний.
Внедрение результатов.
Результаты разработок и исследований, полученные в диссертационной работе, нашли следующее внедрение:
— оптико-геометрические и функциональные схемы информационно-управляющих систем, используются при выполнении ОКР (шифр «Сфера»), выполняемой ОАО «Ангстрем»;
— модели функционирования информационно-управляющих систем, используются при проведении лабораторных работ по курсу «алгоритмические и технические средства обработки сигналов» кафедры САУиК НИУ МИЭТ.
Научные положения, выносимые на защиту.
1. Метод использования теневых составляющих пространственного объекта, формируемых не менее чем двумя пространственно разнесенными оптическими излучателями;
2. Матричное уравнение, представляющее модель образования теневых составляющих пространственного объекта;
3. Алгоритмы обработки теневых состовляющих, для извлечения данных о пространственном положении объекта контроля.
4. Оптико-электронные и функциональные схемы устройств, использующие поверхность теневой локации для извлечения информации о пространственном положении.
5. Метод организации взаимодействия оператора в системах виртуальной реальности, использующийпространственное положение указателя.
Апробация работы.
Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях:
— «Современные проблемы определения ориентации и навигации космических аппаратов». Институт космических иследований. г. Таруса 2008 г.
— 16-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика — 2009» МИЭТ г. Зеленоград 2009 г.
— 17-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика — 2010» МИЭТ г. Зеленоград 2010 г. Награжден дипломом за 1-ое место в конкурсе работ аспирантов по секции «Информационно-управляющие и вычислительные системы и приборы».
— Конференция «Зеленоград-космосу». г. Зеленоград 2010 г.
— 8-ая научно-техническая конференция «Системы наблюдения, мониторинга и дистанционного зондирования земли» г. Адлер 2010 г.
— 18-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика — 2011» МИЭТ г. Зеленоград 2011 г. Награжден дипломом за 1-ое место в конкурсе работ аспирантов по секции «Информационно-управляющие и вычислительные системы и приборы».
— 3-я Научно-техническая конференция молодых ученых и специалистов, г. Зеленоград 2011 г.
— 2-ая Ярмарка научно-технических и инновационных идей и проектов молодежи «РИТМ Зеленоград», г. Зеленоград 2011 г. Награжден дипломом за 2-ое место в конкурсе проектов среди аспирантов и специалистов.
Публикации по работе.
Основные положения диссертационной работы опубликованы в 10 печатных работах, в том числе 2 работы в журналах входящих в список, утвержденный ВАК. По 1 работе получен патент РФ на изобретение. Кроме того 2 заявки приняты к рассмотрению и проходят этапы экспертизы по существу. Без соавторов опубликовано 5 работ.
Структура и объем работы.
Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 94 наименований, 5 приложений и 2 актов использования результатов диссертационной работы. Работа содержит 121 страницу основного текста и 106 рисунка.
Заключение
.
В диссертационной работе были разработаны оптико-геометрические и функциональные схемы измерительных систем на основе предложенного автором принципа «теневой локации». Были разработаны алгоритмы обработки информации «теневых составляющих» и принципы построения управляющих интерфейсов, использующих информацию о положении пространственного указателя.
Построены модели графических трехмерных управляющих интерфейсов пользователя, позволяющие их использование в прикладном программном обеспечении для управления объектами в виртуальном трехмерном пространстве или механическими устройствами типа манипуляторов.
В ходе выполнения диссертационной работы:
1. Проведен анализ существующих оптико-электронных измерительных систем, проанализировано их применение в задачах управления объектами.
2. Предложен новый принцип построения оптико-электронной информационно-управляющей системы. Его новизна подтверждается полученным автором патентом РФ № 2 362 216.
3. Разработаны оптико-геометрические и функциональные схемы оптико-электронных информационно-управляющих систем на основе предложенного автором принципа «теневой локации».
4. Разработана математическая модель построения теневых составляющих от двух пространственно разнесенных излучателей в виде системы матричных уравнений.
5. Разработаны алгоритмы обработки информации «теневых составляющих» и принципы построения управляющих интерфейсов, использующих информацию о положении пространственного указателя.
6. На основе математической схемы информационно-управляющей системы и диаграммы ее матричных преобразований сигналов, создана модель функционирования, позволяющая оценить точностные характеристики, связанные с геометрией ее конструктивного исполнения.
7. Проведено макетирование основных узлов данной системы, а именно «поверхности теневой локации» и специализированного вычислительного устройства.
8. Разработан прототип устройства, объединяющий аппаратные и программные модули в «систему на кристалле».
9. Построены модели графических управляющих интерфейсов пользователя, для перспективного трехмерного манипулирования.
