Программное обеспечение систем технического зрения на базе IBM-совместимых персональных компьютеров

Среди проблем, возникающих при разработке прикладных и научно-исследовательских автоматизированных комплексов, выделяется круг задач, связанных с обработкой зрительной информации в реальном времени. Подобные задачи возникают в автоматизации контроля, управлении промышленными установками, информационных системах мобильных роботов. Необходимость функционирования систем технического зрения (СТЗ) в режиме реального времени оказывает существенное влияние на выбор аппаратного и программного обеспечения (ПрО) для реализации этих систем. В ряде СТЗ используются рабочие станции с операционными системами (ОС) реального времени, а также специализированные вычислительные машины и процессоры для обработки зрительной информации. Высокая стоимость СТЗ на базе подобного аппаратного обеспечения затрудняет их использование в небольших прикладных и исследовательских комплексах.

Один из способов расширения сферы применения СТЗ заключается в использовании широко распространенного аппаратного и программного обеспечения — в первую очередь, на базе персональных компьютеров (ПК). Исследование возможностей использования персональных компьютеров в составе СТЗ является актуальным, поскольку данное решение позволяет сократить стоимость системы в 10−15 раз по сравнению с применением специализированного оборудования [28, 31].

С начала 80-х гг. развитие ПК сопровождается увеличением вычислительной мощности и графических возможностей. Возможности применения IBM-совместимых ПК для построения СТЗ значительно расширились с появлением процессора Intel 80 386 и графического видеоадаптера VGA [31].

На основе анализа ряда работ по робототехнике [43, 45−54, 56, 58, 59, 63, 65, 66, 70−73] за последние 3 года можно заключить, что сфера применения ПК в составе СТЗ постепенно расширяется и уже в настоящее время подобное решение является равноправным наряду с использованием рабочих станций. В рассмотренных работах СТЗ применяются для детектирования движения [48], слежения за движущимися объектами [46, 47, 53, 58, 63, 72], навигации подвижных аппаратов [50, 52, 54, 56, 59, 71], в инспекционных целях [49] и в комплексах роботов-манипуляторов [45, 70].

При анализе большого объема зрительных данных, сравнимого с полным кадром телевизионного сигнала, вычислительных возможностей ни ПК, ни рабочих станций для выполнения обработки в реальном времени пока недостаточно [49, 50, 65, 72]. В качестве основных путей для повышения быстродействия обработки зрительных данных в СТЗ можно выделить: использование априорной информации для обнаружения объекта на изображении [58, 65]- анализ отдельных фрагментов изображения поля зренияприменение прогноза положения образов объектов на изображении при обработке последовательности кадров телевизионного сигнала [46]- обработка отдельных полей кадра [58].

При выполнении работы использовались результаты исследований по машинному зрению и системам технического зрения, проводившихся в ИПМ РАН начиная с 1974 г. [10, 19, 20−22, 34, 35].

В качестве объекта исследования в данной диссертации выбрано ПрО СТЗ на базе IBM-совместимых ПК. Вычислительная мощность подобных ЭВМ в сочетании с рационально разработанным алгоритмическим обеспечением позволяет организовать обработку зрительной информации в реальном времени, а графические возможности ПК — реализовать дружественный пользователю графический интерфейс (ГИП).

На ПК операционные системы реального времени [9, 47, 63] не являются широко распространенными. Из доступных ОС была выбрана MS-DOS, обеспечивающая удобный доступ к аппаратному обеспечению. Поскольку для применения ПК в качестве базового в СТЗ необходимы средства обеспечения режима реального времени и, вместе с тем, ГИП, актуальной задачей является разработка и реализация соответствующей архитектуры ПрО СТЗ.

Базовым языком для разработки ПрО СТЗ выбран Си++. В [31] был проведен сравнительный анализ языков программирования применительно к задачам СТЗ. В качестве преимуществ языка Си были указаны компактность, быстрота исполнения, удобство работы с аппаратурой. Как недостатки отмечались сложности редактирования и отсутствие диалогового режима. В настоящее время в средствах разработки на базе Си++ имеются интегрированные среды разработки [14], в существенной степени устраняющие указанные недостатки. Объектно-ориентированный язык Си++ [3, 36] содержит более развитые по сравнению с языком Си средства абстракции данных и объектно-ориентированного программирования, значительно упрощающие разработку графического пользователя и обеспечивающие повторное использование компонент ПрО.

Целью данной работы является изучение возможностей использования IBM-совместимых ПК в составе СТЗ. Актуальной задачей является разработка архитектуры СТЗ и набора повторно используемых компонент ПрО, позволяющих реализовать конкретную СТЗ коллективом из 2−3 человек в течение 2−4 месяцев.

Конкретными задачами диссертации являлись:

1) разработка структуры аппаратного и программного обеспечения СТЗ реального времени на базе IBM-совместимых ПК;

2) разработка графического интерфейса пользователя применительно к задачам СТЗ;

3) реализация повторно используемых компонент ПрО СТЗ.

Основными результатами, полученными в данной работе, являются следующие:

1) разработана архитектура ПрО СТЗ, обеспечивающая в среде однозадачной ОС MS-DOS сочетание графического интерфейса пользователя и функционирование в режиме реального времени;

2) на основе объектно-ориентированного подхода разработаны повторно используемые компоненты ПрО СТЗ;

3) с применением разработанного ПрО реализованы 8 СТЗ для решения важных народно-хозяйственных и научно-исследовательских задач;

4) разработана информационная система для хранения и дополнительной обработки данных, полученных в результате работы СТЗ.

Существенное практическое значение имеют разработанные в процессе выполнения диссертации прикладные СТЗ (см. таблицу 1 в приложении). В этих СТЗ получение данных о трехмерных объектах выполняется на основе анализа двумерных черно-белых изображений с учетом априорных данных (или данных, получаемых СТЗ в процессе работы из других источников) о расположении объектов относительно телевизионной камеры. Общей чертой разработанных СТЗ является требование практически непрерывного сбора и анализа зрительных данных в режиме реального времени. Примерами подобных СТЗ являются СТЗ для анализа объектов инфраструктуры железной дороги. Одна из них, СТЗ в составе передвижной лаборатории комплексной диагностики (ПЛКД), выполняет определение расположения контактного провода (в плане и по высоте относительно оси пути) в процессе движения по железнодорожному перегону. Эти измерения необходимы для обеспечения безопасности движения. Человек не может выполнять подобные измерения (минимальные требования к частоте измерений — 4 измерения в секунду). Существующие контактные методы позволяют выполнять измерения только с использованием пантографа вагона лаборатории. СТЗ при решении данной задачи позволяет выполнять измерения с требуемой частотой и использовать пантограф локомотива, что невозможно в случае контактных методов.

Важное практическое значение имеют СТЗ в составе систем «глаз-рука». В настоящее время возможность и целесообразность использования роботов в различных областях человеческой деятельности связаны с необходимостью повышения их уровня автоматизма при выполнении работ в заранее неопределенных или, точнее, не доопределенных условиях. В ИПМ РАН ведутся исследования, направленные на разработку системы управления роботом для решения большого класса задач манипулирования с объектами, совершающими заранее неизвестное движение в операционном пространстве робота. В разработанных системах «глаз-рука» применяются динамические модели движения объектов манипулирования (ими являются прямолинейный стержень, подвешенный за концы на двух нитяхтеннисный мяч, подвешенный в операционном пространстве роботадва теннисных мяча, подвешенных в различных точках операционного пространства робота), позволяющие прогнозировать будущее относительное положение объекта манипулирования в трехмерном операционном пространстве манипулятора на основе двумерных наблюдений текущего относительного положения. В этих системах «глаз-рука» основная задача СТЗ состоит в получении в режиме реального времени данных, необходимых для определения параметров движения объектов манипулирования. С учетом априорных данных о форме и размерах объектов на обрабатываемых изображениях, а также прогноза положения объектов удалось обеспечить обработку 25 кадров в секунду.

Диссертация состоит из введения, трех глав, заключения и приложения. Первая глава посвящена описанию графического интерфейса пользователя СТЗ. Компоненты ПрО СТЗ по функциональному назначению были разделены на 4 группы, или, подсистемы: ТИП, обработка изображений, интерфейс с аппаратурой и хранение данных. Компоненты ТИП в ПрО СТЗ занимают центральное место, поскольку в них реализуется логика режимов работы СТЗ.

Результаты работы докладывались на научном семинаре по робототехнике ИПМ РАН (май 1998 г.), на научном семинаре «Программирование» ИПМ РАН под руководством профессора М.Р. Шура-Буры (ноябрь 1998 г.), на Всероссийском семинаре под руководством академика Д. Е. Охоцимского «Механика и управление робототехническими системами с элементами искусственного интеллекта» (МГУ, ноябрь 1998) и опубликованы в работах [1, 4, 7, 32, 33,60,61,62, 68].

Заключение

.

Основными результатами, полученными в работе, являются:

1. Разработана архитектура ПрО СТЗ для реализации СТЗ реального времени на базе IBM-совместимых ПК. Архитектура обеспечивает в среде однозадачной ОС MS-DOS сочетание графического интерфейса пользователя и функционирование в режиме реального времени.

2. Решены 8 важных народно-хозяйственных и научно-исследовательских задач (см. Приложение, таблица 1), главными из которых являются бесконтактное измерение положения контактного провода железной дороги и информационное обеспечение робота-манипулятора при взаимодействии с подвижными объектами. Разработан макет СТЗ, предназначенный для ускорения разработки СТЗ на базе описанных в работе компонент ПрО.

3. На основе анализа разработанных СТЗ с использованием объектно-ориентированного подхода выделены основные группы повторно используемых компонент ПрО СТЗ: графический интерфейс пользователя, обработка изображений, интерфейс с аппаратурой и хранение данных. Эти компоненты реализованы на языке Си++.

4. В среде Windows 95 разработана информационно-справочная система, обеспечивающая обработку результатов работы СТЗ с учетом требований конкретной прикладной задачи и представление этих результатов в виде, удобном для восприятия человеком-экспертом.

Таким образом, в результате проведенных исследований выполнена основная задача работы: показана возможность разработки СТЗ, функционирующих в режиме реального времени, на общедоступном аппаратном и программном обеспечении ПК и создано ПрО для ускорения разработки этих СТЗ. Полученные результаты использованы в ряде действующих промышленных и научно-исследовательских прикладных автоматизированных комплексов.