В течение нескольких последних десятилетий уделяется большое внимание разработке многоканальной аппаратуры наблюдения оптического диапазона и вопросам ее применения в системах различного назначения, поскольку многоканальные (мультии гиперспектральные) системы являются мощным средством обнаружения, опознавания, наблюдения и исследования различных объектов в научных исследованиях и при решении разнообразных технических задач.
Гиперспектральная съемка, до недавнего времени представлявшая лишь чисто теоретический интерес ввиду того, что технический уровень приборостроения не позволял создавать съемочные системы с высоким пространственным и спектральным разрешением одновременно, является эволюционным развитием многоспектральных систем дистанционного зондирования. Благодаря реализации новых технических решений количество каналов фиксируемых двумерных сигналов (ДС) увеличилось с 3 — 7 до 200 — 1 ООО при одновременном достижении высокого спектрального разрешения (от 0.1 до 10 нм) данных дистанционного зондирования (ДДЗ).
В многоканальных двумерных сигналах (МДС) содержится большое количество разнородной информации о свойствах исследуемых объектов. При этом возникает задача эффективного извлечения полезной информации об исследуемых объектах и ее достоверной интерпретации.
Для обработки МДС, фиксируемых в дискретном ряде спектральных интервалов, разработаны пакеты программного обеспечения, основанного на использовании геоинформационных технологий [9, 10, 27,31, 56]. Для работы с таким программным обеспечением от человека-оператора требуется наличие достаточно высокого уровня квалификации.
К настоящему времени разработано множество методов и алгоритмов обработки МДС. Усилия разработчиков были направлены на создание алгоритмов, основанных на сложных методах математического моделирования и искусственного интеллекта, в целях обнаружения, выделения разнотипных объектов и определения их характеристик. При этом ставилась задача автоматизации процесса обработки МДС.
Однако, как показывают результаты эксперимента, проведенного авторами работы [21], сложные алгоритмы, показывающие хорошие результаты обработки модельных МДС, не всегда дают осмысленную с экспертной точки зрения интерпретацию выделенных объектов в контексте конкретной задачи по обработке ДДЗ, полученных в естественных условиях. Причиной этого является значительная вариабельность исследуемых сцен, которая определяется многими аспектами условий съемки.
В ряде случаев ввиду значительной структурной изменчивости исследуемых объектов автоматическая обработка информации является весьма сложной неоднозначной задачей, решение которой оказывается более эффективным в интерактивном режиме с привлечением опытного специалиста в заданной прикладной области, использованием опыта и дополнительной информации при дешифрировании визуализированных данных. При этом важная задача состоит в представлении МДС в виде, удобном для восприятия экспертом.
Наиболее наглядного представления МДС можно достичь за счет интерактивных процедур функционирования автоматической системы, в том числе интеллектуальной, совместно с использованием преимуществ естественного интеллекта. Участие эксперта обеспечивает адекватную интерпретацию информации, важной для данной задачи.
Для ряда актуальных прикладных задач, таких, например, как распознавание очагов пожаров и других стихийных бедствий по аэрокосмическим снимкам, весьма важна оперативность обработки МДСдля этого многоспектральные данные необходимо с высоким быстродействием обработать и отобразить в удобном для восприятия виде.
Нужно заметить, что ранее уже были разработаны интерактивные методы представления многоканальных данных в одном изображении. Тем не менее, если одни методы, ввиду своей сложности, не обеспечивали оперативность получения результатов, то другие методы обеспечивали оперативность обработки, но результат такой обработки не был нацелен на конкретную задачу.
Таким образом, можно сделать вывод об актуальности проблемы разработки методов и алгоритмов целевой интерактивной обработки МДС с целью оперативного приведения многоспектральных данных к виду, удобному для распознавания их человеком-оператором.
Настоящая диссертационная работа посвящена созданию методов и алгоритмов преобразования, визуализации и интерпретации данных, представленных в форме МДС, в режимах интерактивной обработки информации.
Цель работы и решаемые задачи. Цель работы состоит в разработке методов и алгоритмов целевой интерактивной обработки МДС, позволяющей обеспечить оперативную визуализацию и корректную интерпретацию данных.
Для достижения поставленной цели в процессе выполнения работы были решены следующие задачи:
• создание метода целевой интерактивной обработки МДС по принципу сходства с эталоном, основанного на разработанных автором критериях выбора признакового пространства, определения меры сходства, выбора эталона и методиках интерактивного управления процессом дешифрирования, и позволяющего учитывать априорные сведения, которыми обладает эксперт в предметной области, для решения конкретной задачи;
• разработка новой методики представления синтезированного итогового изображения в псевдоцвете с использованием метода преобразования двумерных сигналов (ДС) по принципу сходства с несколькими эталонами, имеющими различные приоритеты;
• разработка и исследование метода оценки качества синтезированного итогового изображения с учетом целевого критерия;
• разработка методики сокращения объема данных, полученных с помощью многоспектральной аппаратуры, с сохранением информации, необходимой для решения конкретной задачи.
Научная новизна полученных в работе результатов состоит в создании методики представления информации, содержащейся в многоканальных снимках для интерактивного дешифрирования, основанной на методе преобразования ДС по принципу сходства с эталоном в пространстве признаков и позволяющая упростить и ускорить процесс дешифрирования многоспектральных снимков, обеспечивая при этом высокую вероятность правильного распознавания. Методика пригодна для обработки гиперспектральных данных, насчитывающих значительное число спектральных каналов.
На основе метода преобразования ДС по принципу сходства с эталоном разработана методика сокращения объема передаваемых по информационным каналам данных, полученных с помощью многоспектральной аппаратуры, с сохранением необходимой для решения данной задачи информации, основанная на представлении данных в виде изображения в псевдоцвете.
Практическая ценность и реализация результатов работы. Практически значимыми являются разработанные автором методики и алгоритмы, эффект от использования которых состоит в упрощении и ускорении операций по созданию итогового изображения для его интерпретации, и преимуществами которых являются:
• адаптация синтезированного изображения к интересующим наблюдателя объектам;
• обеспечение более детального отображения на синтезированном изображении объектов, выбранных оператором, и более надежного их выделения.
Разработанные методы и алгоритмы являются основой для реализации более эффективных подходов к решению задач обработки ДС, несущих разнородную информацию, в различных областях научной и народнохозяйственной деятельности: геоинформационные системы, медицине, биологии, материаловедении, криминалистике и пр.
Результаты работы использованы в:
• Северо-Западном филиале AHO «Секция „Инженерные проблемы стабильности и конверсии“ Российской Инженерной Академии» при выполнении ряда работ, направленных на создание алгоритмов и программ обработки многоспектральных данных дистанционного зондирования, а именно, метод интерактивного дешифрирования данных многоспектральной съемки и адаптации программы обработки к конкретной задаче наблюдения применен при проектировании программного обеспечения, предназначенного для обработки информации от комплексов авиационной разноспектральной аппаратуры. Эффект от использования результатов заключается в ускорении процесса интерактивного дешифрирования данных многоспектральной съемки при одновременном обеспечении высокой вероятности правильного распознавания;
• Северо-Западном центре «ЭкоЛаб» при создании «Методики учета болот на территории Санкт-Петербурга», основанной на данных многоспектральных космоснимков. С использованием этой методики проведена дешифровка мультиспектральных космоснимков территории Санкт-Петербурга, полученных аппаратурой спутника Quickbird. Разработанная соискателем методика целевой интерактивной обработки двумерных сигналов позволяет дополнять исходные данные информацией, полученной при полевых исследованиях, что позволяет значительно упростить процесс идентификации имеющихся объектов. Представление данных дистанционного зондирования в псевдоцвете с использованием метода преобразования по принципу сходства с несколькими эталонами, имеющими различные приоритеты, приводит к сокращению объема данных, предназначенных для решения конкретной задачи, в ЛУЗ раза, где N определяет число исходных спектральных каналов.
Использование результатов диссертационной работы подтверждено соответствующими актами.
Личный вклад автора:
Представленные в диссертации результаты получены либо лично автором, либо при его непосредственном участии. Лично автором выполнено следующее:
1. Разработан метод обработки МДС, основанный на отображении меры сходства с эталоном и направленный на интерактивное выделение зон интереса на синтезированном изображении, с использованием гистограммы сходства и накопленного опыта эксперта в предметной области.
2. Разработана интерактивный методика целевой обработки МДС и представления итогового изображения в псевдоцвете с использованием преобразования ДС по принципу сходства с несколькими эталонами, имеющими различные приоритеты.
3. Предложен и применен модифицированный критерий видности синтезированных изображений в задачах целевой обработки МДС, учитывающий основные характеристики итогового изображения — уровень адаптации зрительной системы человека, резкость и контраст.
Апробация работы. Основные результаты работы докладывались и обсуждались на следующих симпозиумах, конференциях и семинарах: Международный симпозиум стран СНГ «Атмосферная радиация» (г. Санкт.
Петербург, 2004 г.), Seminar «Display Optics 2004» (St.-Petersburg, Russia, 2004), International Symposium «OPTRO 2005» (Paris, France, 2005), XXXVI научная и учебно-методическая конференция профессорско-преподавательского и научного состава (г. Санкт-Петербург, 2007 г.), V Международная конференция молодых ученых и специалистов «Оптика — 2007» (г. Санкт-Петербург, 2007), XXXVII научная и учебно-методическая конференция СПбГУ ИТМО (г. Санкт-Петербург, 2008), V Всероссийская межвузовская конференция молодых ученых (г. Санкт-Петербург, 2008), Международный оптический конгресс «ОПТИКА — XXI ВЕК» (г. Санкт-Петербург, 2008).
По основным результатам диссертационных исследований опубликовано 7 работ, в том числе 5 статей, две из которых опубликованы в издании Перечня ВАК для опубликования результатов кандидатских диссертаций.
Основные положения, выносимые на защиту:
1. Метод целевой интерактивной обработки МДС по принципу сходства с эталоном в признаковом пространстве, позволяющий использовать в процессе обработки неформализованную априорную информацию, которой обладает эксперт в предметной области.
2. Методика целевой интерактивной обработки МДС и представления синтезированного итогового изображения в псевдоцвете с использованием преобразования ДС по принципу сходства с несколькими эталонами в признаковом пространстве, имеющими различные приоритеты.
3. Методика сокращения объема передаваемых по информационным каналам данных, полученных с помощью разноспектральной аппаратуры, с сохранением необходимой для данной задачи информации, основанная на формировании данных в форме изображения в псевдоцвете, синтезированного по принципу сходства с несколькими эталонами в признаковом пространстве, позволяющая сократить объем передаваемых данных в N13 раза, где N определяет число спектральных каналов исходного МДС.
Основное содержание работы.
В первой главе представлен краткий обзор методов обработки многоканальных данных для представления их в графическом виде. Рассмотрены методы синтеза итогового изображения и методы обработки, основанные на проведении предварительной классификации. Среди методов, основанных на проведении классификации, выделены методы кластерного анализа, методы контролируемой классификации, методы, использующие байесовский подход к классификации, и методы классификации на основе искусственных нейронных сетей.
Выделены преимущества и недостатки различных подходов к обработке многоканальных данных с точки зрения оперативности получения результатов обработки МДС и их пригодности для решения различных целевых задач.
Отмечены различные возможности компьютера и человека в процессе обработки информации. Констатирован факт, что человек располагает информацией, которая недоступна машинному интеллекту, но способствует построению правильного алгоритма решения конкретной прикладной задачи и облегчает процесс принятия верного экспертного решения. Исходя из этого, делается вывод о целесообразности привлечения в процесс обработки многоспектральных данных интеллектуального потенциала человеческого мозга путем разработки и применения различных человеко-машинных процедур с целью организации интерактивного взаимодействия возможностей человека и компьютера. Как следствие, показана необходимость такого представления данных, которое было бы удобным для зрительного восприятия и проведения визуального анализа.
Во второй главе рассматривается метод наглядного представления многоспектральных данных, основанный на преобразования ДС по принципу сходства с эталоном. В ходе рассмотрения даны определения признакового пространства и различных мер сходства с эталоном в признаковом пространстве. Показаны различные подходы к выбору эталона.
В главе показана возможность включения априорных сведений в процесс синтеза итогового изображения при выборе признакового пространства, эталона и меры сходства с заданным эталоном в выбранном признаковом пространстве. В этом контексте предложена методика целевой интерактивной обработки МДС по принципу сходства с эталоном в признаковом пространстве, позволяющая использовать в процессе обработки неформализованную априорную информацию, которой обладает эксперт в предметной области.
Показана возможность настройки метода к различным прикладным задачам обработки МДС. Приведены примеры реализации метода.
Исследован вопрос объективной оценки качества итогового полутонового изображения, синтезированного по принципу сходства с эталоном. Отмечено, что выбор того или иного критерия видности диктуется постановкой конкретной задачи. Для количественной оценки качества изображения, синтезированного с использованием метода обработки ДС по принципу сходства с эталоном применен интегральный критерий качества, учитывающий следующие параметры полутонового изображения: уровень адаптации зрительной системы человека, полнота использования элементами изображения градаций яркостей, резкость и контраст изображения. По результатам оценки качества синтезированных изображений по интегральному критерию видности предложен модифицированный критерий, не учитывающий полноту использования элементами изображения градаций яркостей в задаче выделения зон интереса.
Проведено исследование влияния шумовой составляющей ДС на результат их целевой оперативной обработки по принципу сходства с эталоном. Отмечена устойчивость метода к наличию шумов в отдельных каналах, которая обеспечивается за счет усреднения случайных отклонений обрабатываемого сигнала, а также — путем выбора эталона и меры сходства.
Разработан метод представления результата обработки в виде изображения в псевдоцвете, на котором отражены несколько групп разнотипных объектов. На основе разработанного метода предложены две методики:
• методика целевой обработки многоканальных двумерных сигналов и представления итогового изображения в псевдоцвете с использованием метода преобразования ДС по принципу сходства с несколькими эталонами в признаковом пространстве, имеющими различные приоритеты;
• методика сокращения объема передаваемых по информационным каналам данных, полученных с помощью многоспектральной аппаратуры, с сохранением необходимой для данной задачи информацииметодика основана на формировании данных в форме изображения в псевдоцвете, синтезированного по принципу сходства с несколькими эталонами в признаковом пространстве, и позволяет сократить объем передаваемых данных в N/3 раза, где N определяет число спектральных каналов исходного МДС.
Третья глава посвящена описанию разработанного в рамках настоящей исследовательской работы алгоритмов и программного обеспечения, реализующего метод обработки МДС по принципу сходства с эталоном. Рассмотрены возможности программного обеспечения. Описаны способы решения основных подзадач, а именно:
• выбор стратегии проведения обработки исходных многоспектральных данных пользователем;
• настройка контрастности синтезированного изображения с использованием гистограммы сходства;
• синтез итогового изображения в псевдоцвете с использованием нескольких эталонов.
В четвертой главе рассматривается применение метода обработки МДС в комплексах разноспектральной аппаратуры, по принципу сходства с эталоном. Показаны преимущества использования программного модуля, реализующего метод, в комплексах разноспектральной аппаратуры.
Описана методология обработки МДС, полученных от рассмотренного в главе малогабаритного многоспектрального модуля, предназначенного для проведения аэросъемки местности в видимом и инфракрасном диапазонах. Приведен пример целевой обработки фрагмента многоканальных данных, полученных с помощью сканирующего прибора.
Автор выражает глубокую благодарность научному руководителю доктору технических наук, профессору И. П. Гурову за помощь, ценные замечания, доброжелательную критику и моральную поддержку. Автор также благодарит за всестороннюю помощь и поддержку, плодотворные дискуссии и ценные советы коллег — кандидата физико-математических наук, ведущего научного сотрудника ФГУП НИИКИ ОЭП Т. А. Шереметьеву и ведущего инженера ФГУП НИИКИ ОЭП Г. Н. Филиппова. Автор признателен сотрудникам отдела аспирантуры СПбГУ ИТМО за оказанную помощь в решении вопросов организационного характера. Автор также признателен и благодарен своим родителям JI.A. Маловой и М. Г. Малову, без каждодневной помощи и моральной поддержки которых данная работа не могла бы быть написана. Автор выражает отдельную признательность за оказанную моральную поддержку Т. А. Орловой и JI.A. Мявря.
В ходе исследовательской работы и при написании диссертации использовались гиперспектральные данные, предоставленные компанией Leica Microsystems — Convallaria section, acquisition with Leica TCS SP5 (объекты автофлюоресцентной микроскопии) и компанией «Norsk Elektro.
Орикк А8″ (данные дистанционного зондирования земной поверхности). При написании четвертой главы диссертационной работы использованы материалы, предоставленные ФГУП НИИКИ ОЭП.
ВЫВОДЫ ПО ГЛАВЕ 4.
1. Технические характеристики ТриМ позволяют эффективно использовать его при проведении мониторинга зон чрезвычайных ситуаций, связанных с выделением большого количества тепла в условиях сильной задымленности атмосферы.
2. Задача мониторинга зон чрезвычайных ситуаций требует оперативности принятия решений, для чего необходимо применение быстрых методов обработки данных аэросъемки. Оперативность обработки может быть достигнута за счет использования в АПБ ТриМ программного модуля, реализующего методы и алгоритмы целевой обработки МДС.
Преимущества использования такого программного модуля заключаются в ускорении получения необходимой для решения конкретной задачи.
107 информации и сокращении объема данных, передаваемых информационным каналам.
ЗАКЛЮЧЕНИЕ
.
В ходе выполнения диссертационной работы получены следующие основные научные и практические результаты:
3. Разработан метод целевой интерактивной обработки МДС по принципу сходства с эталоном. Разработанные автором и используемые в созданном методе критерии выбора признакового пространства, определения меры сходства, выбора эталона и интерактивного управления процессом дешифрирования, позволяют включать в процесс обработки априорные сведения, которыми обладает эксперт в предметной области применительно к конкретной задаче обработки информации.
4. Предложена разработанная автором методика оценки качества синтезированного изображения, настроенного на целевую задачу. Примеры обработки МДС подтверждают повышение качества синтезированного итогового изображения по сравнению с изображениями исходных ДС.
5. Впервые предложена методика представления синтезированного итогового изображения в псевдоцвете с использованием метода преобразования ДС по принципу сходства с несколькими эталонами, имеющими различные приоритеты. Методика позволяет получить изображение с выделенными объектами интереса без использования трудоемких алгоритмов классификации. Такое представление МДС приводит к сокращению объема данных, полученных с помощью разноспектральной аппаратуры, с сохранением необходимой информации, в N13 раза, где N определяет число спектральных каналов исходного МДС.
СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ.
1. Шереметьева Т. А., Малов A.M., Филиппов Г. Н., Филиппов В. Г. Компьютерная обработка биомедицинских многоканальных изображений с использованием визуализации меры сходства с эталоном. //Известия ВУЗов. Приборостроение. 2009. Т. 52. № 8. С. 74−79.
2. Шереметьева Т. А., Малов A.M., Филиппов Г. Н. Обработка изображений и морфометрические измерения в микроскопии. //Известия ВУЗов. Приборостроение. 2009. Т. 52. № 8. С. 68−73.
3. Малов A.M., Шереметьева Т. А., Филиппов Г. Н. Представление многоканальных изображений в псевдоцвете по принципу сходства с образцом //Научно-технический вестник СПбГУ ИТМО. 2008. Вып. 52. С. 78—82.
4. Малов A.M. Оценка визуального качества изображений, преобразованных по принципу сходства с образцом. //Сборник трудов международного оптического конгресса «ОПТИКА — XXI ВЕК»: Т.1. «Фундаментальные проблемы оптики — 2008». СПб. 20−24 октября 2008 г. / Под ред. проф. В. Г. Беспалова, проф. С. А. Козлова. СПб. 2008. С. 133−135.
5. Малов A.M., Филиппов Г. Н., Шереметьева Т. А. Метод визуализации гиперспектральных изображений в системах дистанционного зондирования. //Научно-технический вестник СПбГУ ИТМО. Вып. 43. Современная оптика. 2007. С. 293—300.
6. Малов A.M., Филиппов Г. Н., Шереметьева Т. А. Метод предварительной обработки медико-биологических изображений. //Научно-технический вестник СПбГУ ИТМО. Вып. 37. Современная физика. Труды молодых ученых. 2007. С. 10−16.
7. Т.А. Sheremetieva, G.N. Filippov, A.M. Malov, Visualization of data of multizone shooting. «Display Optics 2004». St. Petersburg, October 18−20, 2004. P. 51.
