Алгоритмы структурного восстановления видеоинформации в системах наблюдения Земли в условиях статистической неоднородности получаемых изображений

Актуальность работы. В системах дистанционного зондирования Земли (ДЗЗ) широкое применение находят сканирующие устройства на основе линеек приборов с зарядовой связью (ПЗС-линеек), включающих тысячи и десятки тысяч фотоприемных элементов. Конструктивно ПЗС-линейки устанавливаются в фокальной плоскости оптической системы датчика перпендикулярно направлению полета спутника с небольшим продольным перекрытием. Кадровая развертка изображения осуществляется за счет орбитального движения космического аппарата (КА), а строчная — путем периодического опроса ПЗС-линеек [1−12].

Датчики на основе ПЗС обладают высокими техническими параметрами. В то же время для них характерны следующие структурные искажения. Во-первых, ПЗС-элементы отличаются друг от друга передаточными характеристиками (чувствительностью и уровнем темнового сигнала), в результате на изображении появляются искажения в виде характерной «полосатости» в кадровом направлении. Более того, некоторые типы фотоприемных элементов в процессе формирования изображения изменяют свою чувствительность, что приводит к изменению интенсивности искажений. Во-вторых, используемые в датчике перекрывающиеся ПЗС-линейки в целом отличаются светосигнальными характеристиками. В результате возникают искажения в виде перепадов яркости на границах так называемых сканов, каждый из которых формируется вполне определенной ПЗС-линейкой. Устранение перечисленных искажений принято называть структурным восстановлением изображения [14].

Традиционный подход к решению этой задачи основан на подаче на вход съемочной аппаратуры опорных уровней излучения и анализе выходных сигналов с каждого ПЗС-элемента. В результате осуществляются оценка структурных искажений и их коррекция. Такой подход требует установки дополнительной высокостабильной бортовой аппаратуры, что представляет сложную тех4 ническую проблему. Кроме этого, поскольку характеристики ПЗС-элементов изменяются во времени, необходимо проведение достаточно частых сеансов калибровки, что приводит к снижению эффективности использования системы ДЗЗ [32, 34].

Другой подход к решению поставленной задачи основан на статистическом анализе структурно искаженного изображения [14, 42]. В рамках подхода разработан ряд алгоритмов, позволяющих выполнить структурное восстановление изображений. Однако известные алгоритмы не обеспечивают необходимого качества функционирования в условиях, когда изображение содержит существенно различные по яркости объекты (чаще всего это суша, водная поверхность и облака), что часто встречается на практике.

Настоящая диссертация посвящена развитию второго подхода — в ней предложены и исследованы алгоритмы коррекции структурных искажений в условиях значительной статистической неоднородности изображений, когда известные алгоритмы оказываются неработоспособными.

Степень разработанности проблемы. Значительный вклад в решение проблемы улучшения измерительных свойств изображений внесли отечественные и зарубежные ученые и специалисты: Асмус В. В., Бакланов А. И., Гектин Ю. М., Гомозов O.A., Еремеев В. В., Злобин В. К., Клюшников М. В., Колесников В. И., Кондратьев Ю. М., Мятов Г. Н., Новикова H.H., Селиванов A.C., Скирмунт В. К., Сойфер В. А., Урличич Ю. М., Яковлев С. Г., Hijazi L., Huang Т., JardanL., Kaiser J., Kronberg P., Nilson N., Porez F., Pratt W., Rabiner L., Rosenfeld A., Sylvander S. и др. Их работы составляют научную и методическую основу для решения задач, поставленных в диссертации.

Во многих публикациях отечественных и зарубежных авторов [7, 12, 13, 30, 34, 35, 46, 51, 52, 93, 96] делается упор на структурное восстановление изображений путем наземной и бортовой калибровки ПЗС-элементов. Такой подход обеспечивает приемлемое качество радиометрической коррекции только при наличии в составе бортовых систем КА высокостабильного калибровочно5 го оборудования, что является сложной технической проблемой. Кроме того, при архивации данных ДЗЗ необходимо хранить также калибровочные данные, актуальные для времени получения каждого снимка.

Другим схожим подходом является калибровка бортовой аппаратуры по опорным наземным полигонам [35, 39, 51, 52]. Основные трудности в его реализации связаны с необходимостью получения нескольких уровней опорных сигналов, их непостоянством в зависимости от состояния атмосферы, условий наблюдения, времени суток и др.

Поэтому в конце 80-х годов прошлого столетия специалистами Рязанского государственного радиотехнического университета (РГРТУ) был предложен статистический подход к решению задачи структурного восстановления изображений [36−38, 44]. В его основе лежит предпосылка о том, что при достаточно большом интервале наблюдения статистические характеристики сигналов на входах соседних ПЗС-элементов совпадают, поэтому различие их передаточных функций может быть определено на основе сопоставления параметров выходных сигналов. В дальнейшем статистический подход получил развитие в кандидатских диссертациях сотрудников РГРТУ Новоселова В. Г. (1999 г.), По-баруева В.И. (2002 г.), Антонушкиной C.B. (2002 г.), а также в публикациях других авторов: Гектина Ю. М., Гомозова O.A., Колесникова В. И., Новикова М. В., Скирмунта В. К. и др. В этих работах предложены и исследованы различные методы и алгоритмы коррекции структурных искажений, основанные на сопоставлении тех или иных характеристик выходных сигналов ПЗС-элементов в сигнальном, частотном и вероятностном пространствах [16, 17, 18, 28, 44]. Однако предложенные подходы обеспечивают качественное решение поставленной задачи лишь в условиях статистической однородности наблюдаемой сцены. В случаях, когда изображение содержит существенно неоднородные по яркости объекты, и предпосылка о совпадении статистических характеристик сигналов на входах соседних ПЗС-элементов нарушается, известные алгоритмы оказываются неработоспособными.

Вообще отсутствуют публикации по вопросам коррекции времязависи-мых структурных искажений, обусловленных значительным изменением передаточных характеристик ПЗС-элементов в процессе формирования изображения. В то же время это явление обнаружено в ряде систем ДЗЗ (например, датчик МСУ-МР КА «Метеор-М № 1»). В данном случае известные решения не обеспечивают качественной структурной коррекции данных ДЗЗ.

Целью диссертации является разработка алгоритмов структурного восстановления данных ДЗЗ, обеспечивающих качественное решение этой задачи в условиях существенной статистической неоднородности изображений и значительного изменения передаточных характеристик ПЗС-элементов в течение сеанса съемки.

Задачи исследований. Поставленная цель достигается путем решения следующих основных задач:

• анализа вопросов структурного восстановления изображений в современных системах ДЗЗ и факторов, снижающих качество этого процесса;

• разработки алгоритмов коррекции структурных искажений на изображениях в условиях их существенной статистической неоднородности;

• разработки алгоритмов коррекции структурных искажений в условиях значительного изменения передаточных характеристик ПЗС-элементов во время сеанса съемки;

• программной реализации и апробации разработанных алгоритмов с привлечением натурной информации от различных систем ДЗЗ.

Научная новизна работы определяется тем, что в ней впервые предложены и исследованы алгоритмы структурного восстановления изображений в условиях значительной статистической неоднородности наблюдаемой сцены и изменения чувствительностей ПЗС-элементов в процессе формирования данных ДЗЗ.

Конкретно на защиту выносятся следующие новые научные результаты:

• алгоритм структурного восстановления статистически неоднородных изображений, обеспечивающий для каждого ПЗС-элемента равное представительство данных от различных по яркости объектов;

• алгоритм коррекции структурных искажений на основе фильтрации статистически неоднородных по яркости областей изображения;

• алгоритм коррекции структурных искажений, основанный на кластерном анализе изображения с целью пространственного разделения видеоданных от разных объектов;

• алгоритмы статистической коррекции изменяющихся во времени структурных искажений, основанные на кусочно-постоянной интерполяции этого процесса и минимизации остаточных структурных различий;

• адаптивный алгоритм коррекции групповых времязависимых искажений, вызванных синхронным изменением передаточных характеристик соседних фотоприемных элементов.

Практическая ценность работы состоит в том, что на базе предложенных алгоритмов созданы программные комплексы структурного восстановления изображений, которые в составе систем ОйЬоКогш8сап, ОеоБсап, КогшБа!, Ме1еог8а1 используются для обработки данных ДЗЗ от космических систем «Ресурс-ДК», «Метеор-М» и «Электро-Л».

Реализация и внедрение. Диссертация выполнена в Рязанском государственном радиотехническом университете в рамках НИР 7−06Г, НИР 11−09, НИР 37−09Г, ОКР 4−10, ОКР 30−06, ОКР 10−07.

Результаты работы в виде программных комплексов и эксплуатационной документации внедрены в ОАО «Российские космические системы» (в рамках космической системы «Метеор-М»), ФГУП «НПО им. С.А. Лавочкина» (в рамках космической системы «Электро-Л»).

Апробация работы. Основные положения диссертации докладывались и обсуждались на 5 международных и 9 всероссийских научно-технических конференциях, а именно: международных конференциях «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» (Курск, 2008, 2010), «XXXVI Гагаринские чтения» (Москва, 2010), «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2008, 2010) и всероссийских конференциях «Современные проблемы дистанционного зондирования Земли из космоса» (Москва, 2008, 2009), «Актуальные проблемы ракетно-космической техники и ее роль в устойчивом социально-экономическом развитии общества» (Самара, 2009), «Интеллектуальные и информационные системы» (Тула-2007), «Актуальные проблемы ракетно-космического приборостроения и информационных технологий» (Москва, 2009, 2010), «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2007, 2008, 2009).

Публикации. По теме диссертации опубликованы 24 работы: 9 статей (в том числе 7 статей по списку ВАК), 15 тезисов докладов на международных и всероссийских конференциях.

Личный вклад автора по опубликованным работам состоит в следующем:

• в работах [53, 78, 80] соискателем предложен алгоритм коррекции структурных искажений, основанный на кластеризации изображения и раздельной обработке кластеров;

• в работах [54, 58−62] соискателем исследованы вопросы оценки интенсивности аддитивного шума и его влияния на процесс структурного восстановления изображений;

• в работах [64−66, 84] соискателем представлены алгоритмы яркостной нормализации сканов;

• в работах [72−74, 85−87] соискателем предложены алгоритмы структурного восстановления, основанные на фильтрации неоднородностей сюжета;

• в работе [68] соискателем разработан алгоритм радиометрической коррекции изображений с существенно неоднородным сюжетом на основе выравнивания представительства данных от разных объектовв работе [79] соискателем предложен алгоритм автоматической классификации столбцов изображения по признаку присутствия данных от водной поверхности и суши;

• в работах [65, 81, 88, 89] соискателем разработаны модели времязави-симых структурных искажений и построены алгоритмы их коррекции;

• работы [53, 54, 66, 73, 79, 80, 84, 86, 87, 88] выполнены соискателем без соавторов.

Структура и объем работы. Диссертация состоит из введения, 4 глав, заключения, списка литературы и приложения, которое содержит документы о внедрении результатов. Основной текст работы содержит 126 е., 37 рисунков и 5 таблиц.

Список литературы

содержит 119 наименований на 13 с.

Основные результаты

1. Рассмотрена методика оценки интенсивности структурных искажений, позволяющая численно оценить уровень остаточных искажений и, следовательно, качество алгоритмов структурного восстановления. Эта методика базируется на внесении в изображение дополнительного структурного шума с известными статистическими характеристиками, оценке с помощью аттестуемых программ этих характеристик и нахождении методической погрешности программ радиометрической коррекции видеоданных.

2. Предложены принципы и описаны особенности структуры программной реализации алгоритмов структурного восстановления. Показано, что быстродействие разработанного программного обеспечения улучшается за счет параллельного выполнения обработки на нескольких процессорах, организации конвейерной обработки и повышения эффективности использования кэшпамяти процессора примерно в 1,5 раза. При обработке на 8-ми процессорах достигнуто увеличение быстродействия в 3 раза по сравнению с однопроцессорной. Критичным фактором, ограничивающим рост быстродействия, является скорость считывания данных с жесткого диска.

3. Приведены результаты апробации программного обеспечения структурного восстановления видеоданных на примере обработки фрагментов изображений от КА «Ресурс-ДК», «Электро-Л» и «Метеор-М», содержащих существенно неоднородный сюжет.

ЗАКЛЮЧЕНИЕ

На основе проведенных исследований решена важная научно-техническая задача, связанная с созданием алгоритмического и программного обеспечения систем коррекции структурных искажений на космических изображениях в условиях неоднородности наблюдаемого сюжета и изменения характеристик фотоприемных элементов во времени. К основным научным и практическим результатам диссертационной работы относятся:

1. Анализ искажающих факторов процесса структурного восстановления космических изображений земной поверхности. В основном это неоднородность наблюдаемого сюжета, зашумленность исходного изображения и изменение передаточных характеристик фоточувствительных элементов во время формирования изображения.

2. Алгоритмы коррекции структурных искажений на изображениях с неоднородным сюжетом, основанные на предположении о неизменности передаточных характеристик фотоприемных элементов в процессе формирования изображения. В рамках этой группы вопросов решены следующие задачи:

• Разработка алгоритма структурного восстановления статистически неоднородных видеоданных, основанного на идентификации одноименных объектов изображения на гистограмме и сопоставлении данных только от одноименных объектов. Алгоритм позволяет корректировать структурные искажения, когда на гистограмме кодов яркости возможна идентификация «горбов», соответствующих определенным объектам (водной поверхности, суше и облакам).

• Создание алгоритма коррекции структурных искажений, основанного на выравнивании представительства данных от водной поверхности и суши. Это позволяет использовать подходы, применимые для устранения структурных на однородных снимках, для коррекции искажений на изображениях с существенно неоднородным сюжетом. Таким образом достигается точность кор

125 рекции порядка 1 кванта яркости при увеличении вычислительных затрат на 9−12%, в то время как ранее погрешность коррекции подобных снимков измерялась десятками квантов яркости.

• Создание алгоритма структурного восстановления, основанного на кластерном анализе, разделении изображения на объекты, значительно отличающиеся по яркости, и раздельной обработке выделенных объектов. Это позволяет получить высокую точность (порядка 0,5 кванта яркости) коррекции при обработке изображений с хорошо различимыми объектами водной поверхности и суши.

• Разработка алгоритма яркостного выравнивания сканов, основанного на анализе областей их перекрытия. Это позволяет скановое изображение представлять как непрерывное при дальнейшей обработке.

3. Алгоритмы коррекции времязависимых структурных искажений, в основе которых лежит разделение исходного изображения на фрагменты и проведение коррекции в пределах этих фрагментов. В связи с этим решены следующие задачи:

• Создание алгоритма коррекции структурных искажений, основанного на фильтрации неоднородностей сюжета. Среди набора корректирующих коэффициентов, вычисленных по фрагментам изображения, выбираются только те, которые сформированы по фрагментам с однородным сюжетом. Причем критерием отбора выступают сами значения корректирующих функций, что базируется на предположении об аномальности коэффициентов коррекции, если они найдены по фрагменту с неоднородным сюжетом.

• Разработка математических моделей описания времязависимых структурных искажений и основанных на них алгоритмов структурного восстановления. Выбор той или иной модели определяется типом конкретного датчика, используемого в системе дистанционного зондирования Земли.

• Создание алгоритма коррекции времязависимых структурных искажений для случая групповых изменений характеристик фотоприемных элементов. В данном случае ключевым моментом выступает автоматическая настройка алгоритма в зависимости от степени динамичности сюжета. Таким образом, достигается визуальная незаметность структурных искажений на однородных областях (поверхности моря, поля) и не вносятся значительные изменения в динамичный сюжет (облака, населенные пункты).

4. Сформулированы принципы создания программных комплексов структурного восстановления космических изображений. С использованием организационных, системных и алгоритмических подходов значительно повышены быстродействие и надежность этих программ. Проведены натурные испытания на реальных изображениях от космических систем «Ресурс-ДК», «Электро-Л» и «Метеор-М». Разработанные программы введены в опытную эксплуатацию.

В заключение автор выражает благодарность руководству НИИ «Фотон» за поддержку, коллегам из НИИ «Фотон» РГРТУ за ценные замечания в ходе исследований и совместную отладку разрабатываемого программного обеспечения, O.A. Преснякову и H.A. Егошкину — за ценные советы по разработке алгоритмов и программного обеспечения в ходе выполнения научных исследований.

Отдельную благодарность выражаю научному руководителю Еремееву Виктору Владимировичу.