Методы и алгоритмы цифровой обработки и коррекции тепловизионных изображений

Актуальность темы

В настоящее время обработка тепловизионных (тепловых, термографических) изображений является важным направлением применения современной вычислительной техники. Она находит применение в самых различных областях науки и техники: обработка информации со спутников, сканирующих земную поверхность с целью составления карт местности, при использовании нескольких частотных диапазонов, включающих как инфракрасные, так и видимые диапазоны, что позволяет достичь лучших результатовобработка данных в системах обнаружения и целеуказания объектов и их идентификацииконтроль соблюдения температурных параметров технологических процессов и тепловых режимов функционирования различных электронных системобработка биологических параметров человека в медицинских исследованиях.

Известны такие задачи обработки изображений, как линейная и нелинейная фильтрация, восстановление и сегментация изображений, сжатие информации для передачи по каналам связи. Проблемы распознавания изображений, кроме классической задачи распознавания фигур заданной формы на изображении, ставят новые задачи распознавания линий, краев и углов на изображении. Еще один аспект проблемы связан с включением текстурного анализа и сегментации зашумленных изображений в процесс вейвлет-кодирования. Наконец, не известны результаты практического применения известных подходов в реальных системах телевидения.

Задача любой (в том числе и тепловизионной — ТПС) системы, формирующей изображение, заключается в создании резкого, чистого изображения, свободного от шумов и искажений. Это всегда представляет определенные проблемы. Во-первых, каждая реальная система формирования изображений обладает некоторыми ограниченными возможностямиимпульсная характеристика реальной системы имеет конечную длительность, что приводит к неизбежному снижению разрешающей способности. Если на изображении необходимо выделять важные детали, размер которых близок к длительности импульсной характеристики, то необходимо увеличивать разрешение. Так, например, с тепловизионной системы (тепловизоров, ИК-приемников) самолетов и вертолетов приходят снимки достаточно хорошего качества, но операторы, изучающие их, всегда пытаются увидеть на них объекты (например, танки, людей), искаженные в силу ограниченного разрешения камер. Во-вторых, изображения могут быть испорчены из-за определенного стечения обстоятельств съемки. Можно принять все меры предосторожности, чтобы получить высококачественные изображений, но какая-то часть их окажется испорченной либо за счет движения объекта или камеры, либо из-за плохой фокусировки и т. д. Среди некачественных изображений всегда находятся столь важные или настолько редкие, что стоит пытаться улучшить их качество. Устранение искажений относится к задачам восстановления (повышения резкости) изображений [1−6].

В теории и практике проектирования тепловизионных систем немаловажную роль играет моделирование тепловизионных изображений. Яркость тепловизионных изображений зависит как от распределения температуры по поверхности наблюдаемого объекта, так и от коэффициента излучения и ориентации визируемых элементов его поверхности — его формы. Кроме того, качество тепловизионного изображения зависит от передаточных характеристик приемника и всех звеньев тепловизора. Крупномасштабные исследования показали, что тепловизионное изображение — носитель большого количества информационных параметров. Обработка этих параметров остается до настоящего времени сложной задачей. Множество готовых решений из области обработки изображений в авиакосмической, радиоастрономической и медицинской информации не получили в тепловидении широкого распространения. Это связано с рядом специфических особенностей, характерных для тепловизионных изображений. Главное отличие — информация, заложенная в тепловизионных изображениях, носит в основном статистический (вероятностный) характер.

Среди прочих следует отметить следующие:

• зашумленность полезных сигналов аддитивными помехами;

• недостаточную контрастность изображений;

• наличие геометрических искажений в структуре изображения;

• нестационарный характер информационной насыщенности полезных сигналов;

• проявление специфических шумов мультипликативного характера, связанных с флуктуациями излучательно-поглощающих свойств обнаруживаемых и исследуемых объектов.

Следствием отмеченного является то, что при автоматизированной цифровой обработке тепловизионных изображений зачастую необходимо применять вероятностные методы.

Основные методы и алгоритмы автоматизированной цифровой обработки тепловизионных изображений включают в себя: низкочастотную фильтрацию шумовнелинейную фильтрацию (кепстральную или гомоморфную обработку) — выделение контура объекта с сохранением границ его внутренних областейрекурсивное восстановление внутренней структуры объектовсжатие изображений, элементы распознавания на основе обработки статистических параметров.

Требования к результатам цифровой обработки тепловизионного изображения, получаемого с матричных систем, очень часто аналогичны требованиям, предъявляемым к телевизионному изображению, несмотря на то, что качество изображений, получаемых с тепловизоров, хуже, чем с фотоприемных матриц, работающих в видимом диапазоне.

Разработке эффективных представлений и моделей изображений и методов их цифровой обработки уделено большое внимание в работах зарубежных и отечественных ученых и специалистов: Прэтта У., Павлидиса Т., Бонгарда М. М., Вудса Р. Е., Гонсалеса Р. С., ФайнаВ.С., Нарасимхана Р., Сойфера В. А., Розенфельда А., СтокхэмаТ., Сэломона Д., Фримена X., Фу К., Харалика P.M., Фурмана Я. А., Журавлева Ю. И., Цуккермана И. И., Ярославского Л. П., Ковалевского В. А., Лебедева Д. С. и многих других. Тем не менее, развитые сегодня методы цифровой обработки изображений, используемые в телевидении, видеотехнике, применительно к тепловизионным системам нуждаются в существенном совершенствовании, что связано со сравнительно большой неоднородностью параметров и характеристик тепловизоров, нелинейностью их характеристик, высоким уровнем шумов и низким контрастом изображения. При этом практически отсутствуют данные при сжатии тепловизионных изображений, искаженных мультипликативным шумом. Необходимость коррекции и ослабления влияния этих факторов на тепловизионное изображение, сжатие при их передаче по каналам связи и определяет актуальность темы диссертации.

В качестве исходной информации используется сигнал полутонового изображения, преобразованного в цифровую форму. Обработка таких изображений (земной поверхности, медицинских объектов и др.) сейчас выполняется в основном в интерактивном режиме. Разработан большой спектр методов, применение которых для конкретной задачи определяется оператором на базе различных эвристических предпосылок и интуиции. Из-за сложности исходной информации представляется трудным проведение какой-либо формализации обработки изображений данного типа.

Итак, можно выделить следующие перспективные направления исследований в области цифровой обработки тепловизионных изображений:

• создание новых оптимальных методов низкочастотной и нелинейной (кепстральная или гомоморфная обработка) фильтрации шумов;

• фильтрация шумов и сегментирование с использованием математического аппарата нечеткой логики;

• разработка высокоэффективных (по скорости и качеству) методов предварительной обработки и сегментации изображений;

• создание методов выделения контура объекта с сохранением границ областей и рекурсивным восстановлением внутренней структуры;

• разработка эффективных методов сжатия изображений;

• разработка методов выделения и распознавания объектов изображений.

В последние годы быстро развиваются системы передачи и обработки тепловизионной информации. На этом фоне важным является решение вопросов устранения информационной избыточности, улучшения алгоритмов сжатия и восстановления изображений и разработки эффективных вычислительных процедур для реализации этих алгоритмов. Сжатие актуально для повышения как скорости передачи, так и эффективности хранения изображений.

Развитие современной микроэлектроники позволяет успешно внедрять методы коррекции и улучшения изображения электронными средствами, в первую очередь, цифровые, основанные на использовании матричных приемников излучения и цифровых компонентов, осуществляющие обработку тепловизионного изображения, полученного в реальном масштабе времени. Наибольшие успехи в этой области связаны с широким распространением цифровой аппаратуры в структуре тепловизоров, а также с развитием алгоритмов обнаружения, выделения и сжатия для передачи в сетях связи. Возможность хранения цифрового изображения позволяет производить совмещение двух изображений, стабилизацию, построение панорамного изображения и другие операции.

Решение этой серьезной научной проблемы определяет актуальность диссертационной работы, направленной на создание новых методов низкочастотной и нелинейной фильтрацииразработку высокоэффективных (по скорости и качеству) методов предварительной обработкисоздание методов выделения контура объекта с сохранением границ его внутренних областей и последующим рекурсивным восстановлением внутренней структурывыделения и распознавания объектовпроектирование сигнальных процессоров для обработки изображений, а также с развитием алгоритмов обнаружения, выделения, сжатия для систем передачи и хранения видеоданных, что послужит интересам всех отраслей экономики страны.

Целью работы является усовершенствование существующих и разработка новых методов, алгоритмов и методик цифровой обработки, позволяющих улучшить качество передаваемого по каналам связи тепловизионного изображения.

В соответствии с поставленной целью в диссертационной работе рассмотрены и предложены:

• существующие методы обработки тепловизионных изображений, включая способы обнаружения объектов, выделения границ и областей изображения;

• создание новых методов низкочастотной (включая использование математического аппарата нечеткой логики) и нелинейной фильтрации шумов;

• разработка высокоэффективных (по скорости и качеству) методов повышения контрастности и сегментации изображений;

• новые методики сегментации зашумленных изображений в процессе вейвлет-обработки;

• программный продукт, реализующий представленные разработки;

• разработка эффективных методов сжатия изображений;

• разработка методов выделения и распознавания объектов изображений.

Методы исследования. В работе использованы методы системного анализа, сегментации изображений, морфологической обработки, методы сжатия изображений, дифференциальных и интегральных преобразований, теории вероятности и математической статистики, математического моделирования и аппарат нечеткой логики, основы системного программирования.

Научной новизной обладают следующие результаты:

• способы обнаружения объектов, выделения границ и областей тепловизионного изображения;

• созданные новые оптимальные методы вейвлетной, низкочастотной и нелинейной фильтрации шумов;

• новые методики сегментации зашумленных изображений;

• новые методы сжатия зашумленных изображений;

• программный продукт, реализующий представленные разработки;

• система алгоритмов (компенсации шумов, повышения контраста, сегментации), использующая результаты применения общего для всех них фильтра, что позволяет оптимизировать вычислительный процесс.

Практическая ценность работы состоит в улучшении качества изображения на выходе тепловизионных систем, в разработке и реализации целостной системы новых эффективных методик и алгоритмов цифровой обработки тепловизионного изображения. Эффективность предложенной методики заключается в сокращении на целый порядок количества вычислительных операций и увеличения качества восстановленного после сжатия изображения по сравнению с традиционными алгоритмами.

Структура разработанных алгоритмов сжатия предоставляет разработчикам возможность эффективной программно-аппаратной реализации на различных типах вычислительных систем. Предложенные способы обработки изображений могут быть использованы в системах передачи, обработки и хранения графической информации, а результаты диссертационного исследования можно рекомендовать для внедрения в учебный процесс.

Разработанные алгоритмы допускают относительно легкую модификацию и могут широко использоваться в практических приложениях как для задач сжатия, так и задач передачи данных по каналам связи.

Основные научные положения, выносимые на защиту:

1. Новые методы и алгоритмы обнаружения объектов, выделения границ и областей слабоконтрастного тепловизионного изображения;

2. Оптимальные методы вейвлетной, низкочастотной линейной (включая использование математического аппарата нечеткой логики) и нелинейной фильтрации шумов;

3. Новые методики сегментации зашумленных изображений;

4. Алгоритмы сжатия тепловизионных изображений, учитывающие специфику искажений и позволяющие построенным на их основе цифровым устройствам функционировать в реальном масштабе времени.

5. Программные продукты, реализующие разработанные методы и алгоритмы в реальном масштабе времени.

Научной новизной обладают следующие результаты.

• методы и алгоритмы обнаружения объектов, выделения границ и областей тепловизионного изображения;

• оптимальные методы низкочастотной линейной (включая использование математического аппарата нечеткой логики) и нелинейной фильтрации шумов;

• новые методики сегментации зашумленных изображений;

• новые методы сжатия зашумленных изображений;

• программные продукты, реализующие разработанные методы и алгоритмы в реальном масштабе времени.

Внедрение результатов работы. Результаты работы внедрены в учебном процессе в МИРЭА и использованы в ОАО «Концерн радиостроения «Вега», НИИКС филиале ГКНПЦ им. М. В. Хруничева, институте общей физики им. A.M. Прохорова Российской академии наук.

Достоверность основных теоретических положений и выводов, полученных в работе, подтверждается сопоставительным анализом разработанных и существующих методик и алгоритмов, а также итогами проведения вычислительного эксперимента и компьютерного моделирования, совпадением результатов работы с данными, полученными другими авторами, а также актами о внедрении и использовании научных и практических результатов диссертации. Теоретические положения, полученные в работе, обосновываются последовательным и корректным применением математического аппарата при выводе аналитических выражений. Достоверность результатов экспериментального исследования обеспечена большим объемом экспериментального материала, который соответствует прогнозируемым данным, а также выбором надежных критериев при построении алгоритмов обработки информации и наглядностью интерпретации полученных практических результатов.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались с 2006;го по 2010 год на научно-технических конференциях и семинарах в Московском государственном институте радиотехники, электроники и автоматики (техническом университете), Московском энергетическом институте (техническом университете), на конференциях и заседаниях НТОРЭС им. А. С. Попова, на международных и Всероссийских научно-технических конференциях.

Публикации. Результаты проведенных в диссертации теоретических исследований и экспериментов опубликованы автором более чем в 20 работах: 2 статьях в ведущих научных журналах и изданиях, выпускаемых в Российской Федерации и рекомендуемых ВАК для публикация основных материалов диссертаций, представляемых на соискание ученой степени кандидата технических наук- 11 статьях в сборниках трудов международных научно-технических конференций- 7 статьях в научно-технических сборниках издательств МИРЭА и других высших учебных заведений и научно-исследовательских институтов.

Структура и объем диссертации

Работа состоит из введения, четырех разделов, заключения, 3 приложений, списка литературы, включающего 125 наименованийсодержит 158 страниц текста, 46 рисунков и 9 таблиц.

Выводы по главе 4.

1. Рассмотрены и предложены статистические методы распознавания объектов на те-пловизионном изображении.

2. Предложен алгоритм восстановления внутренней структуры объекта.

3. Предложен метод нечеткой логики для обработки объектов на тепловизионном изображении. Метод позволяет повысить степень фильтрации на 2,5.5%.

4. Рассмотрены вопросы обработки тепловизионных изображений модифицированными методами.

Заключение

.

В диссертационной работе исследованы различные методы обработки термографических изображений, как известные, так и их новые модификации для конкретной задачи, а также новые методы, которые применены на конкретных изображениях. В целом содержание работы носит прикладную направленность, поэтому большинство теоретических результатов подкреплено вычислительными экспериментами, результаты которых не только служили иллюстрацией или проверкой теории, но часто давали толчок и представляли собой исходный материал для дальнейших изысканий. По результатам проведенных исследований можно сделать следующие выводы.

1. Созданы оптимальные методы низкочастотной и нелинейной (кепстральной) фильтрации шумов на тепловизионном изображении.

2. Разработаны высокоэффективные (по скорости и качеству) методы предварительной обработки (улучшение около 10% по сравнению с существующими) и сегментации изображений.

3. Предложены методы выделения контура объекта с сохранением границ областей и рекурсивным восстановлением внутренней структуры.

4. Разработаны эффективные, в том числе и вейвлетные, методы сжатия изображенийповышение коэффициента сжатия на 5%.

5. Создан метод выделения и распознавания объектов изображений.

6. Предложена методика фильтрация шумов и сегментирование с использованием математического аппарата нечеткой логики.

В целом в диссертационной работе получены новые научные результаты, теоретические положения которых позволили в значительной степени развить и формализовать процедуры анализа и синтеза схем обработки тепловизионных изображений. Выработанные подходы и рекомендации привели к построению программного комплекса, который экспериментально подтвердил эффективность разработанных методик.