Алгоритм реконструкции изображений на основе анализа локальных бинарных окрестностей

В настоящее время в домашних коллекциях имеется большое количество уникальных архивных фотографий и фото документов, существующих только в единственном экземпляре. На некоторых из них могут присутствовать дефекты в результате неправильного хранения или физического повреждения (трещины, пятна, царапины и т. д.). Путем оцифровывания данных изображений можно не только надежно сохранить, но и улучшить их визуальное качество с использованием передовых технологий обработки изображений. дефект изображение фотография царапина В данной работе рассматриваются системы автоматического распознавания дефектов на изображениях. Решение данной задачи имеет широкое применение на практике. Автоматическое обнаружение встречается в задаче поиска дефектов на дорожном покрытии, в текстильной промышленности, а также реставрации архивных фото изображений. Для решения первых двух задач (поиск дефектов на дорожном покрытии и текстиле), достаточно создания маски, которая с максимальной достоверностью локализует дефекты на изображении, в то время как для фото реставрации необходимы дополнительные алгоритмы для восстановления обнаруженных поврежденных участков.

Цифровое восстановление поврежденных фотографий состоит из этапов обнаружения повреждений и их устранения. В большинстве случаев этот процесс осуществляется путем ручной обработки, который требует определенных навыков и времени. Существует также полуавтоматический способ удаления дефектов [1]. Для восстановления поврежденного изображения пользователю необходимо выделить предполагаемые дефекты для последующей реконструкции в автоматическом режиме.

Проблема автоматической процедуры цифрового восстановления поврежденных изображений в достаточно короткий промежуток времени с высоким качеством восстановленного изображения является важной задачей.

Изображения, содержащие примеры царапин и сложной структуры фона приведены на рис. 1 (а — пример царапин на изображении, б — пример структуры фона).

а) б).

Рис. 1. — Примеры изображений

На данный момент существует большое количество методов автоматического детектирования царапин на изображении. Самые первые и наиболее простые в реализации алгоритмы относятся к классу пороговой обработки [2]. Суть данных методов заключается в выборе пороговых значений, которые наиболее максимально разделяют пиксели принадлежащие дефектам, от пикселей принадлежащим объектам на гистограмме яркости изображения. Другой разновидностью пороговых детекторов являются методы, основанные на пороговой сегментации изображений [3]. Основным недостатком методов пороговой обработки является зависимость корректности обнаружения дефектов от априорно заданных пороговых значений.

Другим классом детекторов является морфологическая обработка изображения [4]. Для обнаружения царапин на фото документах используются морфологические операции, такие как преобразование Top Hat для обнаружения светлых и темных трещин соответственно. Также возможно использование различных комбинаций морфологических операций, таких как открытие и закрытие, эрозия и дилатация с предварительно выбранным структурообразующим элементом. Данный класс детекторов имеет в своей результирующей маске меньше ложных срабатываний, чем детекторы, основанные на пороговой обработке при условии эффективных методов предобработки изображения и постобработки маски. Из недостатков следует отметить зависимость эффективности работы от априорно заданных параметров.

Еще одним классом способов являются методы частотной обработки изображений [5,6]. Данные методы позволяют выделять текстурные особенности на изображении схожие с базовой функцией.

К последней группе детекторов следует отнести методы, основанные на обучении алгоритма [7]. Суть методов обучения заключается в выборе дескрипторов, которые наиболее точно характеризуют предполагаемый дефект. Эффективность обнаружения таких детекторов зависит от качества выбора дескрипторов [8]. Данная группа детекторов позволяет применять несколько методов обнаружения дефектов и дает интегральную оценку для пикселей или области изображения.

Целью данной работы является обнаружение на архивных изображениях дефектов, вызванных отслоением фотографического слоя, с целью дальнейшего их устранения в автоматическом режиме.

Изображение рассматривается как упрощенная математическая модель, которая представляет собой двумерную дискретную последовательность вида: где — наблюдаемое изображение, — оригинальное (неповрежденное) изображение, — бинарная маска области с искаженными значениями (1 — соответствует искаженным пикселям, 0 — соответствует не искаженным пикселям), — искаженные значения пикселей.

На рисунке 2 приведена блок-схема предложенного алгоритма обнаружения царапин на изображении в автоматическом режиме. Она состоит из двух этапов: предварительной обработки и этапа обнаружения дефектов с использованием локальных бинарных дескрипторов.

Рис. 2. — Блок-схема предложенного алгоритма

Предварительная обработка является важным шагом при обнаружении дефектов, предназначенная для подавления шумовой составляющей, а также устранения не больших дефектов. В данной работе используется алгоритм фильтрации BM3D [9]. На рисунке 3 показан пример предварительной обработки — а) исходное изображение, б) отфильтрованное изображение.

а) б) Рис. 3. — Предварительная обработка изображения

Для обнаружения царапин в качестве текстурного дескриптора для локальных областей на изображении используются локальные бинарные окрестности (LBP). С помощью метода опорных векторов (SVM), все фрагменты изображения классифицируются на два типа — область с дефектом и область без дефекта [10]. Дескрипторы LBP позволяют получить гистограмму, которая описывает текстурные и структурные особенности изображения. Такая гистограмма также является инвариантной к повороту и изменению уровня яркости. Дефект представляет собой, как правило, небольшую, по отношению к фоновой области, линию, которая нарушает однородность текстуры фона.

Модифицированный LBP оператор может быть записан следующим образом:

где число соседей; радиус; число переходов между 1 и 0; пороговое значение на количество переходов.

Таким образом, формируется гистограмма для локальной области, представляющая собой дескриптор для анализа локальных областей в изображение на наличие царапин (рис. 4) [11,12].

Рис. 4. — Оператор и гистограмма для однородных окрестностей

Для классификации и соотнесения каждого пикселя к классу дефектов или к классу объектов используется метод опорных векторов (SVM). Для пояснения работы метода опорных векторов будем рассматривать задачу классификации для объектов двух классов.

Пусть заданы:

• * множество обучающих объектов, заданных векторами признаков, (является подмножеством евклидова пространства размерности);
• * множество ответов для обучабщих объектов: .

Тогда задача классификации состоит в построении такой функции (классификатора), которая каждому вектору сопоставляется правильный ответ .

В методе SVM в качестве функции выбрана плоскость, расстояния до которой ближайших векторов обоих классов равны (рис. 7). Ближайшие точки-векторы называются опорными. При этом для всех объектов одного класса должно выполняться неравенство, а для всех объектов другого класса — неравенство .

Уравнение разделяющей плоскости имеет следующий вид: где — размерность постранства признаков; - направляющий вектор, — скалярный порог.

В методе опорных векторов выделяют два этапа: этап обучения и этап распознавания. На первом этапе из множества обучающих примеров отбираются опорные векторы, на основе которых строится разделяющая плоскость. Этап распознавания заключается в том, что на вход полученного классификатора подается пример, о классовой принадлежности которого ничего не известно. Классификатор должен дать ответ, к какому классу относится вектор .

В данной работе для построения разделяющей гиперплоскости используется радиальная базисная функция:

при ,.

где — текущий вектор, — центральный вектор, — нормализующий параметр. Пример использования данного ядра приведен на рисунке 5.

а) б) Рис. 5. — Иллюстрация построения разделяющей гиперплоскости:

а) — входные значения, б) — пример разделяющей плоскости Для обучения SVM классификатора используются 500 изображений дефектов, и 500 изображений без дефектов размером 20 на 20 пикселей. Некоторые из примеров обучающей выборки приведены на рис. 1.

Результат работы предложенного метода приведен на рис. 6.

a) б) в).

Рис. 6. — Пример работы предложенного подхода:

• а) — исходное изображение; б) — предварительная обработка;
• в) — результирующая маска царапин

Анализ результатов обработки показывает, что наиболее явные царапины на изображении корректно обнаружены, даже на сложных структурных и текстурных особенностях изображений. Предварительная обработка шумоподавления помогает уменьшить влияние шумовой составляющей, а также устранить небольшие дефекты.

В заключение можно сделать следующие выводы.

В работе представлен автоматизированный алгоритм выделения дефектов на основе модифицированного оператора локальных бинарных окрестностей. Для классификации дескрипторов и разделения на классы использован метод опорных векторов. Примеры, представленные в работе, демонстрируют эффективность алгоритма при обнаружении царапин на сложно текстурных изображениях.

Работа выполнена в рамках федеральной целевой программы ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009;2013 годы.

• 1. Barni M., Bartolini F., Cappellini V. Image processing for virtual restoration of artworks. IEEE Multimedia, vol. 7, no. 2, pp. 34−37, 2000.
• 2. Kapur J.N., Sahoo P.K. and Wong A.K.C. A New Method for Gray-Level Picture Thresholding Using Entropy of the Histogram. Computer Vision, Graphics, And Image Processing, vol. 29, pp. 273−285, 1985.
• 3. Qingquan L.I., Xianglong LIU. Novel Approach to Pavement Image Segmentation Based on Neighboring Difference Histogram Method. Image and Signal Processing, 2008. CISP '08. Congress on, vol. 2, pp. 792 — 796, 2008.
• 4. Giakoumis I., Nikos Nikolaidis N. and Pitas I. Digital image processing techniques for the detection and removal of cracks in digitized paintings. IEEE Trans Image Process, Jan;15(1), pp. 175 — 188, 2006.
• 5. Zhou J., Huang P., and Chiang F. Wavelet-based pavement distress classi? cation. TRR: Journal of the Transportation Research Board, pp. 89−98, 2005.
• 6. Сизякин Р. А., Воронин В. В., Марчук В. И., Гапон Н. В. Обработка изображений с целью обнаружения дефектов на основе преобразования Габора [Текст]// Успехи современной радиоэлектроники. Радиотехника. М.: 2013, № 6. С. 59−63.
• 7. Lin Jin, Liu Yayu. Potholes Detection Based on SVM in the Pavement Distress Image, Ninth International Symposium on Distributed Computing and Applications to Business, Engineering and Science, pp. 544 — 547, 2010.
• 8. Воронин В. В., Адигамов К. А., Петренко С. С., Сизякин Р. А. Критерии и способы оценки качества смешивания сыпучих материалов [Электронный ресурс] // Инженерный вестник Дона, № 4 — Ростов-на-Дону: Изд-во Северо-Кавказский научный центр высшей школы Южного федерального университета, 2012. — Режим доступа: http://ivdon.ru/magazine/archive/n4p2y2012/1400 (доступ свободный) — Загл. с экрана. — Яз. рус.
• 9. Dabov K., Foi A., Katkovnik V., Egiazarian K. Image denoising by sparse 3-D transform-domain collaborative filtering. Image Processing, IEEE Transactions on 16 (8), pp. 2080;2095, 2011.
• 10. Крашенинников А. М., Гданский Н. И., Рысин М. Л. Построение сложных классификаторов для объектов в многомерных пространствах [Электронный ресурс] // Инженерный вестник Дона, № 2 — Ростов-на-Дону: Изд-во Северо-Кавказский научный центр высшей школы Южного федерального университета, 2013. — Режим доступа: http://ivdon.ru/magazine/archive/n2y2013/1611 (доступ свободный) — Загл. с экрана. — Яз. рус.
• 11. Воронин В. В. Автоматизированное детектирование дефектов при реконструкции архивных фотодокументов [Текст]// Научно-технические ведомости СПбГПУ, № 6 — Санкт Петербург: 2012. — С. 50- 54.
• 12. Воронин В. В., Марчук В. И., Гапон Н. В., Сизякин Р. А. Использование метода реконструкции двумерных сигналов при восстановлении архивных фотографий [Текст] // Успехи современной радиоэлектроники, № 9 — Москва: Изд-во Радиотехника, 2011. — С. 16- 19.