Исследование зависимости качества декодированного изображения в формате JPEG 2000 от параметров JPWL и частоты пакетных ошибок в зашумленном канале

Исследование зависимости качества декодированного изображения в формате JPEG 2000 от параметров JPWL и частоты пакетных ошибок в зашумленном канале

Рассматривается задача передачи изображения в формате JPEG 2000 с применением средств помехоустойчивого кодирования JPWL по зашумленному каналу в условиях возникновения пакетных ошибок. Основная проблема — восстановление полученного изображения с наименьшими отклонениями от передаваемого оригинала. Поставлена задача проведения экспериментального исследования способности средств защиты JPWL сохранять качество декодированного в приемнике изображения в зависимости от уровня пакетных потерь в канале передачи данных. Методика исследования заключается в моделировании многократной передачи защищенного средствами JPWL изображении размером 1024×768 пикселей и потери сетевых пакетов с данными закодированного изображения. Варьируемыми параметрами исследования являются применяемые для защиты JPWL коды Рида-Соломона и процент потерь сетевых пакетов. Рассматривается стандартный вариант защиты JPWL и комбинация стандартного варианта с алгоритмом внутрикадрового чередования. Конечными результатами эксперимента выступают мера сходства PSNR декодированного в приемнике и исходного изображения, среднее значение процента полностью восстановленных тайлов от количества тайлов в кодовом потоке. Описан разработанный для проведения исследования программный комплекс, в который включаются кодер и декодер JPEG 2000, кодер и декодер JPWL, средства разбиения кодового потока на RTP пакеты, средства моделирования пакетных потерь, средства сборки кадров из RTP пакетов. Отмечается, что в условиях пакетных ошибок декодер JPEG 2000 должен уметь обрабатывать частично поврежденные или отсутствующие тайлы. Описан метод внутрикадрового чередования кодового потока, предназначенный для повышения его устойчивости к пакетным ошибкам. В процессе исследования выдвинуты три гипотезы. Гипотеза 1: в условиях пакетных потерь стандартные средства JPWL не способны обеспечивать сохранение качества декодированного изображения в приемнике. Гипотеза 2: в условиях пакетных потерь стандартные средства JPWL, применяемые совместно с алгоритмом внутрикадрового чередования, способны обеспечивать сохранение качества декодированного изображения в приемнике. Гипотеза 3: в условиях пакетных потерь при применении алгоритма внутрикадрового чередования значение PSNR восстановленного в приемнике изображения статистически зависит от количества полностью восстановленных декодером JPWL тайлов. В результате экспериментального исследования все гипотезы были полностью подтверждены.

С развитием технологий беспроводных сетей значительную актуальность приобрели вопросы надежности передачи данных в условиях возможных искажений и потерь [1, 2]. В работе рассматривается проблема передачи изображения в формате JPEG 2000 [3] по зашумленному каналу. Передача заключается в пересылке сетевых пакетов, несущих фрагменты изображения. В результате зашумления канала часть пакетов может быть искажена и отброшена [4]. Следствием таких пакетных ошибок является отсутствие смежных фрагментов кодового потока в приемнике, что-либо затрудняет восстановление изображения в целом, либо делает восстановление невозможным. Для защиты кодового потока JPEG 2000 при передаче по беспроводным сетям разработана спецификация ITUT.810 [5], в которой описан набор средств защиты, называемых JPWL, основанных на использовании кодов Рида-Соломона.

Данная работа является продолжением [6], в которой проведены экспериментальные исследования способности средств JPWL корректировать пакетные ошибки. Было показано, что стандартные средства JPWL не могут эффективно противостоять пакетным ошибкам. В то же время сочетание стандартных средств JPWL с предложенным методом внутрикадрового чередования позволяет эффективно восстанавливать кодовый поток.

Первой целью настоящей работы является экспериментальное исследование зависимости качества восстановленного изображения в формате JPEG 2000 от параметров JPWL и уровня зашумленности канала. Вторая цель заключается в выявлении статистической зависимости между значением меры сходства изображений PSNR и количеством полностью восстановленных декодером JPWL тайлов при применении метода внутрикадрового чередования, что позволит оценивать уровень искажения декодированного изображения на основе статистики декодирования JPWL.

Методика исследования опирается на набор средств защиты JPWL, предназначенных для защиты кодового потока JPEG 2000 [7]. При кодировании в этом формате изображение разбивается на несколько квадратных фрагментов (тайлов), каждый из которых кодируется отдельно. Структура кодового потока изображена на рис. 1.

Рис. 1. — Структура кодового потока JPEG2000

Маркеры SOC и EOC обозначают начало и конец конкретного кадра. Основной заголовок содержит данные об изображении в целом: размер, цветовая схема, количество тайлов и др. Заголовок тайла включает информацию о квадратном фрагменте изображения, в том числе о его привязке к координатной сетке. Данные тайла — это собственно закодированный фрагмент изображения.

Основным инструментом коррекции ошибок JPWL являются коды Рида-Соломона [8] RS (n, k) (RS-коды). Они предназначены как для обнаружения, так и для исправления (n-k)/2 искаженных данных в кодовом слове длиной n байт, состоящем из защищаемого фрагмента данных длиной k байт и (n-k) байт кодов четности. Код RS (n, k) позволяет исправить до (n-k)/2 искаженных байт в кодовом слове. Спецификацией [5] предусмотрено использование целого семейства RS-кодов от наиболее «слабых» RS (37,32) до наиболее «сильных» RS (128,32) и RS (160,64).

Защита кодового потока выполняется добавлением в него кодером JPWL специальных сегментов EPC и EPB. Сегмент EPC задает возможность защиты от ошибок. Он вставляется только в основной заголовок и сигнализирует декодеру, что в кодовом потоке присутствуют средства JPWl, а также содержит описание использованных методов защиты и, при необходимости, их параметры. Сегмент EPB — это собственно блок, реализующий защиту от ошибок с использованием RS-кодов. Он вставляется в основной заголовок и заголовки тайлов, содержит параметры применяемой защиты и избыточные коды четности. Схема защиты данных блоком EPB изображена на рис. 2.

Рис. 2. — Защита данных блоком EPB

Заголовок JPEG 2000, поля сегмента EPB и вид RS-кодов, которые применены для защиты данных корректируются с использованием одного из предопределенных RS-кодов, заданных в [5] и кодов четности 1. Вид предопределенного кода определяется расположением сегмента EPB в заголовке JPEG 2000 и назначением этого заголовка. После успешной коррекции становится известен вид RS-кодов, который применен для защиты данных, после чего данные корректируются с использованием кодов четности 2.

Коррекция не всегда проходит успешно. Если в кодовом слове искажено большее количество байт, чем может исправить RS-код, оно не подлежит восстановлению. В этом случае декодер JPWL помечает невосстановленный фрагмент кодового потока при помощи дескриптора (сегмента) остаточной ошибки RED. Этот дескриптор используется только в заголовках декодированного кодового потока. Он сигнализирует декодеру JPEG 2000 о том, какие участки кодового потока содержат остаточные искажения, а какие — нет.

Методика исследования заключается в моделировании передачи защищенного средствами JPWL кодового потока изображения размером 1024×768 пикселей, предварительно закодированного кодером JPEG 2000 с использованием тайлов размером 128×128 пикселей. Изображение многократно (1000 раз) загружается в разработанную авторами исследовательскую программную систему, в которой оно последовательно проходит следующие этапы обработки:

кодирование JPEG 2000;

кодирование JPWL;

разбиение на RTP-пакеты согласно спецификации RFC 5371 [9, 10];

моделирование потерь пакетов по заданному проценту потерь;

сборка кодового потока из оставшихся пакетов;

декодирование JPWL и подсчет статистики декодирования;

декодирование JPEG 2000, сравнение декодированного изображения с оригиналом и вычисление значений отклонений PSNR;

вычисление среднего значения статистики декодирования и PSNR по результатам обработки 1000 экземпляров изображения.

Неизменными параметрами в исследовании являются исходное изображение, способ кодирования JPEG 2000 — необратимое преобразование, способ защиты заголовков, размер RTP пакета, размер и количество тайлов. Размер RTP пакета равен 1024 байт. В [11] было выявлено, что размер и количество тайлов практически не влияют на показатели восстановления кодового потока декодером JPWL. В связи с этим, в данном исследовании размер и количество тайлов не изменяются.

Переменными параметрами исследования являются виды RS-кодов, применяемых для защиты данных, процент потери пакетов в зашумленном канале и способ кодирования JPWL (без применения или с применением внутрикадрового чередования). Программа исследования приведена в таблице № 1.

Таблица № 1.

Программа исследования

Статистическими результатами декодирования выступают количество полностью и частично восстановленных тайлов декодером JPWL, значения отклонений PSNR.

Следует отметить, что наиболее важной частью кодового потока является основной заголовок. Поэтому для его дополнительной защиты обычно применяется избыточное дублирование пакетов, содержащих его фрагменты, в связи с чем, в данном исследовании пакетные ошибки не будут применяться к пакетам основного заголовка.

Исследовательский программный комплекс Для данного исследования был разработан специализированный программный комплекс, состоящий из двух модулей: подготовительного и моделирующего. Схема функционирования комплекса изображена на рис. 3.

Центральными звеньями подготовительного модуля являются кодеры JPEG 2000 и JPWL, разработанные для системы видеотрансляции в режиме реального времени [12] и адаптированные к условиям проводимого экспериментального исследования. Принципы их работы и организации подробно рассмотрены в [6, 11].

Реализация кодера JPEG 2000 соответствует уровню требований Профиля 0 и Класса 0 [3]. Исключение составляет возможность кодирования изображения размером до 1024Ч768 пикселов с числом цветовых компонент от 1 до 3. Эти значения превышают требования Профиля 0 и Класса 0.

Рис. 3. — Исследовательский программный комплекс

Декодер JPEG 2000 соответствует стандарту [3] на уровне требований Профиля 0 и Класса 0 с расширениями, реализованными для кодера. Особенностью декодера является возможность обрабатывать кодовые потоки, не полностью восстановленные после декодирования JPWL. Основанием для такой возможности служит инкрементальный характер кодирования по стандарту JPEG 2000. В случае отбрасывания хвостовой части кодового потока для тайла сохраняется возможность декодирования начальной части потока, что обеспечивает возможность восстановления исходного изображения тайла, хотя и с ухудшенным качеством.

Кодер и декодер JPWL реализуют как стандартный способ защиты кодового потока [5], так и стандартный способ совместно с алгоритмом чередования. Содержание алгоритма заключается в том, что основной заголовок остается без изменений, а остальная часть кодового потока JPWL подвергается перестановке. Основной заголовок содержит сегмент EPC, в котором записана общая длина кодового потока. Разность общей длины и длины основного заголовка определяет длину данных, которые должны быть переставлены. Эти данные рассматриваются как прямоугольная матрица, заполненная «по строкам». Данные в этой матрице переставляются так, чтобы она оказалась заполнена «по столбцам».

Пусть L — общая длина кодового потока, M — длина основного заголовка. Тогда согласно [13] количество столбцов и строк матрицы вычисляется по формулам:

В результате такой перестановки фактическая длина кодового потока несколько увеличивается на стороне кодера, поскольку в матрицу может быть включено до NR-1 «лишних» элементов. Кодер и декодер JPWL должны учитывать этот факт.

Отличие предлагаемого способа чередования от описанного в [13] заключается в том, что в данном случае чередованию подвергается весь кодовый поток за исключением основного заголовка. В [15] предлагается перестановка только кодов четности, записанных в сегментах EPB или мх вычисление «по столбцам» таблицы.

В исследовании проверяются три гипотезы.

Гипотеза 1. Стандартные средства JPWL, соответствующие спецификации T.810, не способствуют восстановлению изображения в условиях пакетных ошибок. Критерием, подтверждающим эту гипотезу, является наличие убывающей гиперболической зависимости значения меры сходства PSNR исходного и восстановленного изображения от процента пакетных ошибок, при которой в начале идет резкое падение, которое постепенно затухает к концу.

Гипотеза 2. Стандартные средства JPWL, применяемые совместно с алгоритмом чередования, способствуют эффективному восстановлению изображения в условиях пакетных ошибок. Способность восстановления зависит от используемых RS-кодов и процента пакетных потерь. Критерием, подтверждающим эту гипотезу, является нелинейная зависимость процента пакетных потерь и значения PSNR, при которой до определенного уровня потерь значение PSNR постоянно на максимально возможном уровне, а после превышения некоторого порога пакетных потерь, зависящего от применяемого RS-кода, начинает падать.

Гипотеза 3. При применении алгоритма внутрикадрового чередования значение PSNR статистически зависит от количества полностью восстановленных декодером JPWL тайлов. Критерием, подтверждающим эту гипотезу, является коэффициент корреляции между PSNR и количеством полностью восстановленных тайлов, значение которого должно превышать 0,95.

В качестве тестового используется цветное изображение в формате bmp размером 1024×768.

Для проверки гипотезы 1 проведен эксперимент 1. Применяемые RS-коды и моделируемые проценты потерь RTP пакетов заданы в программе исследований. Результаты эксперимента приведены в таблице № 2 в колонках «Эксп1». Для каждого вида RS-кодов указан размер кодового потока JPWL и среднее значение PSNR.

Таблица № 2.

Результаты экспериментов 1 и 2

Полученный результат полностью подтверждает гипотезу 1. Во всех столбцах мы имеем убывающую гиперболическую зависимость PSNR от процента пакетных потерь с резким падением в начале и затуханием в конце.

Для проверки гипотезы 2 проведен эксперимент 2. Исходные данные для него соответствуют эксперименту 1, но стандартный способ защиты комбинируется с алгоритмом чередования. Результаты эксперимента приведены в таблице № 2 в колонке «Эксп2».

Анализ таблицы № 2 подтверждает гипотезу 2. Действительно, для каждого вида RS-кодов можно выделить пороговое значение уровня пакетных потерь. При уровне потерь меньше порогового, изображение восстанавливается с высоким качеством, а выше порогового — с низким. Согласно таблицы № 2 порог потерь для RS (37,32) составляет 1%, RS (64,32) — 10%, RS (96,32) — 20%, RS (128,32) — 25%. Поскольку код RS (128,32) является наиболее емким кодом, применяемым в системе JPWL, можно сделать вывод о том, что JPWL, в сочетании с предложенным алгоритмом внутрикадрового чередования, способен эффективно корректировать до 25% пакетных ошибок.

Для проверки гипотезы 3 в эксперименте 2 получим статистические данные о среднем количестве полностью восстановленных тайлов декодером JPWL. Поместим эти значения в таблицу № 3 в колонки «Восст», а в колонки «Эксп2» перенесем соответствующие значения PSNR из таблицы № 2, после чего подсчитаем коэффициент корреляции между соответствующими столбцами «Восст» и «Эксп2». Полученное значение коэффициента корреляции приведено в последней строке таблицы № 3. Оно вычисляется только для ненулевых значений столбцов «Восст».

Таблица № 3.

Количество полностью восстановленных тайлов

Полученные результаты соответствуют критерию гипотезы 3 и полностью подтверждают эту. Данный результат дает основание полагать о возможности оценки значения PSNR, а вместе с ним и качества восстановленного изображения, исключительно на основании данных о количестве полностью восстановленных тайлов декодером JPWL для заданного RS-кода.

Заключение

По результатам проведенных экспериментов можно сделать следующие выводы.

Сочетание стандартных средств JPWL с алгоритмом внутрикадрового чередования является надежным способом защиты изображения JPEG 2000 при передаче по зашумленному каналу при условии, что уровень зашумления не превышает 25% пакетных потерь.

При применении необратимого преобразования JPEG 2000 с высокой степенью сжатия качество декодированного изображения можно оценить по количеству полностью восстановленных тайлов декодером JPWL. что позволяет поставить задачу построения адаптивного автономного алгоритма подстройки параметров JPWL под уровень зашумления канала передачи данных.

Могилевская Н. С. О применении порогового разделителя данных для организации разделенной передачи на примере битовых масок // Инженерный вестник Дона, 2017, № 2. URL: ivdon.ru/ru/magazine/archive/n2y2017/4117.

Альбекова З. М., Квашурин В. О., Тутик Н. А. Анализ эволюции технологии беспроводных сетей и прогнозы развития инфокоммуникационных сетей в России // Инженерный вестник Дона, 2016, № 4. URL: ivdon.ru/ru/magazine/archive/n4y2016/3933.

ITU-T Recommendation T.800. Information Technology JPEG2000 Image Coding System: Core Coding System, Geneva: ITU-T Series T: Terminal for Telematic Services. 2003. 212 p.

Скороход С. В., Степанова А. П. Некоторые аспекты технологии сетевого взаимодействия между передатчиком и приемником в процессе видео трансляции // Известия ЮФУ. Технические науки. 2015, № 4 (165). C. 171−181.

ITU-T Recommendation T.810. Information Technology JPEG2000 Image Coding System: Wireless. Geneva: ITU, 2007. 60 p.

Скороход С. В., Хусаинов Н. Ш. Исследование средств JPWL в условиях коррекции пакетных ошибок при передаче видео в формате JPEG 2000 // Известия ЮФУ. Технические науки. 2016, № 8 (181). C. 14−26.

Дроздов С. Н., Жиглатый А. Н., Кравченко П. П., Лутай В. Н., Скороход С. В., Хусаинов Н. Ш. Стандарт JPEG2000: базовые алгоритмы, примеры реализации и перспективы применения. Ростов-на-Дону, Изд-во ЮФУ. 2014. 255с.

Скороход С.В., Кравченко П. П., Хусаинов Н. Ш. Анализ реализации средств защиты потокового видео в формате jpeg2000 от ошибок в канале передачи данных для бортовых систем видеотрансляции // Известия ЮФУ. Технические науки. 2014, № 8 (157). C. 219−226.

Network Working Group RFC 5371. RTP Payload Format for JPEG 2000 Video Streams. The Internet Security (IETF), 2006. 31 p.

Network Working Group RFC 3550. RTP: A Transport Protocol for Real-Time Applications. Schulzrinne: Blue Coat Systems Inc., 2003. 89 p.

Skorokhod S. V. The experimental studies of the jpwl tools ability to correct burst errors in a noisy channel when transmitting video in a jpeg 2000 format // Journal of Theoretical and Applied Information TechNology, 10th November, 2015. Vol. 81, № 1, pp.34−42.

Дроздов С.Н., Жиглатый А. А., Кравченко П. П., Скороход С. В., Хусаинов Н. Ш. Об опыте реализации системы видеотрансляции в формате jpeg2000 и перспективах применения стандарта jpeg2000 для передачи видео и мультиспектральных данных с борта бпла// Известия ЮФУ. Технические науки. 2014, № 7 (156). C. 161−170.

ITU-T Recommendation T.810. Information Technology JPEG 2000 image coding system: Wireless. Amendment 1: IP based wireless networks. Geneva: ITU-T Series T: Terminal for Telematic Services, 2012. 6 p.