Обработка видеосигналов (Video Signal)

Стандарт Н.323^[1] устанавливает два формата изображения — CIF (352 х х 288 пиксела) для яркостного сигнала и QCIF (176×144 пиксела), т. е.В с ¼ частью разрешения CIF, причем частота смены кадров не должна опускаться ниже 24 кадров в секунду.

Общий формат обмена (Common Itermediate Format, CIF) представляет собой стандарт видеоизображения с размером кадра 352×288 пикселаВ и частотой кадров 7,5, 10, 15 или 30 к/с. Цвет кодируется в формате YUVВ (представление цвета, при котором каждый элемент изображения представляется тремя компонентами: яркостной и двумя цветоразностными) В с разрядностью 8 бит. Производные форматы: QCIF — 176×144 пикселов, В sub QCIF — 128×96 пикселов, 4CIF — 704×576 пикселов, 16CIF — 1408 хВ х 1152 пикселов.

Для компрессии / декомпрессии видеосигнала используются кодеки Н.261, Н.263, Н.264. Различаются они способом обработки изображения.

Стандарт Н.261^[2] определяет видеокодек Н.261 для аудиовизуальных услуг со скоростью Р х 64 кбит/с, где Р может меняться в диапазоне от 1 В до 30. В данном кодеке реализована комбинация алгоритмов ОСТ (DiscreteВ Cosine Transform) и Motion Prediction.

Алгоритм DCT (Discrete Cosine Transform — дискретное косинус-преобразование, ДКП) разработан в 1981 г. Дается следующее определение^[3].

Определение. Пусть дано изображение размером N х N. Тогда прямое ДКП записывается в виде, а обратное

Здесь коэффициенты t (u, v) — амплитуды пространственных частот изображения.

Дискретное преобразование обладает следующими свойствами:

• • некоррелированность коэффициентов — коэффициенты независимыВ друг от друга, т. е. точность представления одного коэффициента не зависитВ от любого другого;
• • «уплотнение» энергии — преобразование сохраняет основную информацию в малом количестве коэффициентов.

Motion Prediction (предсказание перемещения) — техника межкадрового кодирования, применяемая в кодеках для сжатия сигнала движущегосяВ изображения. В последовательности кадров каждый пиксель в текущемВ кадре перемещен по сравнению с предшествующим кадром. При этомВ соседние пиксели перемещаются практически одинаково. Кадр делитсяВ на блоки пикселей (16×16 или 8×8), и для описания движения пикселейВ всего блока вычисляется вектор оценки перемещения (Motion Estimation).В Предсказание перемещения текущего блока, полученное из предшествующего кадра с помощью вектора компенсации перемещения (MotionВ Compensation), сравнивается с настоящим текущим блоком и формируется, если надо, ошибка предсказания (т.е. компенсация неточности предсказания). Для таких блоков передается только вектор оценки перемещения и ошибка предсказания, что значительно экономней простой передачиВ содержимого блока.

Стандарт Н.263^[4] разработан в 1995 г. и определяет видеокодек Н.263, предназначенный для передачи видеоизображения с малой скоростьюВ (ниже 64 кбит/с, например, для связи с помощью модема и аналоговыхВ телефонных линий). Кодек Н.263 использует технологию Н.261 с дополнительными усовершенствованиями, главным образом в области предсказания перемещения. В отличие от Н.261, для которого предсказываемыеВ направления должны лежать в пределах изображения, для Н.263 они могутВ выходить за границы изображения. Это особенно важно при низких скоростях передачи, не являющихся обязательными для стандарта Н.261. КромеВ того, кодек Н.263 позволяет загружать канал связи практически толькоВ изменениями картинки.

Дальнейшим развитием проекта являются кодеки H.263v2 (также известный как Н.263+ или Н.263 1998) и H.263v3 (известный как 1I.263++В или Н.263 2000).

Стандарт Н.264^[5] разработан совместно ITU-T и MPEG и является развитием Н.263. Он определяет одноименный кодек 11.264, также известный как AVC (Advanced Video Coding) и MPEG-4^[6], который имеет существенноВ расширенные возможности по сравнению с Н.263, вследствие чего сталВ основным при разработке программного обеспечения для видеоконференций.

Основные характеристики II.264.

• 1. Многокадровое предсказание перемещения кадров.
• • Более гибкое использование сжатых ранее кадров в качестве опорных. Разрешается использование до 32 ссылок на другие кадры, что поднимает эффективность кодирования, так как позволяет кодеру выбиратьВ для компенсации движения между большим количеством изображений.
• • Независимость порядка воспроизведения изображений и порядкаВ опорных изображений, что позволяет кодеру выбирать порядок изображений для компенсации движения и для воспроизведения с высокойВ степенью гибкости, которая ограничена только объемом памяти, гарантирующим возможность декодирования. Устранение ограничения такжеВ позволяет в ряде случаев устранить дополнительную задержку, ранее связанную с двунаправленным предсказанием.
• • Независимость методов обработки изображений и возможности ихВ использования для предсказания движения, что обеспечивает кодеру большую гибкость и возможность использовать для предсказания движенияВ изображение, более близкое по содержанию к кодируемому.
• • Компенсация движения с переменным размером блока (от 16×16 В до 4×4 пиксела) позволяет крайне точно выделять области движения.
• • Вектора движения, выводящие за границы изображения (по аналогии с Н.263).
• • Шеститочечная фильтрация компонента яркости для полупиксель-ного предсказания с целью уменьшения зубчатости краев и обеспеченияВ большей четкости изображения.
• • Точность до четверти пиксела при компенсации движения обеспечивает очень высокую точность описания движущихся областей (что особенно актуально для медленного движения).
• • Взвешенное предсказание, позволяющее использовать масштабирование и сдвиг после компенсации движения на величины, указанные кодером. Такая методика может чрезвычайно сильно поднять эффективностьВ кодирования для сцен с изменением освещенности, например, при эффектах затемнения, постепенного появления изображения.
• 2. Пространственное предсказание от краев соседних блоковВ для 1-кадров (от англ. Intra Pictures). Новая методика экстраполяции краевВ ранее декодированных частей текущего изображения повышает качествоВ сигнала, используемого для предсказания.
• 3. Сжатие макроблоков без потерь.
• • Метод представления макроблоков без потерь в ИКМ, при которомВ видеоданные представлены непосредственно, что позволяет точно описывать определенные области и допускать строгое ограничение на количествоВ закодированных данных для каждого макроблока.
• • Улучшенный метод представления макроблоков без потерь, позволяющий точно описывать определенные области, затрачивая при этом существенно меньше битов, чем ИКМ.
• 4. Гибкие функции чересстрочного сжатия.
• • Адаптивное к изображению кодирование полей (PAFF), позволяющее кодировать каждый кадр как кадр или как пару полей (полукадров) —В в зависимости от отсутствия/наличия движения.
• • Адаптивное к макроблокам кодирование нолей (MBAFF), позволяющее независимо кодировать каждую вертикальную пару макроблоковВ (блок 16×32) как прогрессивные или чересстрочные. Позволяет использовать макроблоки 16×16 в режиме разбиения на поля.
• 5. Новые функции преобразования.
• • Точное целочисленное преобразование пространственных блоков 4×4,В позволяющее точно разместить разностные сигналы с минимумом шума.
• • Точное целочисленное преобразование пространственных блоков 8×8,В обеспечивающее большую эффективность сжатия схожих областей, чем 4×4.
• • Адаптивный выбор кодеком между размерами блока 4×4 и 8×8.
• 6. Дополнительное преобразование Лдамара (разложение обрабатываемых сигналов по системе прямоугольных базисных функций), применяемоеВ к дискретно-косинусным коэффициентам основного пространственногоВ преобразования (к коэффициентам яркости и, в особом случае, цветности) В для достижения большей степени сжатия в однородных областях.
• 7. Квантование.
• • Логарифмическое управление длиной шага для упрощения распределения битрейта (битовая скорость передачи данных) кодером и упрощенного вычисления обратной функции квантования.
• • Частотно-оптимизированные матрицы масштабирования квантования, выбираемые кодером для оптимизации квантования на основе человеческих особенностей восприятия.
• 8. Внутренний фильтр деблокинга (удаление блочное™) в цикле кодирования, устраняющий артефакты (искажение) блочное™, часто возникающие при использовании основанных на DCT-техниках сжатия изображений.
• 9. Энтропийное кодирование^[7] квантованных коэффициентов трансформации.
• • контекстно-зависимое адаптивное бинарное арифметическое кодирование (Context-adaptive binary arithmetic coding, CABAC) — алгоритм сжатияВ без потерь синтаксических элементов видеопотока на основе вероятностиВ их появления.
• • контекстно-зависимое адаптивное кодирование с переменной длинойВ кодового слова {Context-adaptive variable-length coding, CAVLC) — альтернатива CABAC меньшей сложности.
• • часто используемое, простое и высокоструктурированное кодирование словами переменной длины многих элементов синтаксиса, не закодированных САВАС или CAVLC, известное как Exp-Golomb (экспоненциальное кодирование Голомба).
• 10. Функции устойчивости к ошибкам.
• • Определение уровня сетевой абстракции, позволяющее использоватьВ один и тот же синтаксис видео в различных сетевых окружениях, включаяВ наборы параметров последовательности и наборы параметров изображения, которые обеспечивают большую надежность и гибкость, чем предыдущие технологии.
• • Гибкое упорядочивание макроблоков, также известное как группыВ частей и произвольное упорядочивание частей — методы реструктурирования порядка представления макроблоков в изображениях.
• 11. Благодаря произвольному упорядочиванию частей новый стандарт позволяет посылать и получать их в произвольном порядке друг относительно друга. Это может снизить задержку в приложениях реального времени.
• • Разбиение данных — функция, обеспечивающая разделение данныхВ разной важности по разным пакетам данных с разными уровнями защитыВ от ошибок.
• • Избыточные части. Возможность посылки кодером избыточногоВ представления областей изображений, позволяя воспроизвести областиВ изображений, данные о которых были потеряны в процессе передачи.
• • Нумерация кадров, позволяющая создать «подпоследовательности» (включая временное масштабирование включением дополнительныхВ кадров между другими), а также обнаружить (и скрыть) потери целыхВ кадров при сбоях канала или пропаже пакетов.

• [1] ITU-T Recommendation H.323vl: Packet-based multimedia communications systems. 1996.
• [2] ITU-T Recommendation H.261: Video CODEC for audiovisual services at P x 64 kbit/s.В 1993.
• [3] Discrete-time signal processing. 2nd edition Upper Saddle River. N. J., USA: Prentice-Hall, Inc., 1999; Алгоритмические основы растровой графики / Д. В. Иванов, А. С. Карпов, В Е. П. Кузьмин, В. С. Лемпицкий, А. А. Хропов. Изд. ИНТУИТ, 2007.
• [4] ITU-T Recommendation 11.263: Video coding for low bit rate communication. 2005.
• [5] ITU-T Recommendation H.264: Advanced video coding for generic audiovisual services. В 2005.
• [6] ISO/IEC 14 496−10 Standart «Information technology — Coding of audio-visual objects —В Part 10: Advanced Video Coding». 2005.
• [7] Энтропийное кодирование — кодирование словами (кодами) переменной длины, при которой длина кода символа имеет обратную зависимость от вероятности появленияВ символа в передаваемом сообщении.