Использование современных технологий трекинга и захвата движения в пост обработке и во внедрении трехмерной графики в видео на примере создания видео-ролик

Санкт-Петербургский Государственный Политехнический Университет Институт международных образовательных программ Кафедра «Информационных технологий в дизайне»

Работа допущена к защите Заведующий кафедрой ИТД

_________проф. В.М. Иванов

«____» ___________2010 г.

ВЫПУСКНАЯ

КВАЛИФИКАЦИОННАЯ РАБОТА БАКАЛАВРА

ИСПОЛЬЗОВАНИЕ СОВРЕМЕННЫХ ТЕХНОЛОГИЙ ТРЕКИНГА И ЗАХВАТА ДВИЖЕНИЯ В ПОСТ ОБРАБОТКЕ И ВО ВНЕДРЕНИИ ТРЕХМЕРНОЙ ГРАФИКИ В ВИДЕО НА ПРИМЕРЕ СОЗДАНИЯ ВИДЕО-РОЛИКА

по направлению 80 800 — Прикладная информатика в дизайне Выполнил студент гр. 4141/1

Амбалов А.А.

Научный руководитель ст.пр. Янчус В. Э.

Санкт-Петербург

• ВВЕДЕНИЕ
• ГЛАВА 1. ТЕОРЕТИЧЕСКИЙ АНАЛИЗ
• 1.1 Обзор аналогов
• 1.1.1 Vodafone «Bubbles»
• 1.1.2 Трейлер к фильму «CopOut»
• 1.3 Двухмерный трекинг: слежение за точками
• 1.4 Двухмерный трекинг: слежение за плоскостью
• 1.5 Трехмерный трекинг: захват движения
• 1.5.1 Трехмерный трекинг: дорогие системы
• 1.5.2 Трехмерный трекинг: системы основанные на принципе фотограмметрии
• ГЛАВА 2. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ
• 2.1 Технические тесты
• 2.1.1 Тест 1
• 2.1.2 Тест № 2
• 2.1.3 Тест № 3
• 2.1.4 Тест № 4.
• 2.1.5 Тест № 5.
• 2.2 Съемка
• 2.3 Постообработка
• 2.3.1 Сцена рассвета
• 2.3.2 Сцена с часами
• 2.3.3 Сцена с толпой
• 2.3.4 Сцены с реконструкцией камеры
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

РЕФЕРАТ ТРЕКИНГ, ЗАХВАТ ДВИЖЕНИЯ, ФОТОГРАММЕТРИЯ, СИСТЕМА УПРАВЛЕНИЯ, РЕКОНСТРУКЦИЯ КАМЕРЫ, ПОСТРОБРАБОТКА, СЪЕМКА, МОНТАЖ Проведен обзор существующих технологий трекинга и захвата движения. Проанализированы доступное программное обеспечение. Проведены необходимые технологические тесты. Выработана методика, основанная на полученных исследованиях, в условиях малобюджетной видео-студии.

В современной киноиндустрии редко какая работа обходится без цифровых технологий. Как правило, это симбиоз классических задач, таких, как режиссура, операторская работа, монтаж, работа со звуком, и компьютерной обработки. Возможности по истине велики: можно осуществлять цифровую цветокоррекцию и монтаж, как наиболее простые задачи, а так же полностью менять фон, добавлять трехмреных персонажей, создавать двойников из различных дублей и использовать весь спектр доступных визуальных эффектов. Такая работа может как уменьшить бюджет проекта, так и запросто его увеличить. Но если целью является создание чего-то, что физически нельзя сделать руками или оно не существует в реальном мире, то результат оправдывает средства.

Так в чем же сложность процесса? Красивое кино, хорошая реклама или музыкальный клип всегда основывается на классических канонах съемки, в которых очень важна операторская работа. Редко где на протяжении всего фильма камера может стоять статично, если дело касается простой замены фона, а в большинстве случаев она не просто вращается на одной точке по трем осям, но и перемещается в пространстве. Чтобы аккуратно вписать что-либо в кадр, необходимо прибегать к технологиям трекинга, не важно, будь он двухили трехмерный. Ведь всё зависит от цели.

Задачами данной работы является:

— провести обзор существующих технологий;

— проанализировать доступное программное обеспечение;

— провести необходимые технические тесты;

— выработать методику, основываясь на полученных исследованиях;

— выполнить работу в условиях малобюджетной видео-студии.

Целью является изучение возможности использования современных технологий трекинга и захвата движения в пост обработке и во внедрении трехмерной графики в видео на примере создания видео-ролика.

ГЛАВА 1. ТЕОРЕТИЧЕСКИЙ АНАЛИЗ

1.1 Обзор аналогов

Перед началом работы было просмотрено и проанализировано множество схожих по формату роликов. Большую часть из них составила коммерческая и социальная реклама, а так же короткометражные фильмы. Оценивались продолжительность ролика, особенности цветокоррекции, смены планов, особенности съемок, способ подачи основной идеи. Не менее важной частью были работы, сделанные с помощью современных компьютерных технологий. В том числе и технологий захвата движения.

1.1.1 Vodafone «Bubbles»

В ролике видно людей, общающихся по телефону. Как только они начинают диалог, рядом с ними появляется пузырь — классический символ, обозначающий, что человек, что-то говорит (рис.1). С каждым словом он увеличивается и видоизменяется, в зависимости от интонации, а по мере того, как человек перемещается в пространстве, он следует за ним.

Рис. 1. Кадр из рекламы Vodafone «Bubbles»

Особенностью перемещения персонажей в кадре было то, что почти всегда они двигаются в двух плоскостях, либо стоят на месте. То есть пузырь не перемещается по оси Z, и, следовательно, не изменяется в размерах. Исключение составляет один план, где из центра кадра на камеру движется автобус. Видно, как он не сильно изменяется в размерах по причине перспективных искажений, приближаясь к нам и сворачивает за угол. При этом из окна торчит один из пузырей, однако говорящего не видно. Особенность строения пузырей накладывает на стиль их перемещения в пространстве: они парят над говорящим и не имеют жесткой привязки к их перемещению. Отдельно стоит отметить, что во всем кадра камера стоит статично и единственное возможное перемещение это вокруг своей оси.

Немаловажно то, что пузыри взаимодействуют с окружающей средой: застревают в дверях лифта, упираются в лобовое стекло автомобиля, задевают друг друга (рис.2). Предположительно, это та деталь, которая позволяет поверить в их существование в реальном мире.

Рис. 2. Дополнительные кадры из рекламы Vodafone «Bubbles»

К сожалению, найти материал о том, как делалась эта реклама не удалось, поэтому нам приходится предполагать. Учитывая характер движения и особенности съемок, можно предположить, что почти везде использовалась либо ручная анимация с частичным воссозданием окружающей среды, и двухмерный трекинг. Однако, вполне вероятно, что сцена с автобусом снималась с двух камер и, как следствие, использовался трехмерный трекинг.

1.1.2 Трейлер к фильму «CopOut»

В начале трейлера камера облетает Нью-Йорк, где среди небоскребов находятся вступительные титры (рис.3). Движение и поворот камеры происходит по всем осям, что создает необходимый параллакс для трехмерного трекинга. Очевидно, используется именно эта технология, потому, что надписи видны со всех сторон, и ручная анимация поворота текста, была бы непростой задачей. Еще одной деталью, доказывающей использование трехмерного трекинга, является небольшое дрожание надписей в некоторых местах. Возможно это было вызвано плохим треком, либо надписи действительно встраивались в ручную, что не позволило сделать это идеально.

Рис. 3. Кадр из трейлера к фильму «CopOut»

1.2 Обзор и анализ современных технологий трекинга и захвата движения История развития технологии трекинга уже насчитывает более двух десятков лет. Изначально созданная для военных целей, сейчас служит обычным людям в мирных целях. За такое время она достаточно успела развиться, чтобы охватить широкий спектр задач. И для каждого типа задач существует определенное решение.

Начиная от самой простой задачи, как стабилизация камеры, стоящей на штативе, где требуется отследить положение всего одной точки, заканчивая слежением за сотней точек одновременно, а последнее время даже в реальном времени. Было бы нецелесообразно стрелять пушкой по воробьям и применять программы и подходы не всегда соответствующие задачам. Но бывают и исключения, и нестандартные подходы, и множество вариантов совместного использования различных систем трекинга. Ровно, как существует невероятное количество кадров и сцен, которые представляют для себя головную боль даже для хорошего Мачмувера 1¹Мачмувер (англ. MatchMover) — специалист по подготовке съемочной площадки к захвату движения. В т.ч. специалист занимающийся непосредственно захватом движения и трекингом.

В работе проанализированы доступные подходы и выбран наиболее подходящий для решения наших задач в условиях малобюджетной виде-остудии.

1.3 Двухмерный трекинг: слежение за точками

Этот подход был рассмотрен на примере программы Adobe After Effects CS4, где в базовой поставке пользователю дана возможность производить трекинг от одной до четырех точек одновременно.

Принцип работы предельно прост: имеется область, которую программа ищет в каждом последующем кадре, и есть зона поиска (рис.4). Для того, чтобы получить хороший результат, стоит удостовериться, что область, которую мы задали, как искомую достаточна контрастна и не повторяется более одного раза в области поиска. То есть брать тетрадку в клетку и пытаться отследить одну клетку, которая предельно похожа на все остальные — не лучшая идея. Даже если зона поиска будет минимальна.

Программа анализирует зону поиска и находит искомую область, записывая координаты в каждом кадре, или смещение относительно начальной точки поиска. Получив длинный список координат можно смело использовать его для множества целей. Это может быть стабилизация изображения по осям X и Y, может быть привязка какого-то графического элемента к чему-то движущемуся в кадре.

Рис. 4. Внешний вид трекера. А — зона поиска; В — искомая зона; С — точка присоединения Как правило, если исходный материал был снял без штатива, то, помимо смещения, в кадре так же будет присутствовать и поворот по оси Z, вне зависимости от того, как крепко мы ее держали. Для того, чтобы отследить поворот, можно использовать не одну, а две точки лежащие в одной плоскости, чего будет вполне достаточно. Принцип работы трекеров не меняется ни коим образом, за тем исключением, что к информации о смещении так же дописывается и информация о вращении. Стоит отметить, что чем дальше точки друг от друга, тем более качественный захват движения мы получим.

В дальнейшем можно применять полученные данные. В случае с After Effects это зависит от того, какой тип трекинга мы выбрали: track motion или stabilize motion. Для обычной стабилизации достаточно выбрать второй вариант и по окончанию трекинга нажать apply, что позволит применить накопленную информацию к исходному файлу. Однако, есть множество случаев, когда необходимо не исключить движение в кадре (то есть стабилизировать его), а, наоборот, повторить движение предметов в кадре или же перемещение самой камеры. Для этого достаточно выбрать вариант track motion и по окончанию сохранить информацию на вспомогательном слое — null object (рис.). В последствии можно привязать к этом объекту множество других слоев, например солнце, которое будет повторять движение камеры.

Рис. 5. Накопленная информация применена к Null object, в результате чего, мы видим путь перемещения камеры Это очень удобно — создавать визуальные эффекты на компьютере. Простая анимация статичной камеры, может придать кадру немного жизни. В идеальном случае, когда не нужно ничего добавлять или убирать из кадра, то его можно так и снять. Однако, для достижения наилучшего результата в захвате движения или трекинга, камера, как правило, ставится статично, либо двигается по идеально ровной траектории. Чтобы создать эффект съемки с рук, можно написать несколько простых математических правил, по которым камера будет смещаться, однако, какой бы сложной не была формула, повторить настоящее поведение оператора в условии, например, съемки с уличной драки видится автору невозможной или очень сложной задачей. Которая, всё же, имеет простое решение:

— взять настоящее видео, снятое без штатива;

— сделать захват движения;

— применить полученные данные о смещении и повороте к null object;

— скопировать его в нужную сцену;

— привязать все элементы компоузинга к движению null object.

Таким образом появляется элегантное и простое решение, казалось бы, непростой задачи. Стоит так же упомянуть, что до версии CS3 включительно, After Effects поставлялся только со стандартным трекером, который так же умел отслеживать положение плоскости по четырем точкам.

Рис. 6. Слежение за плоскостью с помощью встроенного трекера

Таким образом, если в кадре была плоскость, которую нужно было заменить, то можно было отследить положение четырех углов и получить положение плоскости. Но этот способ имел много ограничений:

— вставляемая плоскость не должна иметь сложную форму;

— сложность сопоставления искажений на плоскости;

— необходимость 100% видимости всех четырех точек в течении всего времени.

Самым печальным оказывалось последнее ограничение, потому как идеальных кадров не бывает, а столь сильные ограничения могут сделать план скучным.

1.4 Двухмерный трекинг: слежение за плоскостью

Именно поэтому, начиная с версии CS4, Adobe решила добавить внешний трекер Mocha в свой продукт, который позволяет следить за целыми плоскостями, которые могут представлять из себя сотни точек.

Слежение за плоскостью стало некой революцией в области захвата движения. Открылись новые горизонты, и возможности визуальных дизайнеров стали почти безграничны. Если речь идет не о плоской бесцветной поверхности, конечно.

В чем же особенность? Система следит за всеми возможными контрастными точками (за текстурой) на поверхности, форму которой пользователь может задать самостоятельно. Предполагается, что смещение не может быть очень большим, но даже не смотря на это поиск ведется по всей поверхности кадра и при этом не требует больших ресурсов. Тот факт, что отслеживается единовременно несколько сотен точек играет на руку любому дизайнеру. Теперь нет жесткой привязки к четырем углам, как это было раньше (рис.7). Соответственно плоскость может, как выходить за пределы кадра (рис.8), так и быть частично перекрыта каким-либо объектом на переднем плане. Всё это справедливо до тех пор пока программе достаточно информации, чтобы сделать вывод о положении плоскости в пространстве.

Рис. 7. Проблемы, с которыми не может справится слежение за точками Точность работы достигается благодаря тому, что программа анализирует перемещение точек в пространстве. Какие-то из них движутся в одном направлении, какие-то в другом. Записывая и анализируя координаты, выясняется, какие из них находятся на одной плоскости. Такой подход может сильно облегчить задачу дизайнеру, который затирает нарисованные на коже актера маркеры, или убирает лишние элементы из кадра. Основное перемещение будет отслежено, и останется только немного подправить маску.

Рис. 8. Слежение за плоскостью справляется с задачей даже при условии временного перекрытия более 60% изображения

1.5 Трехмерный трекинг: захват движения

Motion capture — метод анимации персонажей и объектов. Дословный перевод с английского — захват движения. В общем случае, вне зависимости от подхода, это процесс позволяющий отследить положение точек в трехмерном пространстве. Координаты двух точек дают перемещение кости. Положение восемнадцати точек составляют минимально необходимый для анимации скелет.

Существует несколько подходов, который могут справиться с поставленной задачей. Какие-то лучше, какие-то хуже, но иногда основным критерием бывает цена, а уже на второй план отходит качество, с которым приходится смиряться, либо дорабатывать руками. Наличие столь различных по стоимости систем является признаком высокой популярности и активного развития технологии. Два возможных подхода:

1. Маркерная система.

Рис. 9. Захват движения для вступительного ролика к игре «Ведьмак»

В ней используется специальное оборудование. На человека надевается костюм с датчиками (рис.9), он производит движения, требуемые по сценарию, встаёт в условленные позы, имитирует действия; данные с датчиков фиксируются камерами и поступают в компьютер, где сводятся в единую трёхмерную модель, точно воспроизводящую движения актёра, на основе которой позже (или в режиме реального времени) создаётся анимация персонажа. Также этим методом воспроизводится мимика актёра (в этом случае на его лице располагаются маркеры, позволяющие фиксировать основные мимические движения).

2. Безмаркерная технология, не требующая специальных датчиков или специального костюма. Безмаркерная технология основана на технологиях компьютерного зрения и распознавания образов. Актер может сниматься в обычной одежде, что сильно убыстряет подготовку к съемкам и позволяет снимать сложные движения (борьба, падения, прыжки, и т. п.) без риска повреждения датчиков или маркеров. Несколько практически применимых безмаркерных систем были разработаны в последние годы, хотя исследования подобной технологии проводятся уже долгое время. На сегодняшний день существует программное обеспечение «настольного» класса для безмаркерного захвата движений. В данном случае не требуется специального оборудования, специального освещения и пространства. Съёмка производится с помощью обычной камеры (или веб-камеры) и персонального компьютера.

На сегодняшний день существуют большое количество маркерных систем захвата движений. Различие между ними заключается в принципе передачи движений.

1.5.1 Трехмерный трекинг: дорогие системы

1. Оптические активные «названы так потому, что вместо светоотражающих маркеров, которые крепятся к костюму актёра, в них используются светодиоды с интегрированными процессорами и радио-синхронизацией (рис.10). Каждому светодиоду назначается ID (идентификатор), что позволяет системе не путать маркеры друг с другом, а также узнавать их, после того как они были перекрыты и снова появились в поле зрения камер. Во всём остальном принцип работы таких систем схож с пассивными системами». 1]

Минусы активных систем:

— дополнительный контроллер, крепящийся к актёру и подключенный к маркерам-светодиодам, сковывает его движения;

— отсутствие возможности захвата движений и мимики лица;

— хрупкость и относительно высокая стоимость маркеров-светодиодов.

Рис. 10. Мониторинг захвата движения в реальном времени

1. Оптические пассивные. «На костюме, входящем в комплект такой системы, прикреплены датчики-маркеры, которые названы пассивными, потому что отражают только посланный на них свет, но сами не светятся. В таких системах свет (инфракрасный) на маркеры посылается с установленных на камерах высокочастотных стробоскопов и, отразившись от маркеров, попадает обратно в объектив камеры, сообщая тем самым позицию маркера.»

Минус оптических пассивных систем заключается в длительности размещения маркеров на актёре. Так же иногда при быстром движении или близком расположении маркеров друг к другу система может их путать (поскольку эта технология не предусматривает идентификации каждого маркера по отдельности)". 2]

2. Магнитные системы, в которых маркерами являются магниты, а камерами — ресиверы, система высчитывает их позиции по искажениям магнитного потока.

Минусы магнитных систем:

— магнитные системы подвержены магнитным и электрическим помехам от металлических предметов и окружения;

— переменчивая чувствительность сенсоров в зависимости от их положения в рабочей зоне;

— меньшая по сравнению с оптическими системами рабочая зона;

— отсутствие возможности захвата движений и мимики лица;

— дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру;

— высокая стоимость магнитных маркеров.

1. Механические системы напрямую следят за сгибами суставов, для этого на актёра надевается специальный механический скелет, который повторяет следом за ним все движения. В компьютер при этом передаются данные об углах сгибов всех суставов.

Минусы механических систем:

— скелет, с дополнительным контроллером, прикреплённым к актёру и подключенным к сенсорам сгибов, а в некоторых случаях и провода, тянущиеся от скелета, сильно ограничивают движения актёра;

— отсутствие возможности захвата:

• движений и мимики лица;

• движений тесного взаимодействия двух и более актёров (борьба, танцы с поддержками и т. д.);

• движений на полу — кувырки, падения и т. д.

— риск поломки механики при неосторожном использовании.

1. Гироскопические и инертные системы. «Для сбора информации о движении используют миниатюрные гироскопы и инертные сенсоры, расположенные на теле актёра — также как и маркеры или магниты в других системах. Данные с гироскопов и сенсоров передаются в компьютер, где происходит их обработка и запись. Система определяет не только положение сенсора, но также угол его наклона.

Минусы гироскопических и инертных систем:

— отсутствие возможности захвата движений и мимики лица;

— дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру;

— высокая стоимость гироскопов и инертных сенсоров;

— для определения положения актёра в пространстве нужна дополнительная мини-система (оптическая или магнитная)". 3]

1.5.2 Трехмерный трекинг: системы основанные на принципе фотограмметрии

«Фотограмметрия (от фото…, греч. gramma — запись, изображение и … метрия) — технология дистанционного зондирования Земли, позволяющая определять геометрические, количественные и другие свойства объектов на поверхности земли по фотографическим изображениям, получаемым с помощью летательных аппаратов любых видов. В настоящее время изображения для фотограмметрии получают как кадровыми, щелевыми и панорамными фотоаппаратами, так и с помощью радиолокационных, телевизионных, тепловых и лазерных систем». 4]

Фотограмметрия появилась в середине XIX века, практически одновременно с появлением самой фотографии, и если рассмотреть эту технологию чуть более поверхностно и в разрезе нашего обзора, то можно заключить следующее: Если обозначить одни и те же точки на одном предмете, скажем, углы стола, на двух фотографиях сделанных с разного ракурса, то существует одно возможное положение этих точек в пространстве (рис.11). Благодаря этому простому правилу, открытому более ста пятидесяти лет назад, современные мачмуверы могут автоматизировать девяносто процентов своей работы.

Что не немаловажно, проведя процесс фотограмметрии, можно не только получить положение точек (а соответственно, и объекта) в пространстве, но и камеры, которая сделала этот кадр.

В дальнейшем есть всего два варианта развития событий:

— камера двигается по определенной траектории;

— несколько камер стоит статично.

Первый сюжет позволяет произвести реконструкцию камеры в пространстве: каждый кадр считается, как отдельная фотография с нового ракурса. Таким образом сделав облет длительностью в четыре секунды, имеем минимум 96 фотографий одного и того же места с разных ракурсов, при условии, что в кадре ничего не двигается. Этого более чем достаточно, чтобы произвести реконструкцию. Современные программы могут автоматически найти сотни точек, которые они будут отслеживать и, в результате, выдавать их координаты в пространстве.

Рис. 11. Принцип работы фотограмметрии

Второй вариант развития событий на первый взгляд кажется неуклюжим, но он открывает возможности до этого подвластные только команде профессионалов с дорогим оборудованием. Как упоминалось выше, для того, чтобы произвести мачмув или реконструкцию камеры, необходимо, чтобы в кадре не происходило движения, кроме движения камеры (либо, необходимо изолировать эти области во время обработки). Дело в том, что трекер воспримет все движения в кадре, как перемещения камеры, что может очень сильно повлиять на финальный результат и сделать мачмув не очень качественным. Однако если, взять несколько камер, отследить оптические маркеры (например шарики от пинг-понга, приделанные к костюму актера) в пространстве, а при переводе координат инвертировать информацию и указать камеры, как статичные, то получится перемещение точек в пространстве. Хотя камера при этом будет статична.

Стоит так же упомянуть о том, что нет ограничения использовать только видео материал. Если камера стоит статично и лишь поворачивается вокруг своей оси, то не нужно делать облет сцены и тратить время, силы и плёнку. Достаточно сделать 5−7 фотографий высокого разрешения с разных ракурсов. Таким образом сымитировать облет сцены и сэкономим время.

ГЛАВА 2. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ

2.1 Технические тесты

В соответствии со сценарием (прил. 1) в ролике присутствуют два героя, образы которых противопоставляются друг другу. Открыто и через детали. Основной задачей с точки зрения визуальных эффектов является размещение больших надписей над головами главных героев. И перед тем, как утвердить идею необходимо провести необходимые технические тесты и подготовить детальную раскадровку (прил.2).

2.1.1 Тест 1

За основу был взят небольшой отрезок видео снятый с большой высоты через грязное стекло. Высота была продиктована возможной необходимостью в дальнейшем использовать общие планы снятые с крыш, а качество съемки — желанием проверить возможности трекера.

Рис. 12. Технический тест № 1. Проверка двухмерного трекинга

Результат оправдал все ожидания: отснятый материал был изначально стабилизирован, и лишь потом был произведен захват движения, который не смотря на нечеткое видео и размытости на окне был произведен отлично. На этом этапе вместо надписей был использован геометрический примитив (рис.12)

2.1.2 Тест № 2

По результатам первого теста стало ясно, что жестко присоединенная надпись не выглядит естественно и противоречит законам классической анимации. Поэтому была создана физическая модель, которая должна имитировать поведение некоего объекта на пружине. То есть она должна подвергаться инерции, трению, сопротивлению и при необходимости другим физическим законам (рис.13).

Рис. 13. Технический тест № 2. Создание физической модели Результатом стал коротки ролик показывающий поведение надписи в разных условиях: взаимодействие с плоскостями, разные степени жесткости материала и степень подверженности инертной силе. Возникла новая задача: привязать физическую систему к двухмерному трекеру.

2.1.3 Тест № 3

Поиск решения навел на грустные мысли о возможной необходимости в будущем отказаться от общих планов в пользу трехмерного трекинга. Соответственно, на третьем тесте исследованию подверглась система захвата движения, основанная на фотограмметрии с использованием двух камер. Актер имел два нарочито больших маркера закрепленных на черной шапке (рис.14). То есть были созданы идеальные условия для захвата движения. Для работы использовался продукт компании Autodesk — Matchmover.

Рисунок 14. Технический тест № 3. Motion Capture в студии ИМОП Films

Результат не был столь же блестящим, что и с двухмертным трекингом. При активных движениях актера маркеры постоянно пропадали из зоны видимости, либо смазывались, что говорило о сильном недостатке света в студии (что не критично при уличных съемках, но составляет очень большую проблему при съемка в помещении, где света может быть еще меньше).Однако был и позитивный момент. Без проблем удалось сделать реконструкцию камер и соответственно воссоздать сцену в трех измерениях.

Итак:

— скорость затвора (shutter speed или выдержка) должна быть быстрее 1200 секунды, чтобы движение не смазывалось;

— на финальном материале отчетливо читался поворот головы и хорошая работа физической модели, которой на тот момент не хватало жесткости;

— для того чтобы сделать мачмув, нет необходимости делать облет камеры. Достаточно снять с одной точки и добавить отснятые фотографии с разных ракурсов;

— маркеры не должны быть менее 5 пикселей, поэтому рекомендуется использовать Full HD формат для съемки и ограничить перемещение актера по оси Z в обоих направлениях;

— движения актера должны быть очень сдержанными.

2.1.4 Тест № 4.

Разочаровавшись в захвате движения с текущим техническим оборудованием и удостоверившись в возможности использовать реконструкцию камеры даже на съемках сделанных с рук, оставалась одна нерешенная задача. Как отследить повороты актеров на средних и общих планах? Ответ был подсмотрен в классическом подходе к трехмерной анимации персонажей: нужно было создать систему управления (рис.15). Проблема не казалась сложной, учитывая то, что нужно было только отследить поворот головы человека на общих и средних планах.

Рис. 15. Технический тест № 4. Создание простейшей системы управления и уточнение формы надписи Результатом стали элементы управления позволяющие без затруднений определить направление «взгляда» надписи (это необходимо в связи с особенностями работы физической модели) и задать возможность слежения за шариком, который выступает в роли цели. Таким образом пришлось смириться с тем, что повороты на общих планах пришлось анимировать вручную, что тем не менее лучше, чем полный отказ от них.

2.1.5 Тест № 5.

Однако необходимо было решение для главной задачи. Можно использовать двухмерный трекер на общих планах и анимировать поворот в ручную, но проблема появилась, где ее не ждали: программа MatchMover, была предназначена для трехмерного трекинга и не позволяла выводить двухмерные координаты, а программа After Effects не имела физической модели и не позволяла произвести необходимое движения надписи.

Целью теста стал поиск необходимого П.О., для решения задачи. Среди рассмотренных продуктов был достаточно старый встроенный в Maya 2010 плагин для ручного трекинга — Maya Live. Он позволяет следить за точками в плоскости и совсем не предназначен для захвата движения. Однако если произвести слежение за одной точкой, которая является маркером на актере и на этом остановиться, то получается перемещение точки в плоскости XY. А эта плоскость лежит в полноценном трехмерном пространстве. Проблема почти решена. Остался один тонкий момент: у маркера отсутствуют классические показатели перемещения, как у всех остальных элементов, но зато присутствуют показатели Location_X и Location_Y. Если связать их с точками перемещения нашей физической модели и отредактируем положение надписи, то получим как раз нужные результат.

Результатом теста стали два варианта трекинга: по описанному выше подходу (рис.16) и ручной трекинг. Потраченное время составило час и два с половиной часа соответственно. При этом ручной трекинг всё-равно не выглядел идеальным: были заметны постоянные подергивания.

Рис. 16. Технический тест № 5. Использование трехмерного трекера для вычисления координат на плоскости. Для увеличения производительности вместо надписи использован примитив

2.2 Съемка

Сделав все необходимые тесты и убедившись в том, что можно использовать все запланированные планы, без каких либо стеснений, была начата проработка деталей раскадровки и первые полевые разведки в поиске видовых точек (прил. 2).

По завершению работы над раскадровкой был создан аниматик — видео-ролик под музыку с максимально приближенной к реальности длительностью. Отследив основные грубые ошибки, были внесены необходимые изменения и доработан музыкальный набросок. Стоит упомянуть, что для создания музыки был приглашен композитор. Согласно его требованиям, помимо словесного описания и примеров музыкальных дорожек, было необходимо предоставить аниматик с уже нарезанным звуком, чтобы он получил наиболее полное представление о наших пожеланиях. Такой подход используется не везде: как правило музыкальная составляющая пишется по уже готовому материалу, и в последствии сводится. Мы решили, что нам такой вариант подходит меньше в целях экономии времени.

В финальной сцене должны были присутствовать паларойдные фотографии. Чтобы добиться необходимого результата пришлось взять настоящие снимки и подготовить их трекингу (рис.17).

Рис. 17. Подготовка паларойдных снимков к последующему трекингу

В процессе подготовки не удалось найти необходимые для съемок часы и было принято решение сделать их трехмерными. Учитывая то, что по задумке в кадре должен меняться фокус, вряд ли удастся стабилизировать этот план. Следовательно он должен быть снят со штатива, чтобы исключить какое-либо изменение параллакса.

Во время съемок каждый план делался в нескольких дублях: с маркерами на актерах и без них, потому как точно не было известно будут ли у нас трудности с двухмерным трекингом без них. Так же было выбрано два плана в которых планировалось использовать мачмув, то есть восстановить траекторию движения камеры: вид в квартире сверху, когда камера облетает через почти всю кухню, и один из последних планов, когда главный герой подходит к витрине на Невском. Эти планы наполнялись деталями — реальными маркерами, к которым можно было бы впоследствии привязаться. Так же было ясно, что придется снимать на максимально широком угле (32.5 мм в нашем случае максимум, который мы можем себе позволить) чтобы получить ярко выраженный параллакс.

2.3 Постообработка

По завершению съемок и монтажа сырого материала, были собраны все сцены и выведены в виде секвенции (серии) изображений, для того, чтобы их можно было обработать и произвести захват движения. Файлы должны иметь небольшой весь и при этом не терять качества. Было решено выбрать jpg-секвенции для захвата движения, потому как это наиболее ресурсоемкий процесс, а jpg-формат сохраняет достаточное количество информации для анализа; и tga-секвенции для пост-обработки, как формат поддерживающий прозрачность (что необходимо для внедрения надписей в сцену) и сохраняющий достаточно информации о цвете.

Рисунок 18. Обработка сцены рассвета над городом

2.3.1 Сцена рассвета

Благодаря везению был снят хороший момент с чайками кружащими над Фонтанкой, но возникла проблема с положением солнца в этой сцене. Задумывалось, что оно будет садиться между Инженерным замком и Спасом на Крови, и можно будет пустить время вспять и сделать из него рассвет. Но вопреки расчетам оно садилось намного западнее. Чтобы создать настроение, которое хотелось передать пришлось прибегнуть к стандартному трекеру и отследить движение и поворот камеры, а далее воссоздав все необходимые элементы настоящего рассвета привязать их движение к движению камеры (рис.18).

2.3.2 Сцена с часами

Не смотря на то, что были учтены возможные трудности, внедрение часов в эту сцену оказалось настоящим кошмаром. В этом плане был использован неоднократный перевод фокуса, что сыграло практически смертельную роль для трекера. На долю секунды картинка уходит в полный де-фокус и в этот момент теряется возможность отследить что-то автоматически. Поэтому эту часть работы приходится делать руками. Но как бы мы не старались она всё-равно не выглядит идеальной. И чем дольше смотришь, тем хуже она кажется.

Рис. 19. Обработка сцены с часами Таким образом стоит запомнить, что в кадрах, где нужно будет что-то встроить предпочтительнее использовать HDV камеры с очень большой глубиной резвости, чтобы исключить возможность попадания картинки в полный де-фокус.

Во всем остальном план оказался очень простым: нам нужно всего-лишь поставить часы на заготовленное на съемках место и воссоздать геометрию сцены для воссоздания настоящий теней (рис.19).

2.3.3 Сцена с толпой

Одной из сложных сцен была сцена с толпой, где молодой человек быстро шагает по Невскому. Большое количество людей, вне массовки, и необходимость снимать с высоты больше человеческого роста заставили отказаться от съемки со штатива. Это означало, что сперва кадр нужно стабилизировать, затем сделать захват движения, и лишь затем делать композитинг. Точно так, как мы это делали в первом технологическом тесте.

Рис. 20. Обработка сцены с толпой Петербург не очень богат на солнечные дни весной, поэтому съемки сильно затягивались, но, даже несмотря на это, большинство сцен снято в пасмурную погоду, что привело к необходимости заниматься агрессивной цветокоррекцией (рис.20). Стоит заметить, что это сыграло нам на руку: в отличии от сцены с часами был полный контроль, и в тех местах, где искусственная надпись перекрывала искусственное солнце, оно становилось не таким ярким, что оказалось достаточно реалистичным эффектом. А для того, чтобы понять, как должно выглядеть настоящее солнце было сделано несколько видео-записей, которые использовались, как отправная точка.

2.3.4 Сцены с реконструкцией камеры

Как и предполагалось это будут непростые части. Ни один из автоматических трекеров не смог дать удовлетворительный результат: изображение дергалось. Поэтому пришлось вновь прибегнуть в модулю MayaLive, чтобы сделать мачмув ручным способом: точку за точкой. Но даже не смотря на потраченное время и внимание в самом конце не удалось добиться нужного ракурса и сцену пришлось немного сократить.

Рис. 21. Съемка настоящего заката

В одной из финальных сцен был положительный результат автоматического трекера. Но по окончанию работы, аналогичного результата получилось добиться с помощью анимации по ключевым кадрам. Дело в том, что в этом месте надпись видна только в отражении и едва мелькает, когда герой уже стоит на месте.

Результатом стал вывод о том, что всегда стоит тщательно продумывать необходимость выполняемой работы и выбирать наиболее дешевый вариант решения.

Рис. 22. Композитинг сцены на кухне

ЗАКЛЮЧЕНИЕ

Безусловно, прогресс не стоит на месте и современные технологии вступают в плотный симбиоз с классическими методами подходами и методами. И одной из этих технологий является трекинг. Он облегчает работу в ротоскопировании, стабилизации, динамической цветокоррекции, в замене фона и вырезании элементов. Но сейчас актуальна не важность подхода или технологии, а ее распространенность, ее популярность. Она используется ежедневно тысячами дизайнеров, операторов, режиссеров и простых людей, которые решили снять видео на день рождения сына. Его помощь сложно переоценить, потому что именно на этой технологии основываются все визуальные эффекты связанные с виртуальным пространством и именно на ней и только на ней они будут основываться ближайшую сотню лет. К сожалению у человека нет другого способа попасть в виртуальность, кроме как с помощью сотен математических формул, по которым ведется расчет фотограмметрии или слежение за точкой в пространстве.

В результате проделанной работы были проведены необходимые исследования для решения поставленной задачи. Произведен обзор возможных технологий захвата движения и сделан обоснованный техническими параметрами малобюджетной видео-студии выбор подходящих для создания видеоролика, являющегося неотъемлемой частью данной дипломной работы. В процессе роботы над созданием видеоролика технология трехмерного трекинга была использована не только для решения сложных задач совмещение трехмерной графики и видео, но и для более простых кинематографических задач, таких как, цветокоррекция, монтаж, ротоскопия. Такое решение позволило получить интересные визуальные образы.

Кроме того, использованный подход позволил сэкономить большое количество времени по сравнению с классической анимацией. Даже, в тех сценах, где можно было бы обойтись без захвата движения использованная технология позволяла иметь большую гибкость в решении локальных задач компоузинга монтажного кадра.

Если еще девять лет назад братьям Вачовски пришлось потратить полтора миллиона долларов на постройку шоссе для своего фильма, то сегодня люди создают целые джунгли на компьютере и населяют их фото реалистичными существами. В существование которых хочется верить. По словам Кремера ему удалось пересечь «долину смерти» при создании мимики персонажей только благодаря трекингу и профессионализму. А это та черта, которую не удавалось пересечь многим создателям.

В работе над проектом использовались следующие программные продукты:

— Adobe After Effect CS4;

— Mocha for After Effects;

— Adobe Premier Pro CS4;

— Adobe Photoshop CS4;

— Adobe Reader 8;

— Adobe LightRoom 3;

— Adobe Bridge;

— Sonic Vegas 4;

— Autodesk Maya 2010: Student Edition;

— Autodesk MatchMover;

— Phase One: Capture One 5 pro;

— OpenOffice 3.1.1;

— Google Chrome 5.0;

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Википедия [Электронный ресурс]: — Энциклопедия — Режим доступа: http://ru.wikipedia.org/wiki/Motion_capture — Загл. с экрана. — Яз. рус.

2. Википедия [Электронный ресурс]: — Энциклопедия — Режим доступа: http://ru.wikipedia.org/wiki/Motion_capture#14 — Загл. с экрана. — Яз. рус.

3. Википедия [Электронный ресурс]: — Энциклопедия — Режим доступа: http://ru.wikipedia.org/wiki/Motion_capture#25 — Загл. с экрана. — Яз. рус.

4. Википедия [Электронный ресурс]: — Энциклопедия — Режим доступа: http://ru.wikipedia.org/wiki/фотограмметрия — Загл. с экрана. — Яз. рус.

5. Видео-курс «Hollywood camera work — Visual effects for directors» [Электронный ресурс]: Теоретический курс по визуальным эффектам — Режим доступа: — http://www.hollywoodcamerawork.us/vfx_index.html — Загл. с экрана. — Яз. рус.

6. Video Copilot"Visual effects and motion design" [Электронный ресурс]: Уроки по After Effects — Режим доступа: http://videocopilot.net/. — Загл. с экрана. — Яз. рус.

7. Линда Вайнман Практикум по Adobe After Effects 6. Видеомонтаж, спецэффекты, создание видеокомпозиций [текст]: [Пер. с англ.]. — М.: «Вильямс», 2004. — С. 648.

8. Энтони Боланте Adobe After Effects. Спецэффекты и создание ви-деокомпозиций [текст]: [Пер. с англ.]. — М.: ООО «Триумф», 2007. — С. 832.

9. Информационный портал журнала «Как» [Электронный ресурс]: Портал о дизайне. — Режим доступа: _http://kak.ru/. — Загл. с экрана. — Яз. рус.

ПРИЛОЖЕНИЕ № 1

Набросок сценария трекинг захват движение трехмерная графика видео

Сцена 1

Утро. В кровати просыпается молодая девушка. Мы видим лежащий на столе фотоаппарат, какие-то аксессуары, плакаты про силу духа и веру в свои силы. На часах 8 утра (еще темно). Зима.

Девушка поднимается на кровати, у нее над головой вертится большая надпись «ON». Она ерошит волосы и выпрыгивает из кровати.

Сцена 2

Кухня, легкий завтрак с хлопьями на столе, девушка быстро это дело уплетает. На соседнем столе — кошка, смотрит на хозяйку и мяукает, получает улыбку в ответ. Девушка смотрит на часы на стене. 8:45. Быстро вытирает рот и встает из-за стола, взяв с собой фотоаппарат, уходит. Надпись ударяется об косяк и следует дальше за героиней.

Кошка тихо лакает недоеденный завтрак.

Сцена 3

Город, рассвет на мосту. Солнце встает из-за домов. Девушка останавливается, фотографирует. Вглядывается в даль над водой, в ее глазах блики, как и в объективе камеры. На улице почти никого нет.

Сцена 4

Улица. Центр города. Люди уже снуют туда-сюда по переходам. Еще тихо. Замерзающий, немного раздраженный, красивый молодой человек, прикрываясь высоким воротником пальто, быстро идет по улице, ничего не замечая. Смотрит вперед, закуривает, обходя остальных и не сталкиваясь с ними.

Мы видим головы прохожих. Он один из многих: на Его головой вертится надпись «OFF». Он серьезен. На шее развевается длинный шарф.

Сцена 5

Молодой человек идет по пустынной улочке. Вдоль нее как раз заливается солнце. Солнце светит ему в спину. Не доходя до урны, Он выбрасывает окурок мимо. Мы видим перспективу улицы, фокус на молодом человеке. Крупный план на падающий окурок (замедление в 1.5−2 раза).

Кто-то резко хватает его за шарф и дергает, заставив тем самым развернуться (солнце светит прямо в глаз). Это та девушка. Она зла и настроена серьезно. Молодой человек в негодовании.

Общий план. Видны только активные жесты руками девушки в сторону окурка, вздохи и ахи. Она стучит по голове, крутит у виска. Тыкает пальцем в его надпись «OFF». Берет за воротник, глубоко вздыхает, подняв руку и выждав мгновение, выдыхает. Махнув на Него, уходит в рассвет.

Молодой человек смотрит ей в след. Мы видим, как Она уходит. Крупный план на лицо. Он прикусывает губу, смотрит «в никуда». Быстро переводит взгляд вниз вправо. Он сильно напряжен. Брови собраны. Скулы хорошо видны.

А в руках у нее был паларойд. Так, что он сразу получил карточку «на прощание» и увидел на ней этот самый OFF. И пока фото проявлялось, Он думал, она уходила, а надпись медленно проявлялась на фотографии, давая ему понять в каком же месте Он не прав. На снимке не только герой с надписью OFF, но и захламленный город, вместо того, что видят зрители в ролике.

ПРИЛОЖЕНИЕ № 2

Финальная раскадровка