Исследование и разработка алгоритмов, методов и программных средств для задач синтеза реалистичных изображений

Методы синтеза реалистичных изображений, основанные на физически аккуратном моделировании распространения света, применяются во многих областях человеческой деятельности. Созданные алгоритмы и программные средства представляют интерес для использования в архитектуре, градостроительстве, ландшафтном дизайне, проектировании систем отопления и кондиционирования, автомобильной и авиационной промышленности и др.

Предварительные расчеты освещения являются одним из обязательных этапов при проектировании и строительстве зданий. С помощью таких расчетов определяются следующие факторы:

1. Освещенности рабочих мест должны соответствовать существующим стандартам, в которых указаны не только минимально допустимая величина освещенности, но и такие параметры, как доля прямого света от источника в поле видимости человека («комфортность» освещения), и др.

2. Экономичность системы освещения основывается на точных расчетах освещения помещений дневным и солнечным светом. Базируясь на этих данных, архитектор может варьировать положение и ориентацию здания относительно сторон горизонта и окружающих строений, расположение и размеры оконных проемов, лоджий и т. д.

3. Эстетичность интерьеров помещений и внешнего вида, как правило, разрабатываются архитектором и утверждаются заказчиком строительства проекта до его начала. Любая переделка всегда стоит дороже. Например, на рис. 1 представлен внешний вид площади до планируемого строительства мечети (рис. 1а) и после (рис. 16).

L’M IIKIItllKtltllllllitlliHinM II" III" | imatiiiiiiiiHtiqiiiiKkiii * ii¦ • ¦ iiiiiimj LtitllOl ||.I"|"|I||MHIII I tit |*l|l"l.l"i Iirktltt'. Mllit. l • a) (6).

Рис. 1. Моделирование изменения внешнего вида площади при строительстве мечети. (Изображения построены с помощью разработанного программного комплекса. Цифровая модель сцены предоставлена фирмой Sultan Decor, ОАЭ.).

Очевидно, что предварительные расчеты будут приняты во внимание только, если моделирование основано на законах физики распространения света и позволяет достичь приемлемой точности.

Кроме архитектуры методы компьютерного физически аккуратного моделирования применяются также для визуализации и оценки различной продукции до запуска ее в производство. Один из примеров — производство современных оптически сложных красок, используемых в современной автомобильной промышленности. Гораздо дешевле смоделировать на компьютере внешний вид краски по ее составу и исследовать при различных условиях освещения (дневной, солнечный свет, искусственное освещение), чем произвести опытную партию краски и покрасить ею реальный автомобиль. В настоящее время такой подход к моделированию красок применяется не только в автомобильной промышленности, но и для окраски большого спектра других товаров (мобильные телефоны, персональные компьютеры, бытовая техника и пр.).

Безусловно, широкое применение получили методы физически аккуратного синтеза изображений в киноиндустрии и производстве компьютерных игр. Реалистичность изображения является здесь решающим фактором. Практически все зрелищные фильмы последнего времени сняты с использованием компьютерных программ синтеза изображений.

Процесс генерации реалистичных изображений.

Генерация реалистичных изображений, основанная на физически аккуратном моделировании распространения света в различных средах, является одним из современных направлений развития компьютерной графики. Рисунок 2 иллюстрирует этот процесс.

Рис. 2. Процесс генерации изображения.

Моделирование будем называть физически аккуратным, если методы моделирования основаны на физических законах распространения света и взаимодействия света с объектами.

Под понятием реалистичности изображений будем понимать близость восприятия синтезированных изображений с восприятием фотографий, т. е. именно фотореалистичность является критерием качества синтеза изображений в нашем случае.

С помощью физически аккуратного моделирования можно получить реалистичное изображение, если методы моделирования правильно учитывают физические законы, влияющие на распространение света и формирование изображения фотографическим способом или глазом человека. Использование физически аккуратного моделирования в основе синтеза реалистических изображений позволяет перейти к задачам проектирования и дизайна еще не существующих объектов, т.к. созданные визуальные образы правильно передают их внешний вид.

Задание цифровой модели сцены.

Изображение генерируется, используя заданную в цифровом виде модель сцены. Модель сцены состоит из геометрии или объектов сцены, физических свойств объектов и поверхностей, источников света и параметров наблюдения сцены, необходимых для генерации итогового изображения.

Геометрия сцены включает задание формы объектов сцены, а также их иерархию [46]. Наиболее часто форма поверхности приближается с помощью треугольников. Это представление очень удобно во многих приложениях, например для него существуют эффективные алгоритмы нахождения пересечения луча с поверхностью, оно поддерживается всеми современными ускорителями трехмерной графики, также многие алгоритмы вычисления освещенности рассчитаны специально на такое представление. Для создания реалистичных изображений геометрия сцены должна быть задана с большой степенью детализации. Иначе грубое представление объектов разрушит впечатление «реальности» рисунка. Высокая степень детализации приводит к огромному количеству объектов изображаемых сцен и, соответственно, усложняет задачу моделирования распространения света.

Свойства объектов и поверхностей определяются физическими законами распространения света внутри сред и взаимодействия света с поверхностями. Например, в сцене возможно задать количество света, отраженного от поверхности или проходящего сквозь поверхность диффузно, зеркальноколичество поглощенного света и т. д. Наиболее общий способ описания отражающих (светорассеивающих) свойств поверхности — задание двунаправленных функций отражения/пропускания (ДФО/ДФП или BRDF/BTDF — Bidirectional Reflection/Transmittance Distribution Function в англоязычной литературе) [16]. ДФО, заданная в каждой точке поверхности, определяет какая часть энергии, принятая с направления win будет рассеяна поверхностью в направлении wout (рис. 3). Таким образом, в общем случае, ДФО в каждой точке является функцией двух направлений.

Рис. 3. Задание ДФП в сферической системе координат (система координат и схема задания углов, определяющих направления wjn (cr, ф) и woul (в, ф)).

Источники света ~ это объекты сцены, излучающие световую энергию. Эти объекты могут быть как частью геометрии сцены (так называемые «самосветящиеся» объекты), так и некими абстрактными объектами, не привязанными к геометрии. Наиболее существенным для алгоритмов вычисления освещенности является разделение источников света.

Нормаль п | на протяженные и точечные. В реальной жизни идеальных точечных источников, вообще говоря, не существует. Но для практических приложений точечные источники имеют важное оптимизационное значение. Например, в большинстве задач дизайна интерьеров круглые лампочки накаливания можно считать точечными источниками света, но такое приближение для длинных неоновых ламп во многих случаях оказывается неприемлемым.

Но даже использование точечных источников бывает недостаточно эффективным, если при моделировании необходимо учитывать геометрические элементы лампы, такие как, например, отражатель или абажур. Моделирование таких детальных объектов требует дополнительных вычислительных ресурсов. В то же время для крупномасштабных сцен, например комнаты или холла, они легко могут быть заменены на точечные источники света с гониограммами. Гониограмма (в оптике также называемая индикатриссой рассеяния) — это описание распределения светимости (яркости) источника света по всем направлениям пространства. В настоящее время практически все производители осветительных приборов и ламп предоставляют файлы с описанием гониограмм своей продукции. Наиболее распространенным международным форматом полного описания источника света является формат «IES LM-63−1986», принятый международной организацией IESNA (The Illuminating Engineering Society of North America) [95] в 1986 году.

Параметры наблюдения сцены. Три предыдущие компоненты (т.е. геометрия сцены, свойства объектов и источники света), вообще говоря, полностью определяют распределение освещенности в сцене. Но изображение, получаемое на экране монитора, в значительной степени зависит от параметров наблюдения, то есть от положения наблюдателя, направления зрения, фокусного расстояния камеры, ее разрешения и т. д. В компьютерной графике самая популярная модель наблюдения — модель точечной камеры. Она основана на предположении, что размер устройства, воспринимающего световую энергию (например, объектив камеры), можно считать бесконечно малым по сравнению с расстояниями до объектов сцены. В этом случае для каждой точки экрана можно однозначно указать телесный угол, под которым она видна из глаза, и найти поверхности, покрываемые этим телесным углом, т. е. видимые через эту точку. Яркость данной точки определяется усреднением яркостей всех поверхностей, видимых через нее.

Моделирование распространения света.

В основе моделирования распространения света лежат законы геометрической оптики: закон прямолинейного распространения света, принцип обратимости (именно этот принцип позволяет моделировать распространение света как в прямом направлении — от источника света, так и в обратном — из глаза наблюдателя), законы отражения и преломления света.

Распространение света рассчитывается с помощью алгоритма трассировки лучей, предложенного впервые в работе Whitted [4]. В этом алгоритме происходит трассировка луча от глаза наблюдателя через каждую точку экрана до пересечения его с объектом сцены, т. е. луч трассируется в обратном к распространению света направлении: от наблюдателя к источнику света, что было предложено еще в 1968 году [2]. В понятие трассировки вкладывается нахождение пересечения луча с ближайшим объектом. В точке взаимодействия луча с объектом рассчитывается ее яркость в зависимости от освещенности точки и свойств поверхности пересеченного объекта [5, 11]. Вычисление освещенности точки требует трассировки лучей, направленных на источники света (определение освещена ли точка источником света или находится в тени), и порождающих (преломленных сквозь объект и отраженных от него) лучей. Для определения интенсивности порождающих лучей они должны быть протрассированы вместе со своими порождающими и так далее. Метод обратной трассировки лучей [23] проиллюстрирован на рисунке 4.

Этот метод правильно рассчитывает первичное освещение (т.е. прямое освещение от источника света), тени и отражения в зеркальных поверхностях.

Рис. 4. Метод обратной трассировки лучей. Красные стрелки показывают лучи света и их порождающие, которые необходимо трассировать для получения интенсивности точки экрана. Желтые стрелки показывают лучи, направленные па источник света (желтый кружок вверху), и с помощью которых определяется первичное освещение точки.

Однако физически аккуратное моделирование освещенности требует расчета как прямой освещенности сцены, так и вторичной освещенности, получаемой в результате множественных переотражений света. Вторичную освещенность также часто называют глобальной освещенностью.

Все физически обоснованные методы расчета глобальной освещенности являются приближенными решениями так называемого уравнения рендеринга [18] или уравнения распространения света. Трудность решения этого уравнения определяется его рекурсивным характером и сложностью области интегрирования, поэтому на практике применяются различные приближенные методы численного решения. Это могут быть методы излучательности [10, 15] или метод Монте-Карло прямой трассировки лучей [41].

Идея метода Монте-Карло прямой трассировки лучей состоит в статистическом воспроизведении механизма распространения света путем моделирования всевозможных траекторий лучей. Траектории световых частиц (фотонов) прослеживаются на всех этапах существования, от момента их генерации источниками света до поглощения или выхода из сцены. Направление, в котором испускается фотон, длина волны и стартовая позиция на источнике света определяются стохастически согласно фотометрическому распределению энергии источника и его геометрической.

Рис. 5. Метод Монте-Карло прямой трассировки лучей. Желтые кружки сверху обозначают источники света. Красными стрелками показаны нуги траектории фотонов, их отражения от поверхностей (черные дуги) или прохождение сквозь прозрачное тело {голубой прямоугольник). форме. Траектория фотона трассируется до пересечения с поверхностью, после чего дальнейшее поведение фотона определяется свойствами поверхности. Метод проиллюстрирован на рисунке 5.

Метод естественным образом поддерживает все типы поверхностей, включая сочетания диффузных и зеркальных свойств, а также поверхности, описываемые сложными функциями отражения (преломления) света (ДФО/ДФП). Он позволяет воспроизводить в изображениях тонкие оптические явления, такие как, например, эффект «каустики» — световые блики, возникающие за счет фокусирования световой энергии идеально преломляющими материалами [79].

Метод не зависит от положения камеры и не предусматривает вывод изображения на экран, а лишь предоставляет информацию о глобальной освещенности, которая позднее может быть использована для визуализации и синтеза изображений.

Цель работы.

Целью работы является исследование и разработка алгоритмов и методов синтеза реалистичных изображений, построение на основе полученных результатов технологий их применения в науке, технике, архитектуре, градостроительстве, реализация созданных алгоритмов и технологий в виде программных комплексов. Основные задачи работы: исследование и разработка методов ускорения моделирования освещенности с помощью алгоритмов пространственного разбиения сценыисследование и разработка алгоритмов преобразования физической яркости в RGB координаты графического дисплеяразработка и программная реализация концепции контекстной визуализации пространственных данныхразработка архитектурных, технологических и программных решений, обеспечивающих эффективный расчет освещения и синтез реалистичных изображений при работе через Интернетреализация их в программном комплексеразработка принципов построения и архитектуры системы реалистической визуализации в реальном времениреализация программной системы на их базе.

Научная новизна работы.

Предложены новые эффективные методы преобразования физической яркости в RGB координаты графического дисплея. Разработаны новые эффективные и универсальные реализации методов ускорения моделирования освещенности, основанных на пространственном разбиении сцены. Предложена новая концепция контекстной визуализации пространственных данных. Разработана и проверена на практике новая технология физически аккуратного моделирования освещенности и синтеза реалистичных изображений через Интернет. Предложен новый подход к синтезу изображений в реальном времени, позволяющий использовать результаты физически аккуратного моделирования для повышения реалистичности и визуализации оптически сложных материалов.

Практическая значимость.

Разработанные алгоритмы позволили уже в начале 90-х годов прошлого века реализовать систему генерации реалистичных изображений на персональной ЭВМ, что сделало ее доступной широкому классу пользователей. Теоретические результаты диссертационной работы позволили существенно сократить время моделирования освещения и преобразования физических яркостей в цвета монитора для сцен практически любой сложности.

На базе концепций и технологий, предложенных в диссертации, были реализованы индустриальные программные продукты Visualizer (контекстная визуализация пространственных данных), Lkernel (Интернет приложение моделирования освещенности) и Fly (интерактивная система реалистичной визуализации).

Апробация работы и публикации.

Основные результаты диссертации были доложены на международных конференциях [33, 35, 78, 81, 86] и опубликованы в рецензируемых журналах [34, 36, 82, 84, 85], сборниках статей [32] и препринтах ИПМ им. М. В. Келдыша РАН [74, 75]. Основные результаты диссертационной работы были внедрены и использованы в.

— системе синтеза реалистичных изображений Ray3D, интегрированной в биологический программный комплекс GeneBee [87]. Программный комплекс GeneBee был установлен и использовался в более чем 130 лабораториях и институтах, работающих в области молекулярной биологии;

— индустриальных программных комплексах фирмы Integra Inc. [89].

Структура диссертации.

Диссертационная работа состоит из двух разделов: первый раздел состоит из первой и второй главы и посвящен анализу и разработке методов синтеза реалистичных изображенийвторой раздел состоит из третьей, четвертой и пятой глав и посвящен разработке различных приложений реалистической визуализации. Изложение глав организовано следующим образом.

В первой главе проанализированы методы моделирования освещенности, использующие разбиения пространства сцены для ускорения трассировки лучей. Предложены алгоритмы быстрой трассировки, использующие ограниченный объем памяти, что значительно расширяет применимость алгоритмов.

Во второй главе рассмотрена проблема преобразования физических величин, полученных в результате моделирования освещенности, в RGB координаты графического монитора. Отмечены физиологические аспекты восприятия света человеческим глазом. Предложены эффективные алгоритмы преобразования физических величин.

В третьей главе вводится концепция контекстной визуализации пространственных данных. Описывается архитектура системы, позволяющая эффективно реализовать концепцию. Обсуждаются вопросы ее реализации и дальнейшего развития.

В четвертой главе предлагается архитектура программного комплекса, реализующего физически аккуратное моделирование освещенности в интерактивном режиме через Интернет. Представлены реализованные алгоритмические и аппаратные средства ускорения расчета глобальной освещенности для достижения приемлемого времени отклика.

В пятой главе представлена система генерации реалистичных изображений в реальном времени. Приведены принципы построения и архитектура системы. Рассмотрены подходы и алгоритмы для изображения сцен с естественным освещением, оптически сложными материалами и зеркальными поверхностями.

В заключении формулируются основные результаты работы.

Основные результаты работы состоят в следующем:

1) На основе проведенного исследования методов пространственного разбиения сцен разработаны и реализованы алгоритмы, ускоряющие моделирование освещенности в задачах синтеза реалистичных изображений.

2) Определены и исследованы основные факторы, учитывающие специфику зрительного восприятия человека и влияющие на процесс отображения физических величин, полученных в результате моделирования освещенности, на экран графического дисплея.

Созданы более эффективные по сравнению с другими реализациями методы преобразования физической яркости в цветовые координаты монитора.

3) Разработана концепция контекстной визуализации пространственных данных. Созданы программные средства, позволяющие генерировать реалистичные изображения, содержащие трехмерные распределения физических характеристик.

4) Разработана архитектура, а также технологические и программные решения для создания Интернет-приложений генерации реалистичных изображений. С целью достижения приемлемого времени отклика предложены, реализованы и экспериментально проверены различные методы ускорения расчетов освещения.

5) Разработаны принципы построения и архитектура системы физически аккуратной визуализации в реальном времени сцен, содержащих оптически сложные материалы, естественное освещение, эффекты вторичной освещенности.

Благодарности.

Автор выражает благодарность научному руководителю В. А. Галактионову за содействие и помощь в работе, Ю. М. Баяковскому и Б. Х. Барладяну за ценные консультации, а также всему коллективу отдела машинной графики ИПМ им. М. В. Келдыша РАН за плодотворные совместные обсуждения, способствовавшие реализации идей диссертации.

Заключение

.

В работе рассмотрена задача синтеза реалистичных изображений на основе физически аккуратного моделирования освещенности. В основе моделирования освещенности, как первичной, так и вторичной, был использован метод трассировки лучей света. Были исследованы и разработаны алгоритмы ускорения трассировки лучей через использование пространственной иерархии объектов сцены. Другим важным аспектом задачи синтеза реалистичных изображений, исследованным в данной работе, является преобразование физических величин освещенности, полученных в результате физически аккуратного моделирования, в цветовые координаты графического дисплея. Предложенные методы и алгоритмы были реализованы в различных программных комплексах.

Рассмотрены различные приложения задачи синтеза реалистичных изображений. Предложены принципы построения и архитектура приложений для визуализации пространственных данных, генерации реалистичных изображений через Интернет и в реальном времени на персональном компьютере. На базе предложенных решений разработаны программные комплексы, которые используются в реальных практических приложениях.