Моделирование освещенности и синтез фотореалистичных изображений с использованием Интернет-технологий

• 1. Введение
• 2. Базовые решения, использованные в Интернет-приложении
• 2.1 Архитектура Интернет-приложения для интерактивного физически аккуратного моделирования освещенности
• 2.2 Базовые алгоритмические решения
• 2.3 Технологическая основа комплекса
• 3. Возможности программного комплекса с точки зрения конечного пользователя
• 4. Интерфейс программного комплекса
• 5. Методы ускорения моделирования освещенности и генерации изображений
• 5.1 Методы ускорения расчета глобальной освещенности
• 5.2 Параллельные и распределенные вычисления
• 6. Средства администрирования
• 7. Заключение
• 8. Список литературы

1. Введение

Приложение машинной графики для интерактивного моделирования освещенности выполняется в глобальной распределенной среде, включающей компьютер пользователя и компьютер на сайте, который предоставляет приложение. Эффективность работы приложения в значительной мере зависит от решений, связанных с распределением вычислительной нагрузки между компьютерами и организацией взаимодействия между выполняющимися на них компонентами. Для того чтобы обеспечить возможность работы с максимальным числом пользователей необходимо учитывать, что доступные вычислительные ресурсы на компьютере пользователя могут быть ограничены, а скорость сетевого обмена с ним - не слишком высокой. Исходя из этого, было принято решение о том, что ресурсоемкие вычисления, связанные с моделированием освещенности и синтезом изображений, должны выполняться на компьютерном кластере сайта, предоставляющего приложение. На нем также хранятся данные сцен, представление которых может включать сотни тысяч и даже миллионы объектов.

Дополнительным аргументом в пользу такого решения является необходимость защиты данных, представляющих сцены. Для получения высококачественных изображений необходимы сцены с высокой степенью детализации геометрии, тщательно подобранными (или даже измеренными) свойствами поверхностей и источников света. Создание таких сцен может занимать недели работы высококвалифицированного персонала, и обычно они являются объектом собственности, не подлежащим свободному распространению. С этой точки зрения важно, чтобы детальное описание сцен не передавались за пределы предоставляющего их сайта.

Архитектура Интернет-приложения для интерактивного физически аккуратного моделирования освещенности и организация взаимодействия между его компонентами показана на рис. 1. Эта архитектура была реализована в программном комплексе LKernel.

На компьютере пользователя выполняется программа, реализующая функции графического интерфейса и отображения сцены. Для выполнения содержательных действий, связанных с редактированием сцен, моделированием освещенности, синтезом изображений, эта программа посылает запросы вычислительному компоненту, выполняющемуся на сервере сайта. В ответ на запросы пользователей серверный компонент возвращает структуры и изображения, представляющие библиотеки сцен, результаты действий редактирования, текущие параметры камеры и т.п.

Рис. 1. Организация Интернет-приложения для интерактивного физически аккуратного моделирования освещенности; взаимодействие компонентов пользовательского интерфейса с серверным компонентом

Серверный компонент поддерживает одновременную работу нескольких пользователей и обеспечивает размещение данных, ассоциированных с множеством текущих сеансов.

2.2 Базовые алгоритмические решения

Физически аккуратное моделирование освещенности требует расчета как прямой освещенности сцены, так и вторичной освещенности, получаемой в результате множественных переотражений света. Вторичную освещенность также часто называют глобальной освещенностью. Первичная освещенность рассчитывается методом детерминистической трассировки лучей [5].

Все физически обоснованные методы расчета глобальной освещенности являются приближенными решениями так называемого уравнения рендеринга [6]. Трудность решения этого уравнения определяется его рекурсивным характером и сложностью области интегрирования, поэтому на практике применяются различные приближенные методы численного решения. В рассматриваемом программном комплексе для решения уравнения рендеринга используется метод Монте-Карло прямой трассировки лучей [7].

Идея метода Монте Карло прямой трассировки лучей состоит в статистическом воспроизведении механизма распространения света путем моделировании всевозможных траекторий лучей. Траектории световых частиц (фотонов) прослеживаются на всех этапах существования, от момента их генерации источниками света до поглощения или выхода из сцены. Направление, в котором испускается фотон, длина волны и стартовая позиция на источнике света определяются стохастически согласно фотометрическому распределению энергии источника и его геометрической форме. Траектория фотона трассируется до пересечения с поверхностью, после чего дальнейшее поведение фотона определяется свойствами поверхности.

Метод естественным образом поддерживает все типы поверхностей, включая сочетания диффузных и зеркальных свойств, а также поверхности, описываемые сложными функциями отражения (преломления) света. Он позволяет воспроизводить в изображениях тонкие оптические явления, такие как, например, эффект “каустики” -- световые блики, возникающие за счет фокусирования световой энергии идеально преломляющими материалами.

Метод не зависит от положения камеры и не предусматривает вывод изображения на экран, а лишь предоставляет информацию о глобальной освещенности, которая позднее может быть использована для визуализации и синтеза изображений.

2.3 Технологическая основа комплекса

В качестве технологической основы программного комплекса была принята компонентная объектная модель COM (Component Object Model) компании Microsoft [8]. Идея компонентного подхода заключается в создании приложений из компонентов, подобно тому, как архитектор проектирует здание из типовых конструкций. При этом могут использоваться как готовые компоненты, так и компоненты, разработанные специально для данного приложения. Способ взаимодействия с компонентом полностью определяется формальной спецификацией его интерфейсов и не зависит от его положения в распределенной среде, языка реализации и других аспектов, не оговоренных в интерфейсах. Компоненты могут взаимодействовать как в рамках одного процесса, так и как отдельные процессы, выполняющиеся, возможно на разных компьютерах, объединенных в сеть. Компонентный подход позволяет решать такие проблемы как масштабируемость, интегрируемость, отказоустойчивость приложений, снижение затрат, связанных с их сопровождением и развитием.

Основное содержание созданного программного комплекса LKernel составляет серверный компонент, реализующий моделирование освещенности, синтез изображений, действия редактирования сцен и т.п. Дополнительно в состав комплекса входит также инструментарий администрирования, который описан в разделе 6.

Компоненты, реализующие пользовательский интерфейс приложений, могут создаваться независимыми группами разработчиков на основе формальной спецификации интерфейса серверного компонента, обзор которого представлен в разделе 4. Пользовательский интерфейс приложений проектируется и реализуется в соответствии с потребностями компании или организации, которую представляет данный сайт, а также общим стилем оформления данного сайта.

3. Возможности программного комплекса с точки зрения конечного пользователя

Рис. 2б. Пример параметрической сцены

C. Работа с библиотекой объектов и источников света. Библиотека объектов и источников света (называемая далее для краткости библиотекой объектов) может содержать элементы, представляющие

· предметы обстановки (геометрические объекты с заданными оптическими свойствами поверхностей);

· осветительные приборы - люстры, торшеры и т.п. (смешанные объекты, содержащие геометрические данные и источники света);

· источники света "в чистом виде".

К числу поддерживаемых типов источников света относятся точечный, конусный, параллельный, протяженные (линейный, в форме круга и в форме прямоугольника), а также источники света в стандартном формате IESNA [9] с заданным угловым распределением интенсивности.

Как в параметрическую, так и в фиксированную сцену пользователь может добавлять элементы из библиотеки объектов, позиционировать их в пространстве сцены, а также удалять. Возможна такая операция как замена одного вида источников света на другой в масштабе всей сцены.

D. Расчет глобальной освещенности. Отредактировав сцену нужным образом, пользователь запускает вычисление ее глобальной освещенности путем трассировки лучей по методу Монте Карло. В результате вычислений формируется карта освещенности, которая динамически отображается в ходе вычислений. Качество (достигнутая точность) карты зависит от числа промоделированных траекторий лучей света. Пользователь может заранее задать требуемую точность, а может просто остановить вычисления, когда сочтет качество достаточным, основываясь на визуальной оценке текущего изображения.

E. Исследование распределения освещенности. Распределение освещенности на поверхностях сцены может быть визуализировано при помощи тоновой заливки. Для параметрических сцен поддерживается построение линий уровня на каждой из поверхностей (пол, потолок, стены, рабочая плоскость).

При помощи этих средств пользователь может оценить качество заданного им освещения. Базируясь на полученных результатах, а также на визуальной оценке изображения сцены, он принимает решения о, например, необходимости добавить больше источников света или несколько изменить расположение объектов в планируемом помещении. Таким образом, повторяя шаги C-E, посетитель сайта может выполнить дизайн освещения в выбранном интерьере. Получив желаемый результат, он может перейти к созданию высококачественных презентационных изображений.

F. Генерация изображений и панорам. Последним этапом работы со сценой является синтез высококачественных изображений при разных положениях камеры, а также генерация панорам в формате Quick Time [10]. Построение изображений выполняется методом обратной трассировки лучей с использованием предварительно вычисленных карт освещенности, что позволяет воспроизводить в изображениях широкий спектр оптических явлений, таких как диффузное переотражение света, перенос цвета, зеркальное отражение, преломление, эффект “каустики”.

Пользователь может управлять качеством итогового изображения. Изображение низкого или стандартного качества генерируется достаточно быстро, тогда как генерация высококачественного изображения может занять существенное время.

4. Интерфейс программного комплекса

Рис. 3. Интерфейс серверного компонента: основные группы сервисов.

Библиотеки. Ядро программного комплекса в настоящее время поддерживает три библиотеки - библиотеку фиксированных сцен, библиотеку параметрических сцен и библиотеку объектов. Имеется сервис, позволяющий для заданной библиотеки получить число ее элементов и массив их идентификаторов. Еще два сервиса позволяют по идентификатору элемента получить его текстовое описание и пиктограмму.

Сцены. Для сцен поддерживаются сервисы загрузки и выгрузки. Имеется возможность опросить состояние текущей сцены - загружена ли в данные момент сцена, каков ее идентификатор, является ли она параметрической или фиксированной, изменялась ли с момента загрузки.

Геометрия сцен. Как для фиксированных, так и для параметрических сцен поддерживается сервис запроса геометрических данных. Возвращаются значения высоты пола, потолка, рабочей плоскости, а также число стен и массив с координатами углов многоугольника в основании комнаты. Для параметрических сцен поддерживается изменение геометрии. Входными параметрами для соответствующего сервиса служит вся совокупность перечисленных выше значений. Имеется также сервис для опроса и установки единиц измерения, в которых представлена геометрическая информация.

Оптические свойства поверхностей (для параметрических сцен). Сервисы этой группы позволяют опросить и установить оптические свойства (коэффициент отражения и цвет) для всех поверхностей параметрической сцены. Сервис не применим к фиксированным сценам, потому что там оптические свойства были заданы в процессе создания сцен.

Редактирование объектов. Сервисы этой группы служат для опроса и установки совокупности объектов, присутствующих в текущей сцене.

Описание одного объекта (или трехмерного массива одинаковых объектов, расположенных в узлах прямоугольной трехмерной сетки с постоянными шагами по трем координатам) представлено в виде структуры, содержащей координаты объекта относительно сцены и три угловые координаты, задающие ориентацию объекта. В ней также задается цвет и яркость источников света в данном объекте. Для массивов объектов в структуре предусмотрены поля, задающие число экземпляров объекта и шаг по каждому из направлений. При опросе объектов сцены возвращается их число в сцене и массив указателей на структуры, описывающие объекты. Эти же параметры являются входными для метода установки объектов в сцене. В общем случае под "объектом" понимается трехмерный массив объектов. Опрос информации об источниках света. При помощи методов этой группы можно получить данные о совокупности источников света, содержащихся в заданном объекте или сцене, а также опросить индивидуальные характеристики каждого источника.

Данные о совокупности источников света в объекте или сцене включают количество источников и массив указателей на структуры, описывающие источники - их местоположение, ориентация, тип. Для источника в стандарте IESNA можно запросить детальную информацию о характеристиках, а также изображение его гониометрической диаграммы.

Камера. В каждой зарегистрированной в библиотеке параметрической или фиксированной сцене присутствует описание камеры, необходимое для создания изображения сцены. При помощи методов данной группы приложение может опросить и переустановить параметры, задающие положение, ориентацию, расстояние и угол обзора камеры.

Расчет освещенности. Эта группа содержит два метода. Один служит для расчета освещенности с заданной точностью, другой продолжает вычисления до достижения заданной точности или до исчерпания заданного кванта времени и возвращает в выходном параметре значение точности, которое удалось достичь. Поскольку вычисления имеют инкрементальный характер, то, используя второй метод, приложение может динамически отображать текущее состояние вычислений и предоставить возможность пользователю завершить вычисления, основываясь на визуальной оценке качества.

Синтез изображений. Поддерживаются сервисы для генерации изображений сцены и панорам в формате Quick Time заданного качества. Также предоставляется возможность получить визуальное представление распределения освещенности в сцене в виде линий уровня и при помощи тоновой заливки. Кроме этого имеется ряд вспомогательных сервисов для управления памятью, выдачи диагностики и др.

5. Методы ускорения моделирования освещенности и генерации изображений

Главной причиной необходимости большого объема вычислений при расчете глобальной освещенности является стохастический шум, присущий всем Монте Карло алгоритмам. Поскольку освещенность в основном является гладкой функцией, для которой шум хорошо заметен, то получение качественных изображений невозможно без избавления от него. Стандартное решение проблемы при использовании алгоритмов Монте Карло с псевдослучайной числовой последовательностью - увеличение времени вычислений до тех пор, пока достигнутая точность метода не станет достаточно высокой и шум не исчезнет.

Для Интернет-приложений такой подход нежелателен. Поэтому для ускорения расчета глобальной освещенности использование псевдослучайной числовой последовательности было заменено на использование квазислучайных выборок. Преимущество квази- Монте Карло метода заключается в значительно меньшем стохастическом шуме, а также, при определенных условиях, более высокой скорости сходимости. Подробнее вычисление глобальной освещенности методом квази- Монте Карло описано в [13].

На ранних стадиях работы над проектом был проведен ряд измерений, направленных на оценку эффективности предполагаемых к использованию методов оптимизации, а также распараллеливания вычислений, о которых рассказано далее. Результаты этих измерений приведены в этом разделе. Сцены, использованные при этих измерениях, показаны на рис. 4а и 4б.

Рис. 4а. Сцена Office

Рис. 4б. Сцена Montage

В таблице 1 приведены результаты измерений, демонстрирующих ускорение вычислений, достигнутое за счет использования квази-случайных выборок вместо псевдослучайных последовательностей при расчете освещенности методом Монте Карло. Измерения проводились для сцен Office и Montage с различными значениями итоговой точности. Время вычислений указано в секундах.

Таблица 1. Сравнение времени вычислений при использовании псевдослучайных последовательностей (T_MC) и квази-случайных выборок (T_QMC) в расчетах глобальной освещенности методом Монте Карло.

Другим способом ускорения расчета глобальной освещенности, разработанном в данном проекте, стало исключение первичных лучей из процесса трассировки лучей методом Монте Карло. Трассировка первичных лучей была заменена на детерминистический расчет прямой освещенности. При этом строятся специальные карты прямой освещенности, которые потом используются и как вторичный источник света для дальнейшего его моделирования методом Монте Карло, и для визуализации сцены. В итоге суммарное время, необходимое для создания изображения, уменьшается. Эффективность этого способа сильно зависит от освещенности сцены. Ускорение вычислений в сравнении с квази- Монте Карло методом может составлять как всего несколько процентов (ускорение порядка 12% было достигнуто для сцены Office), так и несколько раз (ускорение в 2,5 раза было достигнуто для сцены Montage).

5.2 Параллельные и распределенные вычисления

Кроме алгоритмических методов для максимального ускорения синтеза изображений и расчета глобальной освещенности в комплексе LKernel реализованы параллельные вычисления. Применяется как горизонтальный параллелизм, основанный на использовании кластеров из нескольких компьютеров, объединенных в сеть, так и вертикальный параллелизм многопотоковых (multithread) вычислений, эффективно использующих несколько процессоров в одном компьютере.

Идея параллельной реализации алгоритма обратной трассировки, применяемой для генерации изображений, основана на том, что значения светимости отдельных пикселей могут вычисляться независимо. Экран адаптивно разделяется на несколько непересекающихся регионов так, чтобы обеспечивалась равномерная загрузка процессоров. Каждый процессор выполняет трассировку для заданных регионов, исполняя последовательную версию алгоритма. Завершенные фрагменты объединяются в итоговое изображение. Параллельная реализация прямой трассировки при расчете глобальной освещенности основана на том, что трассировка каждого луча может проводиться независимо. Отметим, что в существовавших ранее реализациях обоих алгоритмов поддерживался только параллелизм многопроцессных вычислений. Более эффективные многопотоковые реализации были выполнены в рамках проекта LKernel. Более подробную информацию об используемых методах распараллеливания можно найти в [14, 15]. Измерения, проведенные для расчета глобальной освещенности с использованием многопроцессорных и кластерных конфигураций, показывают, что оба вида параллелизма позволяют достичь существенного ускорения вычислений, а реализации обладают хорошими показателями масштабируемости.

Таблица 2 содержит результаты измерений, предназначенных для оценки эффективности многопотоковых вычислений глобальной освещенности. Измерения проводились на сервере HP-900 с 4 процессорами Intel Pentium III Xeon 900MHz для сцен Office и Montage при двух разных условиях освещенности (называемых соответственно l1 и l2 - lighting1 и lighting2). Скорость вычислений оценивалась как количество оттрассированных лучей в секунду (N). Эффективность (E) многопотоковых вычислений оценивалась как отношение скорости вычислений (N) к числу используемых процессоров, нормированное по скорости для случая одного процессора.

Таблица 2. Эффективность многопотоковых вычислений. N - скорость трассировки (число лучей в секунду), E - эффективность (отношение скорости вычислений к числу используемых процессоров, нормированное по скорости для случая одного процессора).

Из таблицы видно, что эффективность реализации многопотоковых вычислений достаточно велика для двух процессоров, но снижается с увеличением их количества. Для достижения большей эффективности в случае более 4-х процессоров потребуются определенные усовершенствования реализации. Хотя в настоящее время это не очень актуально, поскольку компьютеры, имеющие более четырех процессоров, практически не встречаются.

Также было исследовано, насколько ускоряется расчет глобальной освещенности при параллельном использовании нескольких компьютеров. Результаты приведены в таблице 3. Для тестирования использовались следующие компьютеры:

1) dual Intel Pentium III 600MHz

2) dual Intel Pentium III 933MHz

3) dual Intel Pentium III 933MHz

4) dual AMD 1500MP 1333MHz

В этих тестах фиксировалось общее время (Т) до достижения заданной точности при использовании различных групп из этих компьютеров. В таблице “1” означает, что в тесте использовался только первый компьютер, “12” - первый и второй, “123” - первый, второй и третий, а “1234” показывает, что использовались все четыре компьютера.

Коэффициенты эффективности (Е) рассчитаны как отношение времени вычислений на одном компьютере к времени вычислений на кластере, нормированное на вычислительную мощность кластера (т.е. на сумму рабочих частот процессоров). Для удобства представления эффективность первого компьютера принята за единицу. В измерениях использовались сцены Office и Montage при двух условиях освещения (l1 и l2). Вычисления при каждом измерении проводились до достижения заданной точности.

Таблица 3. Эффективность распределенных вычислений. Т - время вычислений до достижения заданной точности, E - эффективность (отношение времени вычислений на одном компьютере к времени вычислений на кластере, нормированное на вычислительную мощность кластера).

Из таблицы 3 видно, что за счет использования распределенных конфигураций достигается значительное сокращение времени вычислений. В то же время, коэффициенты эффективности показывают, что имеются определенные резервы для совершенствования реализации горизонтального параллелизма.

6. Средства администрирования

Конечные пользователи, работающие с приложениями на базе программного комплекса LKernel через Интернет, естественно, не должны иметь возможность изменять и сохранять библиотеки сцен и объектов. Они также не могут управлять распределенной конфигурацией кластера, используемого для вычислений на сайте, предоставляющем Интернет-приложение. Предполагается, что такие действия составляют прерогативу специалиста, ответственного за подготовку презентационных сцен, и администратора сайта, который должен обеспечивать эффективную работу пользователей.

Для выполнения подобных действий вместе с ядром комплекса LKernel было разработано административное интерактивное приложение с графическим интерфейсом. Это приложение поддерживает все функции, доступные конечным пользователям. Все функции были реализованы через обращения к сервисам ядра, и поэтому административное интерактивное приложение может использоваться как инструмент тестирования серверного компонента.

Дополнительно административное приложение позволяет выполнять ряд действий, не доступных конечным пользователям, в частности, следующие:

· загружать из файлов произвольные сцены, не зарегистрированные в библиотеках комплекса;

· создавать новые параметрические сцены "с нуля";

· создавать в текущей сцене новые источники света, не зарегистрированные в библиотеках, загружать описания источников света непосредственно из файлов формата IESNA;

· регистрировать текущую сцену в библиотеке фиксированных сцен, параметрических сцен или объектов с сохранением соответствующей пиктограммы. Отметим, что объекты имеют такое же внутреннее представление, как и фиксированные сцены, поэтому создание объектов происходит так же, как и создание сцен;

· редактировать текстовые описания элементов библиотек.

Помимо этого административное приложение предоставляет интерфейс для управления конфигурацией распределенный вычислений, просмотра статистики и протоколов пользовательских сеансов.

7. Заключение