Одна из самых важных составляющих in-camera visual effects (ICVFX) — это движок рендеринга в реальном времени. Это программное обеспечение генерирует виртуальные окружения «на лету», чтобы их можно было снимать сразу в камере, и при этом должно работать с частотой не ниже 24 кадров в секунду. Оно также должно реагировать на данные трекинга позиции камеры, чтобы создавать реалистичный параллакс.
Недавно оператор Ричард Крудо, ASC, совместно с командой художников по визуальным эффектам и разработчиками программного обеспечения, создал короткометражку Ray Tracing FTW, чтобы продемонстрировать возможности Project Arena — нового движка рендеринга в реальном времени от компании Chaos, известной своими решениями для 3D-визуализации.
Project Arena использует Chaos Vantage для рендеринга — это версия известного рейтрейсинг-рендера V-Ray, адаптированная для работы в реальном времени. Хотя рейтрейсинг давно стал стандартом для CG, технология только недавно достигла уровня, позволяющего использовать его в реальном времени на «экране» размером с LED-стену.
Суть проекта
Главная цель Ray Tracing FTW — снять ICVFX-проект, используя исключительно рейтрейсинг, без необходимости снижать частоту кадров или уменьшать разрешение изображения, чтобы не перегружать процессоры.
Сюжет короткометражки — ироничная отсылка к классическим вестернам. В ролях — легенды мира VFX, которые изображают типичные киноархетипы и комментируют историю своего ремесла. Среди ключевых участников: режиссер Даниэль Трон, исполнительный продюсер Владимир Койлазов, продюсер и VFX-супервайзер Кристофер Николс, а также сценаристы Трон, Николс и Эрик Шиле.
«До этого мой опыт виртуального продакшна ограничивался LED-экранами для видеоплэйтов и сцен с автомобилями, — рассказывает Ричард Крудо. — Это уже было лучше хромакея, потому что позволяло сразу балансировать цвет и экспозицию без необходимости все дорабатывать позже в VFX. Project Arena дал возможность вывести всё это на новый уровень прямо внутри LED-экрана. Я многому научился и почувствовал, что оказался на острие технологий».
Передача силы
Рейтрейсинг имитирует, как свет взаимодействует с поверхностями, создавая фотореалистичные отражения, преломления и тени. Это контрастирует с растеризацией — технологией, которая десятилетиями была основой большинства движков и фокусировалась на скорости, лишь приближенно рассчитывая свет. Растеризация быстра, но не дает того уровня реализма, особенно при сложных световых сценах и отражениях.
Неудивительно, что реальный рейтрейсинг становится ключевым для ICVFX — примером служит и разработка Lumen в Unreal Engine.
Сложности и прорывы
Основная проблема рейтрейсинга в реальном времени — огромные вычисления. Один источник света может создавать миллионы лучей с отражениями и преломлениями на множестве поверхностей — это сотни миллионов вычислений на каждый светильник. В сцене с сотнями источников — это уже миллиарды лучей, что быстро перегружает процессоры, если не снижать fps или не уменьшать разрешение.
Николс, руководитель спецпроектов Chaos Labs и лидер Project Arena, объясняет:
«Меня всегда восхищал рейтрейсинг, потому что он гораздо точнее воспроизводит, как свет ведет себя в реальном мире, чем большинство рендеров. Этим и занимается V-Ray. Но рейтрейсинг настолько ресурсоемкий, что добиться его в реальном времени сложно. В 2023 году Nvidia разработала новый ИИ-де-нойзер для рейтрейсинга — и это резко ускорило нашу работу. Так мы начали исследовать рейтрейсинг в реальном времени на LED-стене».
Project Arena использует этот рейтрейсинг с машинно-обученным алгоритмом и Nvidia DLSS 3.5. Благодаря этому технология дает картинку высокого разрешения с рейтрейсингом внутри LED-объема при стабильных 24 fps и выше — и при этом динамически реагирует на множество источников света и сложность сцены без провалов производительности.
Что это дает на практике?
«Был момент во время тестов с Ричардом, когда мы очень быстро меняли свет внутри виртуального окружения, — вспоминает Трон. — До этой версии технологии такое было невозможно без повторного «запекания» сцены, а это всегда задержка. Даже в реальной съемке перестановка света может занять до 30 минут. А здесь Ричард мог попросить изменить свет в бэкграунде — и это происходило мгновенно».
«Вдобавок теперь можно изолировать объекты в объеме. Например, у нас был кадр с архитектурной колонной на LED-стене — она была пересвечена относительно остальной сцены. Я указал на это Койлазову (сооснователю Chaos) — он тут же убавил экспозицию, и детали вернулись. Это был настоящий вау-эффект!», — комментирует ричард.
Еще одна особенность
Николс подчеркивает отличие Project Arena: «Мы все еще используем фрустум-рендеринг, чтобы создать параллакс камеры, но рендерим сразу целый кадр за раз, а не фон и фрустум отдельно. Так материал за пределами фруствума всегда такого же высокого разрешения, как и то, что внутри него. Это единый рейтрейсинг-кадр всей сцены — пиксели не растягиваются. Это выделяет нас среди других подходов».
Повторное использование активов
Еще одно преимущество Project Arena — простая интеграция с традиционными 3D-приложениями.
Николс поясняет:
«Можно взять ассеты из Maya или 3ds Max и использовать их сразу в Project Arena, а потом эти же файлы применять в финальной постпродакшн-обработке. Например, сцена с поездом в фильме — на LED-стене показывался тот же актив, который потом использовали для дополнительных VFX. Значит, художник в посте работает с теми же световыми настройками и моделями. Нет споров, как это должно выглядеть — все совпадает. Это упрощает процесс и выглядит отлично».
Заключение
Фильм Ray Tracing FTW, который можно посмотреть на YouTube, дал Ричарду Крудо повод задуматься о роли оператора в виртуальном продакшне:
«Суть работы оператора не изменилась — нужно уметь освещать правдоподобно и в соответствии с настроением. Основная задача — это управление цветом: стена, сенсор камеры, монитор, постпродакшн — все должно быть выверено. Это требует внимания, тестов и тщательной подготовки. Но если все настроено — ты можешь делать, что угодно. Когда все собрано правильно — это мечта. Виртуального продакшна не нужно бояться».
Рейтрейсинг видит свет так же, как и камера. Project Arena можно применить к чему угодно, где есть цифровой двойник — не только к LED-объемам. Если вы делаете полностью CG-фильм — можно использовать виртуальную камеру, которая ведет себя как настоящая.
