Современные технологии производства контента, особенно видео, быстро развиваются и часто рождаются новые решения. На смену рисованным фонам и декорациям пришли проекторы, а их сменили хромакеи и огромные LED экраны.
Одно из самых молодых и активно развивающихся направлений в создании видео — Virtual production. Это не одно, а ряд направлений видеопроизводства. Сюда относятся:
- пре- и пост- визуализация,
- виртуальный скаутинг,
- съемка с использованием виртуальных камер.
Разберемся, какие могут быть решения в области съемки с использованием виртуальных камер, и чем они могут быть полезны для создателей контента.
Virtual production — это быстрый продакшн
К примеру, при обычной съемке с применением хромакея графика дорисовывается в моменте пост-продакшна, а при использовании Virtual production финальный этап уже виден в моменте съемки, что экономит время и ресурсы. Это касается съемок в дополненной реальности (AR) и на фоне LED экранов, когда материал уже готов к трансляции или записи.
Важно помнить, что не все видеосъемки относятся к Virtual production, как, например, съемки проездов автомобилей на фоне LED экранов (когда выводится заранее отснятое видео) или же съемки на хромакее (с последующей заменой зеленого фона статичной картинкой или готовым видеороликом). Это востребованные направления видеопроизводства, в которых есть элементы Virtual production, но это не Virtual production. Тоже касается и заезженного термина — XR. Зачастую его добавляют к любым определениям из области видеопроизводства: XR студия, XR съемка, XR контент.
Virtual production — это про виртуальное окружение и динамические камеры, про совмещение физического и виртуального, про скорость производства видеоконтента.
Для реализации технологий Virtual production съемочное оборудование и решения из сферы виртуальной реальности объединяются в единую систему, что позволяет не только создавать в кадре нужный фон или добавлять дополнительные объекты, но и сделать этот кадр максимально реалистичным.
Технологии
Так как задача Virtual production — это совместить реальные объекты с элементами виртуального пространства, то эффект параллакса распространяется и на виртуальное окружение — его геометрия должна быть согласована с физическим миром. Для этого виртуальное пространство снимается виртуальной камерой, параметры которой в каждый момент времени идентичны и синхронизированы с параметрами физической. Кадры с физической и виртуальной камер объединяются, и мы получаем финальную картинку.
Если виртуальная камера будет снимать виртуальное окружение с другого ракурса, с иным углом обзора, если движение виртуальной камеры не будет в точности соответствовать движению физической, реалистичность картинки пропадет и мы увидим «склейку» двух пространств, виртуального и физического.
Ниже опишем технологии, необходимые для производства видеоконтента в контексте Virtual production.
Оборудование
Сюда относятся видеокамеры, штативы, слайдеры, свет, звук, коммутация и т.п. С технической точки зрения к продакшн оборудованию, в частности к видеокамерам, только одно требование — возможность синхронизации с внешним источником синхроимпульсов.
Поскольку Virtual production — достаточно новое направление видеопроизводства, то профессионального оборудования и программного обеспечения для решения задач в этой сфере пока немного. Так, в частности, в мире насчитывается всего несколько производителей профессиональных систем трекинга камер (MoSys, Stype, Ncam, и ряд других), ограниченное количество моделей видеокарт, способных обеспечить рендеринг виртуальных сцен в высоком качестве и с необходимым количеством кадров в секунду (RTX 4090,RTX A6000, RTX A6000 Ada), и некоторое количество пригодных для Virtual production 3D-движков и надстроек над ними (Unreal Engine 5.5, Pixotope, Aximmetry, Unity и др.).
Система трекинга камеры
Решение, которое позволяет получать положение и ориентацию камеры в пространстве, значения зума и фокуса, возможно значения диафрагмы и другие параметры камеры. На рынке существуют профессиональные системы трекинга камеры, полупрофессиональные системы трекинга (объектов), которые возможно приспособить для решения требуемой задачи (начиная с систем захвата движений, заканчивая роботами-манипуляторами), и системы начального уровня. Класс системы определяется ее возможностями (размер области трекинга, точность позиционирования и т.д.) и ограничениями (способ и сложность монтажа, условия эксплуатации и т.д.).
Система калибровки виртуальной камеры
Как следует из описания виртуальной камеры, ее параметры должны быть синхронизированы с параметрами физической. К таким параметрам относятся: искривление линзы, положение и ориентация камеры в пространстве, угол обзора, положение плоскости фокусировки и т.д. Кроме того, эти параметры зависят от значений зума и фокуса физической камеры. Отличие параметров или их рассинхронизация ведут к несоответствию рендера VR и кадра, снятого физической камерой, а значит, как было сказано выше, реалистичность картинки пропадет и мы увидим совмещение двух пространств, физического и виртуального. Первоочередная задача системы калибровки — создание так называемых lens-файлов, т.е. файлов с данными, которые описывают изменения параметров виртуальной камеры в зависимости от положения системы трекинга, значений зума и фокуса физической камеры.
Рендер-станция
Упрощенно рендер-станция — это компьютер с мощным процессором, производительной видеокартой и картой видеозахвата, с установленным программным обеспечением, обеспечивающим рендеринг виртуального окружения в режиме реального времени. Рендер-станция, принимая данные от видеокамеры, системы трекинга, устройства синхронизации и используя данные системы калибровки виртуальной камеры, генерирует рендеры виртуального окружения, объединяет кадры, снятые физической и виртуальной камерами.
Устройство синхронизации
Другими словами — генератор синхросигналов, синхроимпульсов. Устройство, позволяющее тактировать необходимые компоненты тракта Virtual production: видеокамеру, систему трекинга, рендер станцию. Отсутствие такого генератора приведет к рассинхронизации параметров физической и виртуальной камер и, как следствие, мы увидим «склейку» физического и виртуального пространств.
Хромакей фон
Для качественного кеинга (замены хромакей фона на VR рендер) необходимо современное оборудование и программное обеспечение, правильно подобранное освещение, специализированное покрытие пола и стен хромакей студии.
LED экраны
Параметров, по которым можно оценить возможность применения LED экранов для Virtual production, достаточно много: начиная с шага пикселя и угла обзора (с допустимым уровнем изменения цвета отображаемого изображения), заканчивая «глубиной черного». Помимо самих экранов, важной составляющей системы является видеопроцессор — оборудование, которое способно принимать сигнал от рендер станции и отправлять его на модули LED экранов. Минимальное требование к видеопроцессору — возможность синхронизации с внешним источником синхросигналов.
Виртуальное окружение
Использование технологий Virtual production существенно упрощает работу режиссеров, операторов и актеров, позволяя быстро принимать решения на съемочной площадке относительно модификации виртуальных декораций, визуальных эффектов и анимации. Применение современного ПО, продвинутых игровых 3D-движков, мощных рендер станций позволяют получать рендеринг виртуального окружения в высоком качестве и с необходимым количеством кадров в секунду.
Использование LED экранов для отображения элементов виртуального пространства дает возможность получить реалистичные динамические отражения и правильный цветовой рисунок на физических объектах, а также избавляет от традиционной, при съемке на хромакее, операции кеинга. При этом съемка на хромакее тоже имеет свои преимущества — возможность проведения одновременной многокамерной съемки, отсутствие ограничения в фокусировке и зумировании, минимальная сложность сведения VR фона с XR «дорисовкой».
Эффективность и экономия
Использование технологий Virtual production обеспечивает значительное разнообразие видеоконтента, сокращение расходов на декорации, трансфер оборудования и команды до места съемок, сокращение расходов на продакшн и постпродакшн. Использование профессиональных систем трекинга в совокупности с качественной калибровой виртуальных камер позволяет «достраивать» виртуальное окружение за пределами LED экранов или хромакей студии, другими словами — позволяет снимать видео в XR пространстве, что существенно удешевляет производство контента, за счет использования меньших площадей LED экранов в небольших студиях. Современные технологические достижения в индустрии Virtual production помогают создателям видеоконтента повышать свою операционную эффективность с минимальным физическим присутствием технических специалистов на площадке.
Ограничения
Коротко перечислим некоторые из них.
- LED экраны: эффект муара, невозможность корректной работы фокуса в XR пространстве, высокая технологическая сложность проведения одновременной многокамерной съемки.
- Хромакей: высокая технологическая сложность качественного кеинга в режиме реального времени, минимальные возможности обеспечения динамического освещения физических объектов.
- Железо и софт: практическая необходимость использования современного, дорогостоящего оборудования и ПО, способного обеспечить рендеринг виртуальных сцен в высоком качестве и с необходимым количеством кадров в секунду.
- Люди: недостаток специалистов со знанием и опытом работы со специализированным оборудованием и программным обеспечением, малый опыт работы с технологиями Virtual production и, как следствие, общее недоверие и скептицизм со стороны режиссеров, операторов и других участников съемочного процесса.
