Мы расскажем о том, как Роберто Шефер, ASC, AIC, оператор, номинированный на премию BAFTA, исследует Gaussian Splatting с помощью Xgrids и Jetset.
Роберто Шефер широко известен своим визуальным повествованием в таких известных фильмах, как «Волшебная страна», «Квант милосердия», «Бегущий за ветром» и «Бал монстров».
Имея за плечами десятилетия опыта работы за камерой, Шефер помог определить визуальный тон как драм, так и боевиков. Но когда он недавно экспериментировал со сканером LixelKity K1 от Xgrids — компактным устройством, предназначенным для захвата реальных мест в качестве интерактивных 3D-сред, — это была смелая эволюция его кинематографического инструментария.
«Все началось на NAB 2024, когда я встретился с командой Lightcraft и увидел их программное обеспечение Jetset», — вспоминает Шефер. — «Это мобильное приложение, которое позволяет быстро добавлять элементы и окружение CG в отснятый материал. Я начал играть с ним и понял, что это может быть полезным инструментом планирования для короткометражного фильма, над которым я работал в маленьком городке на вершине холма в Италии».
Это случайное открытие быстро превратилось в возможность практического тестирования.
«Я связался с [основателем Lightcraft] Эллиотом Маком, который предложил мне провести виртуальную разведку локаций с использованием Xgrids LixelKity K1 для создания фотореалистичных сред с помощью Gaussian Splatting для Jetset», — продолжает Шефер. — «Идея заключалась в том, что я, как оператор-постановщик, должен был провести собственное сканирование, потому что я знаю, что надо искать».
Как работают сканеры Xgrids?
Gaussian Splatting — сравнительно недавний метод захвата и отображения трехмерных сред, которые выглядят фотографически, но могут быть исследованы в реальном времени, как игровой мир. Вместо того чтобы строить подробные полигональные модели, этот метод использует тысячи перекрывающихся, полупрозрачных точек изображения, каждая из которых хранит цвет и глубину. Результатом является мягкая, но реалистичная среда с естественным параллаксом и пространственной глубиной.
Про Gaussian Splatting мы также писали тут.
Сканер K1 создает эти пятна, объединяя несколько камер и датчиков в портативное устройство. Устройство записывает синхронизированные глубинные и RGB-изображения, когда пользователь проходит через пространство. После обработки полученное сканирование можно использовать для предварительной визуализации, виртуального продакшена или даже повторных съемок — без необходимости возвращаться в исходную реальную локацию.
Захват Италии для Jetset
Роберто Шефер выбрал живописный городок на вершине холма Сутри, к северу от Рима, где он ранее снимал музыкальный клип Белинды Карлайл в 1990-х годах. Вооружившись K1, который прикрепляет смартфон к компактной многокамерной матрице, он просканировал целые площади, церкви, переулки и интерьеры, тщательно следуя рекомендуемому протоколу захвата устройства.
«Вы держите K1 под углом 15 градусов к нему, лицом к вам, и ходите зигзагами», — объясняет он. — «Я шел медленно, потому что обычно хожу быстро, как житель Нью-Йорка. Приложение также показывает вам зеленую пунктирную линию везде, где вы уже отсканировали».
Сфотографировав части города, Роберто Шефер загрузил необработанные данные через Wi-Fi в местном кафе в Сутри.
«Затем Эллиот вернул обработанные пятна, чтобы я мог загрузить их в Jetset для просмотра», — говорит он. — «Качество изображения хорошее, и я мог снимать превизы с актерами где угодно, но помещать их в реальную локацию с точностью до 2 см, и все это без хромакея».
В Риме Роберто Шефер провел дополнительные сканирования вокруг Колизея и станций метро, чтобы протестировать более широкий спектр городской среды.
NAB и будущие приложения
На выставке NAB 2025 Роберто Шефер представил свой личный опыт. Он провел участников через процесс сканирования в Италии, продемонстрировал Gaussian Splatting высокого разрешения и показал, как их можно использовать, подчеркнув роль оператора в продвижении новых рабочих процессов виртуального продакшена с нуля.
Роберто Шефер видит практическое применение Gaussian Splatting во всем спектре кинопроизводства. Технология может упростить раннюю разведку локаций, сократить ненужные посещения объектов и позволить руководителям отделов сотрудничать в общей виртуальной среде. Она также открывает новые возможности для предварительной визуализации, планирования съемок и повторных съемок, особенно когда доступ к исходным локациям ограничен.
«Jetset — невероятный инструмент, и я им очень доволен», — отмечает Роберто Шефер.
