OpenTrackIO — это бесплатный протокол с открытым исходным кодом, разработанный группой SMPTE RiS-OSVP, которая стремится улучшить взаимодействие в виртуальном продакшене и за его пределами.
Виртуальный продакшн (VP) охватывает ряд методов, которые используют системы отслеживания камеры и объектива для создания визуальных эффектов в реальном времени (VFX) в движке рендеринга. VP охватывает:
- Дополненная реальность (AR),
- Хромакей (как для прямой трансляции, так и для предварительной визуализации эффектов на съемочной площадке),
- Визуальные эффекты в камере (ICVFX), расширенная реальность (XR для расширений светодиодного набора) и другие комбинации смешанной реальности (MR).
В примерах виртуального продакшена, представленных ниже, система отслеживания камеры отправляет позицию камеры, моделирование объектива и другие метаданные в движок рендеринга на каждом кадре.
В настройках дополненной реальности (AR) это позволяет движку рендеринга генерировать виртуальные объекты из правильного положения камеры и с правильными искажениями объектива, чтобы соответствовать реальному изображению с камеры. В примере с визуальным эффектом в камере (ICVFX) данные отслеживания используются для рендеринга правильной перспективы на светодиодной стене, чтобы создать иллюзию глубины и с чувствительным параллаксом.
В виртуальном продакшене критически важно, чтобы захват камеры, данные отслеживания и данные объектива были синхронизированы в пространстве и времени для точного воспроизведения визуального эффекта. Образец протокола OpenTrackIO содержит все необходимые данные в соответствующих форматах для достижения этого.
Протокол OpenTrackIO
Эта документация предназначена для тех, кто производит и потребляет данные отслеживания. Компоненты, которые генерируют и передают данные отслеживания, называются производителями. Компоненты, которые получают и действуют на основе данных отслеживания, называются потребителями. Несколько производителей и потребителей могут одновременно сосуществовать в одной сети, а производитель может отправлять несколько одновременных потоков данных. Также может быть несколько потребителей данных одного производителя. В приведенном выше примере AR система отслеживания камеры является производителем, а движок рендеринга — потребителем.
OpenTrackIO определяет схему образцов JSON, содержащих широкий спектр метаданных об устройстве, его преобразовании(ях), связанной камере и объективе.
OpenTrackIO использует правостороннюю систему координат, где ось Z указывает вверх, а положительные вращения совершаются по часовой стрелке вокруг оси. Y указывает в направлении камеры вперед (когда панорамирование, наклон и вращение равны нулю). Например, в объеме светодиодов Y будет указывать на центр светодиодной стены, а X будет указывать на правую сторону камеры.
OpenTrackIO использует математическую модель линз OpenLensIO для практического применения искажения сферической линзы в Virtual Production.
IP-адресация
Рекомендуется, чтобы производители OpenTrackIO использовали многоадресную адресацию для доставки сообщений потребителям, чтобы гарантировать совместимость и простоту настройки. Использование одноадресной адресации также разрешено, но подробности реализации в настоящее время выходят за рамки этого документа.
Производители должны передавать многоадресные сообщения в соответствии со схемой адресации.
Потребители должны обрабатывать идентичные многоадресные сообщения согласованно. Если потребитель получает одно и то же сообщение несколько раз, он должен обрабатывать только один экземпляр.
OpenTrackIO — это однонаправленный протокол. Однако, если Потребитель получает сообщение, требующее ответа, ответ должен быть отправлен через одноадресную рассылку на исходный адрес и порт Производителя, с которого пришло сообщение. Рекомендации о том, когда и как устройства должны отвечать, выходят за рамки текущей версии OpenTrackIO, но могут быть включены в будущую версию.
Будущие дополнения
В будущем RIS намерен добавить поддержку:
- Улучшенные спецификации сеансов и транспорта, а также справочные примеры.
- Интеграция SMPTE 2110 -41 и -42.
- Математика анаморфотной линзы и улучшенная модель виньетирования (в OpenLensIO).
- Обнаружение устройства.
При подготовке данного материала использовался источник https://www.opentrackio.org/
