Оборудование и технологии виртуального продакшена

Система виртуального продакшена «StageCraft», о которой сегодня пойдет речь, была разработана компанией «Industrial Light & Magic» в 2018–2019 году. Состоит из нескольких ключевых компонентов:

Светодиодная стена: Большая стена из высококачественных LED-панелей, окружающая съемочную площадку. Она отображает фотореалистичное виртуальное окружение, служит основным фоном, обеспечивает реалистичное интерактивное освещение актеров и физических объектов на площадке.

Движок рендеринга в реальном времени (Helios/Unreal Engine): Программное обеспечение, генерирующее компьютерную графику для отображения на LED-экранах, обеспечивает высококачественное изображение с минимальной задержкой. Изначально ILM использовала свой движок Helios, а позже перешла на модифицированную версию Unreal Engine.

Система точного отслеживания камеры (трекинг): Комплекс датчиков и камер, которые в реальном времени отслеживают точное положение и движение физической кинокамеры на площадке. Это создает иллюзию глубины и реалистичной перспективы при движении камеры, как если бы съемка велась на реальной натуре.

Система управления виртуальным фоном: Позволяет режиссерам, операторам и супервайзерам вносить изменения в виртуальную среду непосредственно на съемочной площадке.

«XOVP» предлагает различную конфигурацию LED-экранов, которые адаптируются под конкретные проекты.

Стена (12×4,5 м / 14×4,5 м / 20×4,5 м). Используется для съемки интервью, новостей, где не требуется глубоко проработанное окружение.

Дуга (сейчас чаще 36 м х 8 м, диаметр ~ 18 м). Изогнутый экран в виде полусферы, такая форма способствует более грубокому иммерсивному виртуальному погружению, обеспечивая правильную перспективу на съемках. Чаще всего используется для съемок фильмов или клипов.

Шайба. Изогнутый экран дуга + потолочный экран (8×4 м / 16×4 м). Потолочный экран позволяет создавать реалистичное освещение и отражения, также используется в кино, клипах и рекламе. Однако часто верхний экран может быть заменен обычными источниками света.

Различные конфигурации с подкатными экранами (3×3 м/ 5×4 м), где в качестве основного может выступать как и экран-дуга, так и обычная стенка. Их можно перемещать по площадке, чтобы имитировать элементы окружения, например, отражения от окон или свет от уличных фонарей.

В зависимости от творческой задачи размер и конфигурация могут быть изменены и адаптированы под определенный проект. К примеру, в фильме «Красный шелк» разработка экранов началась после того, как были обследованы сами декорации вагонов. Оператор-постановщик запросил окружить экранами три вагона, чтобы иметь возможность снимать сцену с разных ракурсов: сверху, снизу, сбоку и по всей длине для определения их точного расположения использовались дальномеры. Заранее с помощью камеры изнутри вагона корректировались границы и размер будущих экранов, чтобы обеспечить оптимальное покрытие. В итоге длина экранов с обеих сторон составила около 60 м.

Еще один интересный сетап экранов был в проекте «Звезды в Сибири», где в какой-то момент было задействовано сразу 4 павильона с тремя экранами:

— 40×6 м, площадь 240 м, главный павильон

— 31×6 м, площадь 186 см, второй павильон

— 9×9 х 9 м, П- образная конфигурация для съемки проездов автобуса

На начальном этапе работы, основываясь на производственной раскадровке, VP-супервайзеры определяют и утверждают размеры экрана и площадь покрытия для общих кадров. Обычно для крупных компаний LED-экраны создаются по индивидуальному заказу, производитель подбирает и настраивает различные ключевые компоненты, такие как: драйверы диодов, декодеры, приемные карты. LED-экран представляет собой модульную конструкцию, состоящую из сегментов обычно размером 50×50 см, которые формируют единое полотно. Сегменты крепятся внутри кабинета (основной строительный блок большого экрана) и легко заменяются в случае необходимости. Хотя размер 50×50 см является самым распространенным стандартным значением (особенно для арендного и сценического оборудования из-за удобства масштабирования и транспортировки), существуют и многие другие размеры кабинетов для различных стационарных установок.

Ключевой характеристикой экрана является межпиксельное расстояние (pixel pitch), которое для кинопроизводства обычно составляет 2.4–2.6 мм. Меньший шаг пикселя обеспечивает более высокое качество изображения, однако не всегда является оптимальным. В виртуальном продакшене не стремятся к минимальному пиксельному шагу, так как это значительно увеличивает вычислительную нагрузку, такой подход актуален для более маленьких экранов. Расстояние (0,7-2 мм) используется в различных новостных трансляциях, закрытых конференц-залах, музеях, там где расстояние от зрителя до экрана минимальное. А большое межпиксельное расстояние, например, 5 мм и более используется для наружной рекламы. Кроме того, этот параметр влияет на яркость: при съемке с близкого расстояния (менее 2 мм) интенсивность свечения может быть недостаточной.

Хотя в июле 2025 года китайской компании «Absen» все же удалось достичь межпиксельного расстояния 1.8 мм на одном проекте, при том что экран был масштабный: 1700 м². Но производство от этого не пострадало: у экрана была точная цветопередача, высокая частота. Маленькое межпиксельное расстояние позволило снимать кадры с расстояния 2 м.

Часто в виртуальном продакшене можно столкнуться с таким явлением как муар. Муар — нежелательный эффект, который возникает при наложении двух регулярных сеток: сетки пикселей на LED-экране и сетки элементов на матрице камеры. Когда две сетки не совпадают, это приводит к появлению ряби или точек, которые видны только на изображении с камеры. Зачастую данный дефект можно увидеть когда фокус камеры переводится на LED-экран, он появляется на отражающих его объектах. Поэтому съемки со стеклянными и зеркальными поверхностями создают некоторые трудности для специалистов по виртуальному продакшену, например, в таких проектах как «Красный шелк», где множество кадров снято через стекло вагона. Для решения этих задач применяются специальные технологические приемы.

Первый шаг для избавления от этого дефекта: мягкий расфокус фона в кадре, он размывает пиксели экрана, делая их неразличимыми для камеры. И второй — дистанция до объекта. Рекомендуется держать актера не ближе 3-х метров от камеры для средних планов и 4-4.5 для общих планов, это позволяет получить достаточную глубину резкости для объекта, не прибегая к слишком глубокому фокусу, который бы сделал пиксели экрана видимыми. Полный фокус можно давать на экране только тогда когда количество «точек», т. е. пикселей на экране гораздо больше, чем в самой матрице.

Для выведения на LED-экран контента в хорошем качестве важна высокая частота его обновления, достигающая порядка 7680 Гц, так как это обеспечивает плавную съёмку и отсутствие артефактов в кадре. Экран также должен соответствовать определённым стандартам цветопередачи, чтобы воспроизводить широкий цветовой охват в формате HDR, так как еще один дефект, возникающий на LED-экранах, это бендинг.

Кроме того, форма и конфигурация LED-стены, как, например, её изогнутость, предоставляют оператору камеры большую свободу перемещения без ущерба для качества изображения. Угол изгиба может быть разным: в одном из самых масштабных и известных проектов виртуального продакшена, сериале «Мандалорец», использовалась стена, которая почти полностью огибала съемочную площадку, образуя угол в 270°.

Наконец, для обеспечения стабильной и высокой производительности, LED-стена должна быть оснащена эффективной системой охлаждения, которая обрабатывает каждую зону, предотвращая перегрев и сохраняя однородность изображения.

Для того, чтобы синхронизировать частоту камеры и экрана нужен специальный синхронизатор Genlock. Он выступает в роли «метронома» для всей съёмочной группы, задавая единый ритм: подаёт сигнал, который заставляет матрицу камеры начинать экспонировать кадр в точности в тот момент, когда LED-экран начинает выводить соответствующий кадр.

Сигнал Genlock отправляется с помощью специализированного оборудования и кабелей, а не по беспроводной сети. От генератора кабели идут к каждому устройству, которое должно быть синхронизировано: к видеокамерам, медиасерверам (компьютерам, управляющим контентом на LED-экране), LED-процессорам.

Чаще всего Genlock — единое специализированное устройство, называемое «генератором синхросигнала», состоящее из высокоточного тактового генератора, электронной схемы обработки сигнала, выходов для видео и аудиосинхросигнала, внешних DIP-переключателей для выбора формата, частоты кадров, типа сигнала и разъема питания. Однако бывают случаи, когда функция генератора синхросигнала может быть интегрирована в более широкую модульную инфраструктуру или выполняться специализированными картами внутри мощных медиасерверов, таких как «Disguise», которые широко используется конкретно в мировой киноиндустрии.

Если его использовать некорректно, можно встретиться с браком по съемке: гостингом. При быстром движении объектов в контенте или быстрой анимации в самой локации (например, вид из окна при движении поезда) предметы в на экране могут двоиться, это возникает из-за рассинхронизации между частотой съемки камеры и частотой обновления экрана. Камера может захватывать часть одного кадра, а затем часть следующего кадра на экране, который еще не успел обновиться. Из-за этой временной разницы на записанном видео движущийся объект выглядит смазанным или двоящимся, так как пиксели на экране не успевают проявиться до того как камера захватит новый кадр.

Один из визуальных приемов, который любят использовать в кино и также хотят видеть в виртуальном продакшене, это рапид. Рапид — ускоренная съемка, которая используется для создания эффекта замедленного движения. Снимают ее с высокой частотой кадров, выше стандартной, чтобы, проигрывая запись с обычной скоростью, можно было получить слоу-моушен.

В виртуальном продакшене для данного эффекта необходимо синхронизировать высокоскоростную камеру с виртуальным контентом. А виртуальный контент в свою очередь тоже должен быть оптимизирован, а это сложная задача, особенно если работать с большим LED — экраном. Чем выше частота кадров на контенте, тем больше вычислительной мощности требуется от рендера в Unreal Engine, но в настоящее время добиться 100 кадров в секунду является возможным, например, «XOVP » это реализовали.

Кроме того, нужны: камера с высокой частотой записи, LED-экран с высокой частотой обновления (240 Гц) и их синхронизация с системой трекинга с помощью технологии Genlock. Стандартный сигнал Genlock обычно работает на частоте 59,94 Гц, но в виртуальном продакшене с помощью специальных инструментов и оборудования можно обеспечить синхронизацию системы и рендеринг контента с высокой частотой, достигая 100–120 кадров в секунду, в камере Red Rapter X, также в «XOVP», уже успешно протестирована полная синхронизация с экраном на частоте 200 кадров/с.

Физический свет в виртуальном продакшене делится на два типа: светодиодные (LED-панели, LED-прожекторы, LED-трубки и ленты), газоразрядные лампы высокой интенсивности (HMI). LED-приборы выбирают за их универсальность, эффективность и удобство (низкое тепловыделение, контроль цвета, малый вес). А HMI-лампы незаменимы, когда требуется максимальная пробивная мощность света.

Основные световые схемы, используемые в виртуальном продакшене: рисующий (основной, самый яркий источник), заполняющий (для смягчения теней от рисующего света), контровой (дает контурное свечение), фоновый (задний план для глубины кадра), декоративный (в самой сцене, например, свечи в кадре). Для смягчения и расширения эффективной площади источника света часто используют прозрачную ткань, софтбоксы или просто увеличение дистанции между объектами и световым источником. Также важной частью светового источника является CRI (показатель того, насколько реалистично источник света воспроизводит цвета) и рекомендуется в виртуальном производстве CRI: ≥95.

Часто потолочный LED-экран заменяет часть освещения, используется в качестве отражения неба или верхних частей здания. Однако на усмотрение съемочной команды его могут заменить другими световыми источниками.

Один из видов светодиодного света, который может быть на потолку и имитировать свет от неба, это Lightman Lightstar LUXED-9 c мощностью 1620W, CRI: ≥95. На потолке развешиваются несколько осветительных приборов, все они управляются по DMX от LumenRadio (беспроводной системой управления освещением, которая имеет возможность поворачивать их на 40°, регулировать интенсивность и температуру). Сами по себе светодиодные источники дают жесткий свет, а такой свет в реальной жизни присутствует, к примеру, при дневном безоблачном небе. Поэтому для сцен, происходящих в условиях пасмурной или облачной погоды, где свет должен быть более мягким и естественным, хлопковая простыня становится важным инструментом для его рассеивания. Мягкий, обволакивающий свет также незаменим для создания кинематографичного кадра.

Часто используют такие источники света как ARRI SkyPanel S60-C / S360-C мощностью 400 W и 1500 W. Относятся к типу мягкого света, который также может подойти для имитации неба, но чаще на площадке является контровым освещением и вешается над экранами. Также есть возможность регулировать интенсивность и температуру. На SkyPanel нередко растровую сетку, например, ARRI DoPchoice SnapGrid, с помощью нее можно контролировать световые переливы, создавать направленный, более сфокусированный, но при этом мягкий свет.

Светодиодный свет Nanlux обладает высокой яркостью, что позволяет имитировать мощный и жесткий солнечный свет, чаще всего используются такие модели как Evoke 5000B и Evoke 2400B. Они поддерживают беспроводное управление через LumenRadio CRMX или другие протоколы для синхронизации света с виртуальным солнцем в реальном времени, также по сравнению с лампами HMI такой источник света потребляет меньше энергии. Часто работает в связке со светоотражателями, например, такими как NL70 от Nanlux, благодаря которым формируются резкие тени и контуры.

В качестве HMI приборов иногда на съемках используют светильники фирмы ARRI M, такие источники мощные, однако имеют большой недостаток в его сильной теплоотдаче: работать приходится в специальных перчатках. Модели M40, M90 и M18 выдают значительно больше люменов на ватт потребляемой мощности, чем большинство LED-аналогов. Например, один M18 может быть ярче, чем десять LED-панелей ARRI SkyPanel S60s.

Одна из самых популярных световых схем, которой часто пользуются в виртуальном продакшене на площадке «XOVP». Однако она всегда адаптируется и изменяется в зависимости от конкретных задач и творческих требований проекта.

Важная часть в освещения виртуальном продакшене это DMX. По-простому DMX — цифровой формат передачи данных, благодаря которому можно управлять световыми источниками на площадке. Но конкретно в виртуальном продакшене DMX играет важную роль, так как может также обеспечить синхронизацию света между реальным и виртуальным окружением с помощью протокола Art Net, хоть и используется не на каждой съемке. Это помогает световым художникам на площадке, так как после настройки прибор работает автоматически.

Такая система часто бывает актуальна для проездов. Если машина проезжает сквозь виртуального туннеля, деревьев, важно отразить внутри нее такое же освещение, какое было бы в реальной жизни.

В Unreal Engine по сторонам локации ставятся камеры таким образом, чтобы они «видели» освещение в тех же местах, что и реальные физические приборы на площадке, они захватывают информацию о цвете и динамике в определенных точках, данный процесс называется пиксельным маппингом. Данные о цвете и яркости преобразуются в пакеты данных DMX и передаются по локальной сети с использованием протокола Art-Net. В Unreal Engine настраивается DMX-контроллер, который транслирует данные Art-Net по сети. Данные Art-Net приходят на специальный конвертер, который преобразовывает их в стандартный сигнал DMX. Конвертер управляет физическими приборами, они мгновенно меняют свою яркость, цветовую температуру и, при необходимости, положение, полностью соответствуя поведению виртуального источника света в Unreal Engine.

К примеру, в данном клипе также использовался DMX. При этом съемка велась на хромакее, без LED-экранов.

Еще один хороший пример, где удалось этого достичь — съемки фильма «Красный шелк». С помощью такого способа можно синхронизировать не только физический свет и виртуальный свет, а еще и тень и свет, например. В этом же фильме в какой-то момент поезд поворачивался и специалисты синхронизировали виртуальную тень от поезда в виртуальной локации и реальный физический свет.

Для точного совмещения реального и виртуального мира применяются камеры, оснащенные трекерами. Популярные модели: Sony Veni, RED Komodo / V-RAPTOR, Arri Alexa LF, и др. Ключевым для виртуального продакшена является выбор камеры, способной точно взаимодействовать с виртуальным миром. Она должна быть оснащена системой трекинга для отслеживания её движений для локации и точного отображения виртуального фона, причем от съемки к съемке может потребоваться индивидуальная настройка с учётом расстояния до светодиодного экрана и угла обзора.

Также важна синхронизация частоты кадров камеры с LED-экраном чтобы избежать визуальных артефактов, точная цветопередача и широкий динамический диапазон для сочетания реальных объектов с виртуальным окружением.

Sony Venice одна из самых популярных камер в мире виртуального продакшена, использовалась в том числе и в фильме «Мандалорец». Самые главные преимущества данной камеры в виртуальном продакшене: устранение муара и других артефактов (она способна синхронизироваться с частотой обновления светодиодных панелей), специальный режим In-Camera VFX (помогает синхронизировать цветопередачу при совмещении реального и виртуального освещения), а также предлагает дополнения Camera and Display Plugin в виде плагинов в Unreal Engine, которые помогают синхронизировать цвет между камерой и LED-экраном. Этот плагин имитирует настройки реальной камеры Sony, симулируя ее цветовую гамму, экспозицию, глубину резкости и формат кадра, а также предоставляя инструменты для предотвращения муара, так как он анализирует расстояние до LED-экрана и шаг пикселя.

Камеры ALEXA LF, SonyVenice 2 и ALEXA 35 считаются одними из самых частоиспользуемых в виртуальном продакшене. Главное отличие от остальных камер, которыми пользуются в виртуальном продакшене в том, что они более компактные. При съёмках с рук или на стабилизаторах лёгкость и сбалансированность ALEXA Mini может быть решающим преимуществом, в «XOVP» часто ее используют.

Существует также одна технология съемки PhantomTrack, реализованная в камерах наподобие RED V-Raptor X. Она отличается от остальных тем, что является усовершенствованным методом съёмки, который использует базовую технологию фрейм-мультиплексинга. Фрейм-мультиплексинг позволяет LED-панелям чередовать несколько разных кадров: виртуальный фон и хромакей. Благодаря синхронизации с LED-панелью, камера, поддерживающая PhantomTrack, может одновременно записывать два отдельных видеопотока, далее на пост-продакшене изображение с хромакеем используется для создания маски, что позволяет отдельно работать с фоном и объектом: выполнять цветокоррекцию, отделять их друг от друга и интегрировать CGI-графику непосредственно в кадр.

Также эта технология позволяет одновременно снимать несколько перспектив с разных камер, их количество зависит от частоты обновления экрана. Например, если экран имеет частоту 240 Гц, а съёмка ведётся со стандартной частотой 60 кадров в секунду, можно использовать до четырёх штук одновременно.

Тем не менее, данная технология пока не нашла широкого применения даже в крупных российских компаниях. Это обусловлено несколькими факторами: на данный момент камеры RED V-Raptor X, поддерживающие фрейм-мультиплексинг, редки (в России существует один экземпляр), и это решение не является популярным среди операторов. Кроме того, для реализации данной технологии требуются специальные LED-экраны, способные работать на определенных, высоких частотах обновления кадров.

Выбор оптики также влияет на перспективу и глубину резкости, что позволяет управлять художественным эффектом и отделять передний план от фона. Например, использование широкой диафрагмы (допустим, f/2.8) приводит к маленькой глубине резкости. Это означает, что в фокусе остается только объект на переднем плане, а виртуальный фон на LED-экране размывается. Этот прием создает иллюзию того, что виртуальный пейзаж реален и находится за актером, ведь так привык видеть глаз, поэтому широкоугольной оптике не нужны какие-то специфические эффекты для качества кадра. А закрытая диафрагма (например, f/11) увеличивает глубину резкости, делая чётким и передний план, и фон. Из-за этого вырастает риск того, что на камере могут быть видны артефакты в виде муара (пикселей LED-экрана), поэтому оператору надо четко отслеживать расстояние между камерой и виртуальным пространством.

Например, в процессе съемок фильма «Дорогая, я больше не перезвоню» применялся широкоформатный объектив Cooke с характерным «мягким» рисунком. Резко рисующая оптика была исключена по решению оператора-постановщика, вероятно, для достижения двойной цели: создания визуального эффекта погружения главного персонажа в альтернативную реальность и маскировки возможных артефактов съемочного процесса.

Также при работе с экспозицией операторы постоянно следят за яркостью виртуальных декораций, используя вспомогательные инструменты (например, экспонометры) для достижения баланса между реальным и виртуальным освещением.

Трекинг в виртуальном продакшене — отслеживание положения и ориентации камеры или объекта в реальном пространстве, чтобы совмещать их движение с 3D-сценой. Система трекинга состоит из датчиков или меток, закрепленных на камере, сенсоров или базовых станций, считывающих их движение, а также обрабатывающего блока, который передаёт данные в игровой движок, обеспечивая корректную перспективу и параллакс.

Метки также делятся на два типа: активные и пассивные, могут пользоваться в любых видах трекинга. Их главное отличие в том, что пассивные выглядят как стикеры, работают, отражая инфракрасный луч от камеры, а активные метки имеют свой уникальный идентификатор.

Но есть одна русская система трекинга (Antilatency), которая использует активные маркеры, но они не имеют идентификатора, так как сами являются инфракрасным светом. От остальных трекингов она отличается тем, что эта модульная конструкция достаточно легкая и не нагревается от инфракрасных диодов, поэтому ее часто используют в виаре и крепят на шлем игрока для отслеживания его действий, в то время как остальные системы трекинга достаточно тяжелые (под 1 кг) и сильно нагреваются. С такой системой «XOVP» снимали пару проектов, например, диджейский сет Басты, но она не сильно удобна в виртуальном продакшене: не видит маркеры дальше 7-ми метров и сложно калибруется.

Существует два вида трекинга: Outside-in и Inside-out. Outside-in трекинг осуществляется внешними устройствами. На площадке устанавливают стационарные камеры/сенсоры, которые смотрят на отслеживаемый объект с метками. Внешние сенсоры считывают положение объекта с помощью инфракрасных лучей и передают в движок, синхронизируя с виртуальным фоном.

Например, OptiTrack: он использует большое количество внешних инфракрасных камер. На съемочной камере и других объектах располагаются пассивные светоотражающие маркеры, которые эти камеры отслеживают, чтобы определить их положение в пространстве. Такой метод трекинга используют редко, так как он тяжело калибруется и предназначен для более масштабных проектов, типа «Мандалорца».

Во время съемок фильма «Мандалорец» на площадке специальные инфракрасные камеры Primeˣ 41 OptiTrack отслеживали местоположение съемочной камеры. На ней были закреплены специальные маркеры для отслеживания, а камеры, расположенные по периметру съемочного павильона, непрерывно считывали положение съемочной камеры по этим маркерам. ПО OptiTrack обрабатывало данные со всех инфракрасных камер в реальном времени, вычисляя ориентацию камеры в 3D-пространстве, далее эти данные передавались и синхронизировались с Unreal Engine.

Vive трекинг — достаточно популярная система трекинга, созданная под виар, но также адаптивная и под виртуальный продакшен и часто используемая на низкобюджетных проектах. ПО Vive трекинга высчитывает точное время, когда каждый маркер трекинга был зафиксирован лазерным лучом и на его основе определяет трехмерное положение и ориентацию объекта в пространстве. Отличается высокой мобильностью и простотой сборки, она занимает считанные минуты, в то время как перекалибровка у сложных систем, таких как Mo-Sys или stYpe может занимать 40 минут и более.

Есть второе решение Vive трекинга, что разработано специально под виртуальный продакшен, Vive Mars. Он берет за основу ту же технологию Lighthouse (базовые станции 2.0 и трекеры 3.0), но добавляет к ней специализированный хаб (Mars Box) и модули Rover, которые адаптируют пространство для съемок кино. Vive Mars интегрирует разъем Genlock, также предусмотрена совместимость с энкодерами объективов, что позволяет точно отслеживать и менять параметры оптики, включая глубину резкости в реальном времени.

Также есть относительно свежая разработка трекинга Viewga от компании «CGF», работает по той же системе что sType и Mo-Sys. Позиционирует себя как уникальный и экономически выгодный аналог дорогим зарубежным решениям из США и Европы, где ее ключевые преимущества: модульность и возможность предоставлять систему как сервис вместе с услугами студии «CGF». Компания также обещает представить новую гибридную систему трекинга, которая позволит полностью или частично отказаться от маркеров, что значительно сократит время установки на площадке. В павильоне «XOVP» с этой системой снимался фильм «Огниво».

Inside-out: система трекинга установлена на камере и смотрит «наружу», отслеживая окружение c помощью меток трекинга, которые располагаются на площадке. То есть после калибровки камера с трекингом запоминает их расположение в пространстве и определяет свое местоположение в локации. Принцип у всех inside-out трекингов одинаковый: устройство «смотрит» и ищет какие-то паттерны, примеры таких трекингов: RedSpy — stYpe, MO-Sys. Метки для MO-Sys и RedSpy обычно вешают на потолок, на пол, на стену. MO-Sys проще калибровать и устанавливается часто проще Stype.

RedSpy — stYpe схож с системой Mo-Sys, однако имеет свои отличия. На потолок также клеятся специальные метки, а небольшое устройство RedSpy крепится к самой съёмочной камере. Внутри этого сенсора находится инфракрасная камера и набор светодиодов, которые освещают потолок. RedSpy также использует и инерциальные измерительные блоки (IMU) — гироскоп и акселерометр, что позволяет системе работать даже при резких движениях. Алгоритмы RedSpy анализируют изображение маркеров, полученное с инфракрасной камеры, и данные от IMU для определения ориентации и позиции камеры, далее данные передаются в Unreal Engine.

Также есть еще одна система трекинга: REtracker. Главное ее отличие в том, что эта система работает на безмаркерной технологии Vislam, которая позволяет трекеру самостоятельно создавать карту окружения и определять свое положение и ориентацию в пространстве. Но по сравнению с системами вроде OptiTrack, StarTracker или RedSpy, которые используют специализированную инфраструктуру, REtracker может иметь более низкую точность, что не всегда подходит для высокобюджетных проектов.

Также многие большие компании виртуального продакшена используют не только готовую систему трекинга, а и свой с чуть модифицированным решением расчета Nodal offset (параметр калибровки, который обеспечивает точное совмещение виртуального и реального миров), как и компания «XOVP».

Интересный кейс трекинга фонарика был на проекте «Прометей» в 2024 году. Актер должен был идти вглубь пещеры и освещать дорогу фонарем, когда он светил в экран, то на виртуальной локации автоматически рисовалось продолжение луча света. Трекер был прикреплен к фонарю, благодаря чему в виртуальном пространстве правильно отслеживалось местонахождение фонаря. Также создали фейковую тень, которую отбрасывал актер, стоящий перед локацией.

Для создания впечатляющих виртуальных монстров в популярном сериале от «Нетфликс» «Милый дом» использовался трекинг движения и актера, и камеры.

Чтобы управлять действиями виртуальных монстров использовались костюмы для захвата движения (Xsens suit). Актёр надевал такой костюм и на съемках играл роль монстра, пока его движения в реальном времени передавались на виртуальную модель.

В виртуальном продакшене ключевым понятием является фрустум — пирамида видимости, определяющая область виртуального пространства, доступную виртуальной камере. Его параметры соответствуют характеристикам реальной трекинг-камеры, что обеспечивает точное совпадение перспектив.

Для получения реалистичных отражений на физических объектах иногда используется рендеринг геометрии за пределами фрустума, чтобы в отражениях отображались невидимые напрямую части сцены. Однако студии могут позволить применять этот метод редко (например, «XOVP»), так как в большинстве случаев фон анимируется под движение камеры или объекта, и небольшие искажения отражений, возникающие из-за ограничения рендеринга фрустумом незаметны для зрителя.

В виртуальном павильоне применяется поворотный круг — большая вращающаяся платформа, которая позволяет крутить локацию для съемок. Например, в фильме «Звезды в Сибири» он используется для съемки кадров «восьмерки», чтобы не тратить время на перемещение актеров и декораций. Площадь поворотного круга могут дополнять в зависимости от сетапа (например, для того, чтобы положить декорации в промежутке между ним и экраном).

Система Motion Control также может использоваться в виртуальном продакшене. Это класс компьютеризированных, программируемых систем, которые автоматизируют и управляют движением кинокамеры по заранее заданной траектории с высокой степенью точности и повторяемости. Например, таким образом: роботизированный манипулятор имеет свою внутреннюю систему координат и датчики, которые определяют его положение в пространстве. Эти данные забираются из контроллера робота и передаются через протоколы в движок Unreal Engine и перспектива виртуальной локации меняется в реальном времени.

Цветовая калибровка в виртуальном продакшене помогает добиться реалистичного и бесшовного объединения реального и виртуального миров в области цвета. С ее помощью достигается синхронизация между LED-экраном и сенсором камеры, что гарантирует точное соответствие оттенков и яркости виртуального окружения с реальными объектами на съемочной площадке. Системы цветового управления ACES (Academy Color Encoding System) и OCIO (Open Color IO) решают главную задачу — обеспечить одинаковое, правильное и согласованное отображение цветов на всех этапах рабочего процесса.

ACES — это международный стандарт кодирования цвета, разработанный Американской академией кинематографических искусств и наук. Это полная, универсальная система, которая охватывает весь спектр цветов, видимых человеческим глазом, и даже больше.

OCIO — это открытый набор инструментов (библиотека и файлы конфигурации), который реализует цветовое управление в различных программах.

LUT-файлы используются в качестве строительных блоков внутри конфигурации OCIO. Например, чтобы перевести цвет из пространства камеры в пространство ACES или из ACES в пространство монитора, система OCIO использует конкретные LUT-файлы для выполнения этой трансформации.

В виртуальном продакшене пользуются такими компаниями-производителями оборудования и программного обеспечения как Disguise и ARRI Color Management.

1. Препродакшн. Определение единого цветового пространства для всего проекта (например, ACES), которое будет служить общим языком для всех устройств и программного обеспечения.

2. Настройка LED-экрана и процессора. Настройка оборудования: устанавливается белая точка (самый яркий и нейтральный цвет), регулируются параметры яркости/контраста/гаммы так, чтобы камера могла корректно интегрировать фон и передний план, происходит синхронизация всех систем с помощью Genlock.

3. Калибровка камеры и LED-экрана. На LED-экран выводится тестовый контент и снимается камерой. На камере отключается автобаланс белого, настраивается в ручную. Анализ отклика камеры (цвет, яркость, тон) позволяет создать специальную коррекцию цветовой матрицы на ней — таблицу преобразования цветов. Для автоматизации этого процесса используются специализированные инструменты, например, плагин от ARRI или автоматизированные системы от Disguise, которые генерируют калибровочный файл.

4. Верификация (проверка) калибровки. После создания калибровочного файла производится его проверка. Специализированное программное обеспечение выводит на экран эталонные тестовые цвета и автоматически анализирует их соответствие тому, что фиксирует камера. Если отклонения в цвете или яркости превышают допустимые пределы, процесс калибровки повторяется до достижения необходимой точности.

5. Интеграция контента. Полученные данные калибровки загружаются в Unreal Engine. Виртуальный контент задается в правильном цветовом пространстве, вывод на LED-экран происходит уже с учетом необходимой коррекции. Здесь важна также экспозиция и яркость между экраном и камерой: если экран слишком яркий, то передний план будет недоэкспонирован, если слишком тусклый, то фон будет выглядеть плоско. Нужно проконтролировать контраст и динамический диапазон: гамма камеры должна сочетаться с яркостью экрана.

В продукте Disguise есть инструмент Colour Calibration Tool, приложение, которое запускает работу калибровки между камерой и экраном. Однако оборудование и ПО Disguise не получили широкого распространения в России из-за высокой стоимости и сложностей с поставками.

Сначала программа автоматически измеряет задержку сигнала, чтобы видео на экране показывалось синхронно с остальным оборудованием, затем для точной настройки цвета система показывает на экране набор тестовых картинок (цветовых паттернов), а камера их снимает. В настройках указывается, сколько кадров нужно заснять для каждого цвета, чтобы камера успела зафиксировать все цветовые нюансы. Вся эта автоматизированная процедура позволяет компьютеру понять, как камера «видит» цвета на экране, и внести необходимые поправки для идеальной цветопередачи и синхронизации.

Далее система проводит автоматическую настройку, чтобы «научить» камеру правильно видеть цвета на экране. Она последовательно показывает на LED-экране весь набор доступных цветов, а камера записывает, как она их воспринимает. Затем специальная программа сравнивает, как цвета выглядят на самом деле, с тем, какими они должны быть в идеале. На основе этой разницы вычисляется и создается «таблица поправок» (3D LUT), которая автоматически корректирует видеосигнал, чтобы цвета на экране, которые видит камера, точно соответствовали задуманным. Весь этот процесс должен проходить в неизменных условиях, без движения камеры и без смены освещения. После завершения калибровки в специальном разделе программа показывает готовые файлы с настройками цвета (LUT-файлы).

На компьютере запускается ПО ARRI «LED Calibration software», камера и LED-экран также подключены к данной системе. ПО выводит серию тестовых цветных паттернов на LED‑экран. Камера их снимает, ПО анализирует, что она видит (какие значения цвета, тона и яркости получаются). Сравнивает полученные данные с целевым пространством и вычисляет трансформацию. После анализа система генерирует файл калибровки: LUT (файл с инструкциями по изменению цвета) и OCIO конфигурацию (систему, позволяющую использовать эти инструкции).

Полученный файл (LUT/OCIO) нужно загрузить либо в систему выдачи изображения на LED (процессор экрана), либо в движок Unreal Engine с включенным плагином ARRI LED Calibration для Unreal Engine, чтобы движок или экран вывели контент с корректированным цветом.

1. Отсутствие необходимости коррекции дисторсии на экране.

Нет необходимости специально корректировать дисторсию (оптическое искажение, присущее объективу) изображения, выводимого на LED-экран, так как физическая линза камеры одинаково искажает как реальный объект на переднем плане, так и виртуальный фон на экране и изображение остается цельным и реалистичным для зрителя. Дисторсия нужна только на съемках в виртуальном продакшене где LED-экраны заменены хромакеем (зеленым фоном), который в реальном времени заменяется на виртуальную локацию.

2. Значение калибровки фокусных расстояний и глубины резкости.

Ключевым аспектом является калибровка, связанная с фокусным расстоянием (зумом) и дистанцией фокусировки. Чтобы расфокус на виртуальном фоне выглядел естественно и соответствовал расфокусу реального объектива, данные о фокусном расстоянии и дистанции фокусировки камеры должны в реальном времени передаваться в программное обеспечение. Unreal Engine использует эти данные для симуляции соответствующей глубины резкости в виртуальном контенте. Эта техника активно применялась, например, при съемках сериала «Полдень» компании «XOVP». По-хорошему, такая детальная калибровка необходима для достижения наилучшего качества изображения в любом крупном проекте. Однако внедрение полного цикла калибровки не всегда возможно из-за ограничений по времени и бюджету.

Процесс получения этих данных и их калибровки выглядит следующим образом: энкодеры представляют собой небольшие устройства с зубчатыми шестернями. Эти шестерни крепятся к кольцам управления объективом — фокусу и зуму. Когда оператор вращает кольцо фокуса или зума на реальном объективе, шестеренка энкодера вращается вместе с ним, сенсоры внутри энкодера измеряют это вращение. Полученные данные о положении колец передаются в систему трекинга камеры, в программное обеспечение или Unreal Engine.

Сами по себе данные с энкодеров — это просто относительные значения вращения. И для того, чтобы виртуальная камера установила связь с реальной камерой, делается калибровка объектива.

Специалист на площадке вручную проходит весь диапазон настроек объектива: устанавливает фокус и зум на различные, заранее определенные дистанции и позиции. Калибруются все важные диапазоны, от минимальной дистанции фокусировки (например, полметра) до «бесконечности» (фокус на дальних объектах). В каждой точке калибровки система записывает физическое расстояние до объекта, соответствующее ему значение энкодера (положение кольца), фокусное расстояние объектива в данный момент.

На основе этих данных программное обеспечение строит математическую модель или кривую (3D-поверхность) для данного конкретного объектива. Эта модель позволяет системе интерполировать (вычислять промежуточные значения) для любого положения колец объектива. В результате виртуальная камера «понимает», какое именно фокусное расстояние и какая дистанция фокусировки установлены на реальной линзе в любой момент времени, что позволяет Unreal Engine точно воспроизводить глубину резкости, расфокус и перспективу виртуального контента.