Unreal Engine vs Viz Engine en un plató virtual de televisión

¿Unreal Engine o Viz Engine para el plató virtual de un canal de televisión? En los directos en los que trabajo usamos los dos, a la vez y sobre la misma imagen. No compiten: cada uno hace un trabajo distinto, y lo interesante es cómo se reparten la tarea.

Unreal Engine y Viz Engine en un plató virtual de televisión

Cuando llegó Unreal, Viz ya era el sistema gráfico del canal. Los rótulos, los datos, las plantillas que los operadores usan cada día: todo vivía ahí. Nadie iba a sustituir eso, así que Unreal se conectó a Viz.

En la práctica funciona así. Mo-Sys hace el tracking de las cámaras del plató, y esos datos llegan a Unreal a través de Viz, con el VizrtPawn de Vizrt, de modo que la cámara virtual siempre se mueve con la real. Unreal renderiza el 3D y Viz lo compone sobre la señal de cámara antes de que salga a antena. Trabajamos en HD a 50 fps, así que Unreal tiene 20 milisegundos para renderizar cada fotograma. Es una cifra que sale una y otra vez en este trabajo.

(Si quieres el contexto general de cómo han llegado los motores de videojuegos a la tele, lo cuento en Unreal Engine en televisión en directo.)

Por qué usar Unreal Engine en antena, y no solo Viz

Viz también renderiza 3D, así que la pregunta tiene sentido. La respuesta es todo lo que Unreal trae consigo por ser un motor de videojuegos.

Con Lumen, la luz rebota por el plató virtual en tiempo real, y un elemento de AR queda iluminado igual que todo lo que lo rodea, sin volver a calcular la iluminación en cada noticia. Niagara nos da lluvia, chispas, polvo o una simulación que explica lo que ha pasado mejor que cualquier rótulo. Con foliage podemos llenar un terreno de árboles y rocas y convertir un plató extendido en un exterior entero. Y los Blueprints nos permiten darle comportamiento a la escena: las dos herramientas de las que hablo más abajo están hechas con ellos.

Viz está hecho para el grafismo de televisión, y lo hace muy bien. Pero solo con Viz no se conseguiría el mismo resultado visual.

Llevar el 3D a Unreal le da al canal ese acabado sin tocar nada de lo que ya funciona en Viz.

Qué sale a antena desde Unreal

No hay un formato fijo. Depende de la noticia del día. A veces es realidad aumentada dentro del plató real, objetos o recreaciones alrededor de los que se mueve el presentador, como la pieza de Tadeo Jones en AR. Otras veces es un plató extendido, donde el estudio continúa más allá de sus paredes. Y otras, una pieza interactiva alimentada por datos: en las noches electorales, el 3D lee los resultados de una memoria compartida que también usa el resto del grafismo, así que Unreal y Viz muestran los mismos números en el mismo momento.

Los rótulos y las tablas de datos se quedan en Viz. Unreal puede pintar texto, y Epic está empujando en esa dirección con Motion Design, pero Viz tiene muchas más herramientas para eso y los operadores ya las conocen.

Controlar Unreal Engine en directo desde Viz Arc

En un directo, el render es solo la mitad del trabajo. La otra mitad es poder controlarlo en el momento justo. Nosotros manejamos Unreal durante la emisión desde Viz Arc, y dos de las herramientas que disparamos desde ahí no venían de serie: las construí yo con Blueprints.

La primera es la cámara virtual. Permite que el plano salga del plató físico y recorra el mundo 3D que lo rodea. Se separa de la cámara real con una transición, hace el recorrido que hemos preparado en Sequencer para esa noticia y después vuelve y se engancha otra vez al tracking de la cámara real. Tiene un límite con el que hemos aprendido a vivir: no puede apuntar al composite mesh, la superficie que lleva la imagen de la cámara real, porque ahí es donde se pierde el tracking.

La segunda es el switch de cámaras. El plató tiene varias cámaras que entran por canales distintos, y el switch nos deja cambiar cuál sale a antena y para cuál se renderiza la AR. Sin él, la AR se quedaría pegada a la cámara equivocada después de un corte.

Volumétricos a 20 milisegundos por fotograma

Si hay algo con lo que hemos aprendido a contenernos, son los volumétricos. Los volúmenes VDB y los materiales volumétricos se veían perfectos en Unreal y luego desaparecían sobre el vídeo real cuando Viz componía la imagen. Según la documentación de Vizrt, los efectos que dependen de la transparencia no están soportados cuando la composición la hace Viz. Las versiones más nuevas de su plugin pueden componer dentro de Unreal, pero nosotros seguimos en Unreal Engine 5.3.

Además, son caros. Los volumétricos se comen buena parte de esos 20 milisegundos, y en antena un fotograma perdido es mucho peor que un efecto más sencillo. Hay herramientas como ZibraVDB que comprimen muchísimo los VDB y además resuelven el problema de la composición. No llegamos a incorporarla, pero es lo primero que miraría para humo o fuego en una pieza de AR en directo.

Por eso también importan tanto las versiones. Un canal en directo no actualiza Unreal cuando Epic saca una versión nueva. Lo actualiza cuando toda la cadena la soporta.

Brainstorm, Pixotope y Zero Density lo hacen de otra forma

Vizrt no es la única manera de llevar Unreal a antena. Brainstorm funciona de forma parecida, con su propio motor para la composición y el grafismo y Unreal para el entorno. Pixotope y Zero Density construyen sobre el propio Unreal y están llevando también el grafismo dentro. Qué enfoque tiene sentido depende menos de la calidad del render que de lo que el canal ya tiene instalado y de quién lo va a operar.

Antes de conectar Unreal a Viz

Si alguien me pidiera un consejo antes de hacerlo por primera vez, le diría que entienda muy bien cómo está montado el sistema antes de intentar que nada funcione. Cuántos engines hay, cómo están cableados, qué máquina manda qué a cuál. Y que se tome en serio la integración con Viz Arc, porque es lo que convierte un render en algo que de verdad puedes manejar en directo.

Nosotros no llegamos ahí con un manual. Llegamos a base de mucha prueba y error, hasta que todo aguantó en antena. Esa parte no se ve en pantalla, y es la mayor parte del trabajo de un technical artist en broadcast.

¿Tu canal va a conectar Unreal Engine a Viz, o necesitas AR y cámara virtual para un directo? Estoy disponible para proyectos freelance. Escríbeme y cuéntame cómo está cableado tu sistema.