Deep Learning en Star Wars: que la computación te acompañe

Hoy vamos a hablar de cómo la Inteligencia Artificial y, en concreto el Deep Learning, se están infiltrando en los rodajes de películas y series, consiguiendo resultados en efectos especiales mejores que los que ningún estudio había conseguido hasta ahora. ¿Y qué mejor que una de las mejores sagas de ciencia ficción, como Star Wars, para demostrarlo? Parafraseando al maestro Yoda: «Lee el post o no lo leas, pero no lo “leas en diagonal”».

Rejuvenecimiento facial a través de Deepfake

Desde que se estrenó «Una Nueva Esperanza» en 1977 hasta ahora se han hecho multitud de películas y series sobre Star Wars, sin seguir un orden cronológico continuo. Esto hace que personajes que se interpretaron cuando los actores eran jóvenes tengan que ser interpretados muchos años después por los mismos actores, que ya no son tan jóvenes…

Esto es un problema que Hollywood ha solucionado tirando de efectos especiales “clásicos”, como el CGI, pero el avance de Deep Learning ha resultado en un hecho curioso, como es que los fans con ordenadores caseros han conseguido igualar o mejorar el trabajo de estos estudios.

Un ejemplo lo encontramos en la tecnología DeepFake. DeepFake es un término paraguas para nombrar a las arquitecturas de redes neuronales entrenadas para sustituir una cara en una imagen por la de otra persona. Entre las arquitecturas de redes neuronales utilizadas están los autoencoders y las Generative Adversarial Networks (GANs). Desde 2018 esta tecnología se ha desarrollado rápidamente, con páginas web, apps y proyectos open source listos para el desarrollo, disminuyendo así la barrera de entrada para cualquier usuario que quiera probarlo.

¿Y cómo se relaciona esto con Star Wars? El 18 de diciembre de 2020 se estrenaba el capítulo 8 de la temporada 2 de la serie The Mandalorian, en el que se incluía una escena con un “joven” Luke Skywalker hecho por ordenador (el actor original, Mark Hamill, tenía 69 años). Tan sólo 3 días después el youtuber Shamook subió un vídeo en el que comparaba el rejuvenecimiento facial de Industrial Light&Magic (responsables de los efectos especiales) con el que había hecho él usando DeepFake.

Como habrás visto, el trabajo de una sola persona, en 3 días, había conseguido mejorar el trabajo del estudio de efectos especiales, que, en este caso, también había usado DeepFake en combinación con otras técnicas. Además, Shamook lo hizo usando dos proyectos open source como DeepFaceLab y MachineVideoEditor.

El mismo autor realizó otras sustituciones en películas recientes de Star Wars como la del Gobernador Tarkin en Rogue One (el actor original, Peter Cushing, falleció en 1994) o la de Han Solo en la película homónima (dónde contrataron a un nuevo actor en vez de rejuvenecer a Harrison Ford) que demostraron que la técnica del DeepFake generalizaba bien a otras películas.

Estos vídeos, que se hicieron virales, no pasaron desapercibidos para Lucasfilm, que unos meses después contrató al youtuber como Senior Facial Capture Artist.

Fuera del universo Star Wars, Shamook ha realizado sustituciones de caras en muchas otras películas, normalmente metiendo a actores en películas en las que no tienen nada que ver, con divertidos resultados.

Modelos de upscaling para mejorar la calidad de vídeos antiguos

Pero rejuvenecer caras no es único uso que el Deep Learning puede ofrecer a los estudios cinematográficos. Otro tipo de modelos, llamados de upscaling, se entrenan para mejorar la resolución de imágenes y vídeos (y videojuegos). Esto es útil cuando se quieren remasterizar, por ejemplo, películas antiguas que fueron digitalizadas y que no permiten una mejora de la resolución sencilla.

Los fans, de nuevo, han tomado la delantera y están mejorando la calidad de trailers de videojuegos antiguos de Star Wars usando estas tecnologías.

Algunos incluso se han atrevido a restaurar escenas eliminadas de las primeras películas, y aportan tutoriales para que, quien se atreva, continúe mejorando los resultados.

En definitiva, como vemos, los modelos de Deep Learning están cambiando cómo se desarrollan muchos negocios. La industria del cine tiene un amplio abanico de opciones  para mejorar sus procesos usando Machine Learning que nos permitirán disfrutar de unos efectos cada vez más realistas y espectaculares.

Nota: puedes ver el proceso de rejuvenecimiento de Luke Skywalker en The Mandalorian en el episodio 2 de la temporada 2 (“Making of the Season 2 Finale”) de la docuserie “Disney Gallery: Star Wars: The Mandalorian” disponible en Disney+.