Demasiadas palabrotas. Ese era el problema de ‘Fall‘, la última película del director Scott Mann. Lionsgate, la productora de este thriller de supervivencia, quería conseguir una calificación PG-13 para abrir la producción a un público mucho más amplio. ¿Cómo conseguirlo? Fácil: usando inteligencia artificial.

“jo***”. Las histriónicas protagonistas no paraban de usar tacos y variaciones de la palabra “jo***” en la película. La situación que viven es para ello, claro, pero eso era un problema de cara a poder estrenar la película y que la pudieran ver públicos más jóvenes.

Deepfakes al rescate. La tecnología lleva décadas siendo una gran aliada del cine, y en los últimos tiempos la cosa ha ido más. La inteligencia artificial ha ayudado a que los deepfakes aplicados al séptimo arte permitan cosas alucinantes como rejuvenecer o envejecer a los actores o, en los últimos tiempos, preservar sus voces para siempre.

Donde dije digo, digo Diego. Mann, que había tenido malas experiencias con otros rodajes, descubrió un estudio académico que hablaba de redes neuronales y de cómo se podían aplicar para este ámbito. Contactó con los autores y logró crear una herramienta rudimentaria para crear una nueva solución de doblaje.

“Vubbing”. En lugar de doblar tradicionalmente el audio, se realiza un doblaje (dubbing) visual (de ahí la “v” inicial). Tras fichar a otro experto llamado Nick Lynes, se creó la empresa Flawless AI, especializada en esta evolución de los deepfakes especialmente orientada al mundo del cine, bien para doblajes, bien para modificar lo que los actores decían y corregirlo sin tener que repetir tomas a posteriori (con la complejidad que eso implica).

Robert de Niro habla alemán… La tecnología TrueSync de Flawless AI identifica patrones en los fonemas (sonidos que hacen) y visemas (cómo mueven la boca al hacerlos) de los actores. Tras entrenar el sistema, éste es capaz luego de simular que el actor dice cualquier otra cosa, o que lo dice en cualquier otro idioma.

… pero también mueve la boca como lo haría un alemán. Lo realmente interesante de esta tecnología es que la boca se mueve de forma acorde a la pronunciación de esas palabras, así que el doblaje ya no “canta” tanto.

En el vídeo se puede ver cómo en el doblaje tradicional se nota que Jack Nicholson no parece estar hablando francés, pero con este sistema Robert de Niro parece estar hablando alemán porque la boca se mueve (más o menos) como debería hacerlo al pronunciar esas palabras. El resultado no es perfecto, desde luego, pero no para de mejorar. Esas imágenes son de hace un año.

La cosa mejora. Como decimos, los modelos que permiten ajustar el resultado han mejorado mucho en estos últimos meses, y eso se nota en ‘Fall’. En este vídeo de Flawless se puede ver cómo hablan del proceso y en el minuto 1:54 se muestra cómo van modificando a una de las protagonistas para que en lugar de ‘fuc****‘ diga ‘freaking‘, mucho más aceptable para las salas.

Los actores de doblaje, en peligro. Como en tantos otros ámbitos “amenazados” por la inteligencia artificial, este tipo de herramientas —hay más en desarrollo, como demuestra la propuesta de Papercup— pueden limitar el futuro de los actores de doblaje. En España esa opción es parte tradicional de los contenidos emitidos en idiomas extranjeros, aunque eso sí: provoca que hablemos peor inglés que los suecos o los portugueses.

No te creas lo que ves. El debate, desde luego, va más allá. Esta herramienta tiene obvias ventajas para el mundo del cine y la televisión, pero también confirma el peligro que tienen los deepfakes, cada vez más creíbles, si son usados no ya para la sátira, sino para difundir noticias falsas o cometer todo tipo de fraudes. A este paso, va a ser imposible saber lo que es realidad y lo que no.

Imagen: Flawless AI