L’IA générative ne doit pas « remplacer l’aspect humain de l’obtention d’une performance », affirme le directeur technique du domaine numérique

Octobre 16, 2023Hanno Basse a déclaré qu’un « public humain veut se connecter avec des êtres humains », lors d’un discours lundi au Media Technology Summit de la Society of Motion Picture and Television Engineers.

Hanno Basse, directeur technique de Digital Domain, voit beaucoup de potentiel pour l’utilisation de l’IA générative et de l’apprentissage automatique dans les effets visuels, mais « il ne faut pas remplacer l’aspect humain de l’obtention d’une performance » par des acteurs.

« Le public humain veut se connecter avec les êtres humains », a-t-il affirmé lors d’un discours lundi au Media Technology Summit de la Society of Motion Picture and Television Engineers, au cours duquel il a passé en revue le travail récent du studio d’effets visuels Digital Domain sur les humains numériques, comme la création de 43 minutes - plusieurs centaines de plans - de la performance de l’actrice Tatiana Maslany en tant que personnage principal dans She Hulk de Marvel.
Mais si cet exemple et d’autres impliquaient l’apprentissage automatique dans ses techniques, il a souligné que « chaque exemple a la performance d’un acteur réel sous-jacente. C’est ainsi que vous obtenez la véritable émotion et la performance. Je ne vois pas cela changer.

L’utilisation de l’IA générative est un sujet épineux dans les négociations actuelles de grève et de contrat de SAG-AFTRA, comme ce fut le cas pour la WGA, qui a récemment mis fin à sa grève et ratifié un nouveau contrat avec des protections d’IA.

Lors de son discours d’ouverture au Ray Dolby Ballroom à Hollywood, Basse a donné un aperçu d’outils tels que la technologie exclusive d’échange de visage Charlatan de DD, qui implique l’apprentissage automatique et a été utilisée dans la série Citadel d’Amazon pour créer des performances d’acteurs sur des personnages avec l’apparition de JFK, FDR et Winston Churchill.
« Nous pouvons transformer n’importe qui en n’importe qui... et vous ne pourrez pas voir la différence », a déclaré Basse, notant que le travail n’est pas facile et que les gens ne pourront pas le faire à la maison « très bientôt, mais je pense que c’est une question de temps ».

Les derniers outils propriétaires de DD incluent Charlatan Geo, qui peut être utilisé pour permettre la capture de mouvement sans marqueur.
« C’est très précis et très rapide », a déclaré Basse, notant que cela permet aux acteurs de travailler sans caméra de casque.
"C’est plus facile pour les acteurs... et plus rentable de capturer des choses de cette façon.

Basse pense que l’IA générative et l’apprentissage automatique peuvent aider à d’autres types de travail VFX, en particulier pour l’idéation et la communication, ainsi que pour l’élimination du travail « fastidieux ». « Souvent, même les personnes très créatives ne savent pas ce qu’elles veulent », a-t-il déclaré, notant qu’une équipe 3D peut travailler pendant des semaines ou des mois sur des prototypes qui ne sont peut-être pas utilisés dans un projet fini. «[Now] Nous pouvons le faire en 2D avec l’IA générative et créer rapidement 50 à 100 versions différentes [sample] .
… La communication devient tellement plus simple.

DD a également mis au point un outil qui détermine comment le tissu (vêtement) se déplacera sur un corps humain dans une pose donnée.
Basse a rapporté que Blue Beetle de DC était la première application majeure de cette technologie par DD, utilisée dans plus de 300 plans dans le film.
Sans l’outil d’apprentissage automatique, a-t-il ajouté, « cela aurait été trop coûteux ».

Pour l’avenir, au cours de la keynote, Basse a également fait état du développement d’un outil génératif piloté par l’IA conçu par DD pour convertir « du texte en animation ».
Il admet qu’il y a encore « beaucoup de travail » à faire dans ce domaine.
« Nous pensons qu’avec ce type de technologie, nous pouvons accélérer rapidement notre travail d’animation et éliminer le travail fastidieux. »

Le travail de prototype présenté lors de la keynote comprenait le développement d’un humain virtuel autonome, qui était un robot numérique (toujours dans la vallée de l’étrange) piloté par le moteur Charlatan de DD.
Basse a déclaré : « Elle peut devenir nerveuse et contrariée si vous la poussez trop fort. »
Le sommet annuel de la technologie des médias SMPTE se déroule jusqu’à jeudi.