Le domaine numérique passe en mode d’apprentissage automatique pour Blue Beetle

Décembre 5, 2023Repousser les limites des humains numériques est devenu une pratique courante pour Digital Domain, le personnage principal de Blue Beetle offrant l’occasion de tester pleinement un système de tissu piloté par l’apprentissage automatique et un système neuronal personnalisé connu sous le nom de ML Cloth.
L’objectif était de faire plier et froisser le costume de super-héros en caoutchouc conformément aux actions effectuées par Jaime Reyes (Xolo Maridueña), qui a été fusionné avec un scarabée créé à partir de la technologie extraterrestre.
Les premiers tests pour ML Cloth ont commencé avec She-Hulk : Attorney at Law.
« Ce que nous avons découvert, c’est que la mise en œuvre ne prenait pas en compte les préférences des animateurs, donc c’était presque comme de l’ingénierie logicielle pour les ingénieurs logiciels », explique John-Mark Gibbons, ingénieur logiciel en chef associé chez Digital Domain.
« C’était trop déroutant pour les animateurs, alors nous avons jeté la majeure partie du flux de travail de She-Hulk et l’avons réimaginé pour que les artistes soient la pièce maîtresse de l’outil.
Nous espérions du succès, et sur Blue Beetle , nous avons eu un énorme succès. Nous sommes ravis du résultat de cela et de le voir progresser dans les futures émissions. En ce qui concerne l’ensemble de données d’entraînement, tout est personnalisé.
« Nous n’avons pas de modèle général formé qui sache comment fonctionne le tissu », note Gibbons.
« Ce que nous faisons, c’est apprendre comment un actif spécifique se déforme. »
Il n’y a pas de web scraping impliqué.
« Nous effectuons toujours des configurations et des rigs traditionnels avec certains types de contrôle musculaire et de volume pour que le corps sous-jacent se déplace comme nous le voulons », déclare Jay Barton, superviseur des effets visuels chez Digital Domain.
« Nous avons quand même fait un gréement en tissu traditionnel par-dessus. Dans ce cas, nous avons fait beaucoup d’entraînement de gymnastique suédoise pour essayer d’encapsuler l’amplitude de mouvement possible à l’intérieur des paramètres de tissu qui ont déjà été établis et qui fonctionnent. Une fois que nous l’avons, la formation et l’apprentissage automatique prennent une nouvelle animation, l’exécutent dans la configuration et proposent une simulation de tissu spécifique à cette animation, mais entraînée sur notre matériel initial. Tout est à l’interne et dans le même pot et tourbillonne sans que beaucoup de départements ne l’examinent, le touchent et le déplacent. Une fois que vous avez terminé toutes ces données d’entraînement, les animateurs peuvent se demander : « À quoi cela ressemble-t-il avec du tissu ? » Et relancez leur animation et voyez le tissu juste là dans leur aperçu. Ce n’est pas comme un chiffon d’IA. Il s’agit spécifiquement de l’apprentissage automatique.

L’efficacité a été améliorée par l’adoption de ML Cloth.
« Un excellent exemple qui s’est produit dans la série est que les animateurs pouvaient l’activer dans leur fichier de scène et, pendant qu’ils travaillaient, ils ont remarqué qu’il faisait quelque chose d’étrange », se souvient Barton.
« Je l’ai fait remonter dans la chaîne alimentaire. Tout le monde a eu une réunion rapide à ce sujet. L’artiste en chef a modifié certains paramètres dans la façon dont cela fonctionnait. Tout le monde l’a regardé en photo et a dit : « Ça semble juste. » Réexécutez les données d’entraînement, et tous les plans suivants ont été corrigés sans que nous ayons à passer par le traditionnel « faire le tissu, faire les paramètres au-dessus de l’animation, le rendre », et cela se retrouve dans une revue où je suis assis dans la salle de projection en train de dire : « Ce tissu a l’air bizarre ». Cela peut prendre des semaines. J’ai réglé cela en quelques heures. Je n’ai jamais eu à le voir. C’était fantastique.
Les prises de vue doivent être ajoutées à l’ensemble de données d’entraînement pour que l’apprentissage automatique puisse être amélioré.
« L’important, c’est que le modèle sache quels types d’animation le système effectue », remarque Gibbons.
« Nous pouvons l’entraîner sur l’amplitude de mouvement, mais d’un élément à l’autre, vous aurez une animation plus spécifique et ciblée qu’un personnage a tendance à faire beaucoup. Au fur et à mesure que la série progresse, nous sommes de plus en plus conscients que ce personnage a les bras levés beaucoup plus que ce que notre plateau d’entraînement couvre, alors peut-être que nous devrions avoir plus de ce type de plans dans l’entraînement.

Des combinaisons pratiques ont été construites que les versions numériques devaient assortir.
« Même lorsque nous avons remplacé le costume, l’intention était d’utiliser autant de caméra que possible de vrais acteurs dans de vrais costumes », déclare Barton.
"Certes, il y avait des choses que la combinaison pratique ferait que nous ne voulions pas qu’elle fasse, ou des situations où quelque chose qui correspondait à la pratique ne serait pas voulu de notre côté parce que l’action est tellement plus fantastique, folle et exagérée que ce qu’un humain peut faire. La combinaison pratique était faite de mousse, de caoutchouc et de pièces en plastique plus dures qui pouvaient se déformer. Nous avons eu un acteur et des cascadeurs pour le mettre à l’épreuve.
Des scans ont été pris de Xolo Maridueña avec et sans le costume, ainsi que de ses doublures.
« Nous avions beaucoup de choses pour baser un modèle anatomiquement correct et un gréement pour sous-tendre la simulation de tissu », ajoute Barton.
Les transformations de costume étaient censées être différentes à chaque fois pour refléter l’arc du personnage du protagoniste.
« Lorsque la première transformation se produit, Jamie Reyes n’est pas un participant consentant, et à la fin du film, il a le contrôle du costume », note Barton.
« Il y a eu beaucoup d’exploration sur la façon dont nous voulions le faire et sur les aspects qui seraient liés aux différentes transformations du film et sur les aspects qui seraient différents à mesure qu’il prendrait le contrôle. »

Pour que ML Cloth fonctionne correctement, trois départements ont collaboré étroitement les uns avec les autres.
« L’animation définit la façon dont le personnage se déplace », remarque Gibbons.
« Il y a le rigging, qui met en place le rigging pour les animateurs, mais il y a aussi CFX qui doit s’assurer que ses rigs se déforment comme l’animation l’attend. Ce que ML Cloth nous permet de faire, c’est de resserrer ce lien entre ces départements afin qu’ils ne renoncent à la propriété de rien. Tous les départements sont toujours entièrement responsables de ce qu’ils font, et la plate-forme CFX doit être à la hauteur que nous attendons, mais nous sommes en mesure d’étendre la communication entre les départements pour obtenir de bons résultats avec ML Cloth.
ML Cloth a atténué le facteur d’inquiétude.