Digital Domain adapte son nouveau système ML Cloth pour la Blue Beetle de DC

Décembre 30, 2023Digital Domain parle de la visualisation du super-héros de DC Blue Beetle, créant son costume intelligent et puissant à l’aide de l’outil d’apprentissage automatique de l’équipe pour la première fois dans un long métrage. En tant que fournisseur principal d’effets visuels, Digital Domain a contribué à près de 700 plans pour plus de six séquences du nouveau film de super-héros Blue Beetle et était lui-même responsable du personnage de Blue Beetle.
L’équipe a également créé l’élément pour le méchant Carapax, la scène de bataille finale épique, plusieurs environnements et d’autres travaux.
Cependant, parce que Blue Beetle est la star et que les yeux des spectateurs se concentrent sur chaque plan dans lequel il apparaît, la création de son atout 3D a nécessité de la créativité et de la narration, ainsi que des effets soigneusement coordonnés par plusieurs équipes différentes de Digital Domain.
Dirigé par le superviseur VFX Jay Barton, ils ont commencé cette partie du projet en s’inspirant de sources telles que les bandes dessinées DC, les dessins animés et les jeux vidéo.
À partir d’un scan et d’une photographie du costume pratique que l’acteur portait sur le plateau, Digital Domain a créé une réplique numérique précise.
À partir de là, ils ont incorporé des extensions de costumes animables qui ont construit le costume avec plus de détails, de complexité et de personnalité.
Avec tous ces éléments en place, ils étaient prêts à améliorer la combinaison pratique si nécessaire pour chaque séquence, ou à remplacer complètement des pièces ou la totalité de celle-ci pour des actions qui ne pouvaient pas être capturées par la caméra, comme les séquences de vol et de combat. Langage de conception Dès le départ, l’actif Blue Beetle était un défi.
La vision de la production pour le personnage était absolument photoréaliste, et en seulement quelques plans, le héros Jaime Reyes porte simplement son costume pratique éteint, sans aucune augmentation - la plupart des plans avaient soit des ajouts de CG, soit un remplacement complet de CG.
« L’apparence du costume et de ses extensions devait être indiscernable d’un plan à l’autre. Mais même ainsi, l’apparence et la façon dont les armes de Blue Beetle sont déployées et utilisées, marchent sur cette ligne fine entre photoréaliste et physiquement précis, fantastique et surprenant. À cet égard, il a toujours été un personnage vraiment amusant à travailler !
Le costume pratique sur lequel l’équipe a basé son travail a été conçu de manière très complexe dans ses détails et ses finitions.
Les textures organiques et surnaturelles aident à renforcer l’aspect étranger de son origine.
« En travaillant dans le même langage de conception, nous avons créé des extensions de combinaison CG et des effets qui prenaient en charge cette technologie extraterrestre organique. Notre travail a inclus des techniques d’animation pour aider à renforcer l’idée que, au début, tous ces détails technologiques sont une surprise pour Jaime lorsqu’ils se déploient soudainement ou font des choses sans sa participation. Mais à la fin, bien sûr, Jaime et la combinaison travaillent en étroite collaboration pour faire des choses plus grandes et plus puissantes.

Dans l’appareil photo, en post-production ou les deux Déterminer exactement quand dans l’histoire le costume devrait être remplacé, en partie ou en totalité, par des éléments numériques était un processus continu.
Comme la plupart des films, l’idée initiale était d’essayer de se mettre autant que possible à huis clos.
"C’est en fait fantastique car tout le monde sur le plateau est impliqué pour essayer de le rendre aussi génial que possible le jour J, bien que les réalités du tournage signifient que parfois le gréement des cascades peut tellement affecter le costume qu’il devient inutilisable pour le film final. De toute évidence, ce qu’un acteur peut faire physiquement peut aussi être une limitation alors que le personnage doit être extrêmement puissant", a déclaré Jay.
« Pourtant, le simple fait d’essayer ces choses sur le plateau nous donne une excellente référence sur l’intention du plan. Il peut s’agir d’un processus organique pendant le tournage et pendant le processus éditorial pour déterminer quels plans ont fonctionné comme prévu et lesquels devaient être remplacés. Bien sûr, comme Blue Beetle a des pouvoirs extraordinaires, de nombreuses séquences ont été commencées et terminées comme des prises de vue entièrement en images de synthèse. Dans l’ensemble, le département artistique a entrepris beaucoup d’exploration pour créer des designs qui, bien qu’uniques, étaient immédiatement reconnaissables comme appartenant au monde de Blue Beetle.
En ce qui concerne les armes, par exemple, quelques-unes d’entre elles ressemblaient beaucoup à leurs homologues de bandes dessinées, mais le reste ne suivait les originaux que dans le concept.
« Nous nous sommes beaucoup amusés avec certaines de ces armes et avons pu faire preuve de créativité dans leur déploiement et leurs formes, qui étaient fidèles à l’essence de la bande dessinée mais correspondaient à cette nouvelle esthétique de conception. » Digi-Double Divers moments sont survenus au cours de la réalisation du film, ce qui a rendu très utile d’avoir une version CG de l’acteur de Blue Beetle, Xolo Maridueña.
La construction de ce modèle a été basée sur des scans et des photographies fournis par la production.
Il a été utilisé pour les photos d’action de Blue Beetle lorsqu’il ne porte pas son casque, et pour les photos de transition de Jaime à Blue Beetle.
Un modèle alternatif de Blue Beetle a également été créé sur la base du corps du cascadeur pour certaines des prises de vue de cascades au corps à corps.

« Il fallait que ce soit précis et précis, et qu’il soit impossible de le distinguer de notre acteur, mais en fait, les animateurs se sont amusés avec notre Blue Beetle en images de synthèse, surtout au début de sa transformation. Le réalisateur Ángel Manuel Soto voulait vraiment que tout le monde ait l’impression que Jaime était emmené dans un manège avec peu ou pas de contrôle sur les actions de la combinaison. Nous avons travaillé pour créer des clichés qui vendent la puissance de la combinaison elle-même, combinée à la nature fantaisiste d’un enfant effrayé mais excité qui est emmené dans le voyage de sa vie. Extensions expressives Les extensions de costumes animés devaient être expressives et créatives, ce qui a rendu difficile le développement d’une approche cohérente pour le travail.
Jay a déclaré : « Bien qu’il y ait eu un cadre et une technique cohérente pour chacun d’entre eux, la sensation entre les prises de vue pouvait être très différente.
Notre superviseur de l’animation Arda Uysal et notre superviseur des effets spéciaux Eddie Smith
ont travaillé ensemble pour proposer des variations uniques qui ont aidé à vendre l’émotion de ces éléments, en fonction de la façon dont ils s’intègrent dans l’histoire. Parfois, ils sont créés pour nous surprendre, parfois par désespoir et, en fin de compte, avec une attention très délibérée. Comme l’auto-illumination de divers éléments de sa combinaison était également importante, l’équipe l’a approché en essayant d’être aussi précis physiquement que possible. Comme il apparaît davantage la nuit et dans les scènes sombres, il devient non seulement un élément graphique très important dans les cadres, mais il est essentiel d’aider le public à lire les actions de Blue Beetle, car son costume est par ailleurs si sombre. "L’œil de la combinaison a une structure interne complexe comme une caméra extraterrestre éclairée, et la surface externe de ses yeux est réfléchissante, ce qui les rend très différents d’un plan à l’autre. Néanmoins, ils font tellement partie de la personnalité du personnage que nous avons pris le temps de faire beaucoup d’ajustements pour qu’ils se sentent cohérents.
Le costume et le tissu ML La création d’une qualité tactile réaliste pour le costume de Blue Beetle était une tâche spéciale en soi que l’équipe de Digital Domain a entreprise en développant un système de tissu qui utilise l’apprentissage automatique et un réseau neuronal personnalisé pour apprendre comment le tissu doit réagir au mouvement.
Dans ce cas, le système ML Cloth a appris comment la combinaison en caoutchouc de Blue Beetle doit se plier et se froisser avec les actions du super-héros.
Les méthodes traditionnelles utilisées pour un tel matériau prennent du temps, sont coûteuses et se produisent à une phase distincte du pipeline.
Grâce à ce nouvel outil, l’équipe a pu voir la simulation de tissu dans le même programme que celui que leurs animateurs utilisent régulièrement et faire fonctionner tout cela en temps quasi réel, ce qui a donné aux animateurs un retour immédiat pour les aider dans leur processus de décision et a permis aux superviseurs d’examiner rapidement les résultats.
L’équipe avait initialement prévu de n’utiliser l’outil que sur des plans moyens ou éloignés, mais après avoir constaté sa précision et sa vitesse, même en gros plan, il a été utilisé dans le travail du studio tout au long du film.
Bien qu’initialement testé sur She-Hulk : Attorney at Law de Marvel Studios, Blue Beetle marque la première fois qu’il a été utilisé pour un long métrage. John-Mark Gibbons, ingénieur logiciel principal associé chez Digital Domain, dirige actuellement le développement de ML Cloth.
Il a expliqué comment la nature ajustée du costume de Blue Beetle en a fait un bon candidat pour ML Cloth.
« Bien que le costume de Blue Beetle soit complexe avec différents matériaux et de petits détails, au lieu d’impliquer des pièces volantes qui devaient battre au vent ou réagir à la gravité, il s’adapte étroitement à son corps. Il réagit à ses mouvements en s’étirant, en se froissant et en formant des plis qu’il n’avait pas à l’origine.
Plusieurs facteurs font que les simulations de tissus traditionnelles prennent beaucoup de temps pour les artistes VFX.
D’une part, les simulations de tissu sont facilement attrapées par des points qui se coincent dans d’autres géométries. Jay a déclaré : « Cela conduit à des blocages et à des regroupements étranges, surtout lorsque des personnages comme les super-héros font des actions assez scandaleuses tout en se battant ou en voyageant à des vitesses impossibles. Il est également difficile de créer un gréement qui fonctionne en toutes circonstances, ce qui nécessite beaucoup d’allers-retours entre le modélisme, le gréement et le tissu pour arriver à une version qui est proche 90 % du temps mais qui nécessite tout de même beaucoup de retouches.
John-Mark a décrit les différences que le nouveau système a apportées à l’équipe d’animation, lui permettant de simplifier et d’accélérer le développement de la plate-forme d’animation.
« Nous créons un rig pour les animateurs contenant les déformations ML Cloth, ainsi que le rig standard qu’ils attendent. Cela leur donne non seulement un aperçu des déformations finales, mais supprime également le besoin de simulation, éliminant ainsi de nombreux problèmes qui se posent lorsque la physique du monde réel est appliquée à des mouvements impossibles. « Les prises de vue longues et rapides sont particulièrement difficiles à simuler, car elles nécessitent une grande quantité d’art de la part des artistes CFX. Contrairement à une simulation dépendante du temps, ML Cloth se souvient simplement comment déformer les différentes sections du corps, compte tenu d’une pose. Ainsi, tant que les données d’entraînement sont propres et couvrent l’amplitude de mouvement du personnage, nous pouvons être sûrs que les résultats approximatifs ne s’effondreront pas, ne s’emmêleront pas et n’exploseront pas.
De plus, les animateurs peuvent prévisualiser les déformations finales de leurs scènes.
Cela encourage la détection précoce des problèmes dans le banc de simulation, ainsi que la mise en lumière des poses d’animation problématiques qui causeront probablement des problèmes dans les futurs départements. Formation du réseau Pour commencer le processus d'« enseignement » au réseau neuronal de la nature du tissu caoutchouteux de la combinaison et de la façon dont il devrait réagir au mouvement du personnage, l’équipe CFX devait encore rechercher et fabriquer des déformations simulées pour la combinaison.
« Heureusement, nous avons des artistes très talentueux qui ont recherché, construit et entretenu une combinaison de simulation CFX », a déclaré John-Mark.
« Notre objectif était de préserver autant que possible l’art d’origine, tout en remplaçant la simulation par les déformations approximatives de la plate-forme. » Nous avons montré à la chaîne de nombreux exemples du costume de Blue Beetle dans de nombreuses poses différentes. Il apprend ensuite à imiter la simulation avec précision en affinant et en améliorant de manière itérative sa compréhension des déformations, jusqu’à ce que les résultats approximatifs puissent être confondus avec les résultats de la simulation.  

Ils reconstruisaient activement une grande partie du pipeline dès le début tout en travaillant simultanément sur la formation Blue Beetle, ce qui rend difficile de dire combien de temps il a fallu avant que le réseau ne soit prêt pour la production.
Cependant, une fois qu’ils disposaient d’une version stable de l’outil, la formation prenait généralement environ huit heures du début à la fin.
John-Mark a déclaré : « Lorsqu’il est temps de former ML Cloth pour un projet, nous demandons aux responsables de l’animation de créer des clips d’animation des types de mouvements que le personnage est susceptible d’effectuer. Il est important que ces poses d’entraînement couvrent toute la gamme des mouvements du personnage afin que ML Cloth puisse se rapprocher correctement des poses d’animation pertinentes en production. « Cette animation spécifique à l’actif est associée à une animation standard d’amplitude de mouvement, qui est ensuite utilisée pour entraîner le modèle. Nous testons les résultats en lui faisant exécuter une animation qui n’apparaissait pas dans l’ensemble d’entraînement, en nous indiquant si le modèle se généralise à un nouveau mouvement ou si nous devons nous entraîner davantage, ajouter de l’animation ou modifier les paramètres.
Construire la plate-forme formée Une fois l’entraînement terminé, l’équipe peut créer automatiquement un nouvel habillage Maya en supprimant les parties de l’habillage d’animation qui sont maintenant approximées à l’aide de ML Cloth, et en injectant le modèle formé dans l’habillage à sa place afin qu’aucune fonctionnalité ne soit perdue.
Les animateurs peuvent ensuite choisir de charger la plate-forme qu’ils préfèrent dans leur scène pendant qu’ils travaillent.
« Bien qu’ils soient libres de travailler comme ils le souhaitent, nous recommandons aux animateurs d’utiliser la plate-forme ML Cloth, car elle leur donne l’occasion de détecter les poses problématiques et de signaler les problèmes de simulation avant d’interrompre la production », a déclaré John-Mark.
« Que les animateurs aient utilisé ou non l’habillage ML Cloth pendant qu’ils travaillaient, les déformations ML Cloth seront mises en cache et transmises au service suivant, comme tous les autres produits mis en cache pour la prise de vue. Les résultats ML Cloth spécifiques à la prise de vue sont ensuite évalués dans l’éclairage.
Jay pense que l’un des principaux avantages du système est qu’une fois qu’il est configuré, les animateurs peuvent surveiller le tissu sur leurs plates-formes d’animation pendant qu’ils travaillent.
Parfois, une pose étrange qui semble correcte depuis l’appareil photo peut être détectée par la façon dont le tissu réagit.
Même si une bonne pose pose pose des problèmes, le tissu peut toujours être modifié. digitaldomain.commots : Adriene Hurst, rédactrice en chef