Digital Domain dévoile Masquerade3

Mai 18, 2024Digital Domain a lancé sa dernière avancée en matière de systèmes de capture de mouvement facial, appelée « Masquerade3 ».
Le nouveau Masquerade3 offre une qualité encore plus élevée, mais avec un nouveau pipeline de capture faciale sans marqueur.
Le nouveau système s’appuie sur le succès de son prédécesseur, Masquerade 2.0, qui a apporté les subtilités de la dynamique faciale humaine aux personnages numériques et a offert des performances plus émotionnelles à leurs projets.
Masquerade 2.0 est sorti fin 2020 et a été largement utilisé sur des projets tels que SheHulk.

 

  En éliminant le besoin de marqueurs sur le visage des artistes, Masquerade3 offre une plus grande efficacité sur le plateau, une réduction du stress sur les acteurs et une créativité plus large.
Masquerade3 est une solution polyvalente qui peut s’adapter à un large éventail d’exigences et de budgets de projets.
Par conséquent, il peut réduire considérablement les coûts d’intégration et de gréement par prise de vue.
De plus, il minimise le temps que les acteurs consacrent au maquillage, ce qui leur permet de se concentrer davantage sur leurs performances et le calibrage sur le plateau.
En offrant des temps de capture à reconstruction plus rapides, Masquerade3 peut aider les productions à obtenir des résultats plus rapidement, à rationaliser le flux de travail et à réduire les délais. L’un des avantages les plus importants de Masquerade3 est peut-être sa technologie de capture sans marqueur.
Ce produit rationalise le processus de production en éliminant le besoin de marqueurs, ce qui permet de gagner du temps pour les talents, le réalisateur et l’équipe sur le plateau.
Masquerade3 offre une stabilité accrue par rapport à son prédécesseur, réduisant le besoin d’itérations manuelles et produisant des résultats plus fiables dès la sortie de la boîte.
Grâce à l’estimation intégrée du regard, Masquerade3 réduit les coûts de main-d’œuvre dans l’animation, les effets visuels et le traitement, offrant une solution plus efficace pour reconstruire des performances entières.
Selon Daniel Seah, PDG de Digital Domain, il est adaptable et constitue une « avancée révolutionnaire dans la technologie de capture de mouvement. La fonction de capture sans marqueur, la stabilité accrue et la flexibilité inégalée permettent aux cinéastes de donner plus facilement vie à leurs visions créatives avec plus d’efficience et d’efficacité que jamais auparavant.

fxguide ont déjà couvert Masquerade 2.0, qui était lui-même un système de marqueur semi-automatique avec apprentissage automatique avancé qui était 10 fois plus rapide que la version précédente de DD et, à l’époque, introduisait à la fois le suivi du regard et des paupières.
S’il vous plaît jetez un coup d’œil à notre histoire ici. Naturellement, c’est pourquoi nous avons tenu à parler de la nouvelle version avec Hanno Basse, CTO de Digital Domain, lors de la conférence FMX de cette année.
Au FMX, Hanno s’est joint à Mike Seymour de fxguide pour faire une présentation sur les humains numériques.
Hanno et Mike ont également fait partie d’un panel humain numérique avec Dan Ring de Choas et Issac Bratzel d’AvatarOS.
À la base, Masquerade3 est la même approche conceptuelle que Digital Domain a utilisée avec Masquerade 1.0 pour créer Thanos dans Avengers : Infinity War. Mais les générations successives d’apprentissage automatique ont affiné et automatisé le processus pour produire un système plus rapide avec plus de fidélité aux performances faciales subtiles et aux choix d’acteur de l’acteur original.
Par exemple, Masquerade3 est plus robuste car une limitation inhérente à un système de marqueurs est la cohérence de ces marqueurs d’une configuration à l’autre.
Masquerade 2 a dû supposer que les points étaient exactement au même endroit sur le visage, alors que Masquerade 3 ne s’appuie que sur le visage réel de l’acteur.
Quel que soit l’engagement d’une équipe de maquillage sur le plateau, le fait de s’appuyer sur des marqueurs faciaux précis a introduit son propre bruit dans le processus.
De plus, les variations de l’angle exact selon lequel la caméra montée sur la tête se trouvait sur la tête de l’acteur nécessiteraient souvent une compensation, dans Masquerade3 qui est un problème complètement résolu pour un non-problème.  

La précision du système n’a été mesurée que de 0,5 mm par rapport à la réalité terrain.
Bien que Masquerade 2 puisse également être très précis, la quantité de travail manuel et d’ajustements pour atteindre un tel niveau de précision était beaucoup plus importante.
« Nous pensons que cela semble très convaincant », déclare Hanno Basse.
« C’est plus facile pour l’équipe de production, c’est plus facile pour l’artiste, et le flux de travail en post-production est beaucoup plus rapide. Tout est automatisé maintenant, dans le passé, le nettoyage des marqueurs pouvait être terrible, et nous n’avons tout simplement plus à faire tout cela, nous récupérons les données de la plaque, nous exécutons le modèle et nous sortons le CG.
Il y a encore du travail fait sur une capture Masquerade3, par exemple les dents et les langues sont toutes ajoutées plus tard, les cheveux toilettés, etc., mais dans l’ensemble, le processus est beaucoup plus propre et efficace.
Le flux de travail est

1. Capture d’identité initiale (1 jour) : capture de la ROM d’un artiste, de ses visèmes et d’un scan 4D pour créer la géométrie faciale haute résolution.
   Cette journée unique utilise en fait Masquerade 2.0 – avec des marqueurs sur le visage de l’acteur – pour créer un ensemble de données d’entraînement de vérité sur le terrain.
   Les marqueurs ne sont plus utilisés après cela.
2. Entraînement et/ou mise au point d’un modèle spécifique à l’exécutant avec ces données.
3. Ingérez des photographies sur plaque sans marqueur à partir du plateau, puis déduisez le modèle haute résolution à partir de celle-ci.

Comme le processus est assez indulgent, pour les personnages d’arrière-plan, une séquence d’animation faciale de qualité inférieure mais toujours utilisable peut être créée même sans la capture d’identité spécifique de cet acteur.
En effet, le transfert d’une solution d’ensemble de données détaillées d’une bibliothèque vers un nouveau personnage d’arrière-plan peut fournir suffisamment pour peupler des scènes de foule, etc., sans modèles sur mesure.
« Un seul interprète pouvait offrir une gamme d’expressions », explique Hanno Basse.
« Et puis ils peuvent conduire de nombreux agents différents dans une foule, et plus nous faisons et capturons d’identités – plus nous avons de performances dans notre bibliothèque – plus cela deviendra facile. Il va être vraiment intéressant de voir comment cela se développe à l’avenir.