Digital Domain apporte des outils de création de personnages photoréalistes alimentés par l’IA à « The Quarry » de Supermassive Games

Juin 15, 2022Plus de 32 heures de performances faciales capturées et rendues avec le système propriétaire Masquerade 2.0 ; Moins de 0,5 % des 4 500 clichés touchés par les animateursLOS ANGELES - 15 juin 2022 - Le développeur de jeux vidéo primé Supermassive Games a acquis la réputation de créer certaines des expériences de jeu les plus immersives jamais réalisées, en partie grâce à l’accent mis sur la construction à partir de performances réelles qui donnent vie à ses personnages numériques.
Pour son dernier titre, The Quarry, il est allé plus loin que jamais et s’est tourné vers la puissance des effets visuels Digital Domain , lauréat d’un Oscar, pour l’aider à créer l’un des jeux les plus immersifs et photoréalistes visuellement de tous les temps.
Mais pour y arriver, le studio VFX a d’abord dû étendre et développer ses outils primés, et en inventer un nouveau en cours de route.
« Dès le début, nous avons été époustouflés par l’ambition de Supermassive Games, et nous savions que notre expérience avec les longs métrages nous plaçait dans une position unique pour aider », a déclaré Aruna Inversin, directrice de la création et superviseure des effets visuels pour Digital Domain.
« Nous avons commencé avec les mêmes outils que nous utilisons pour créer des films et des épisodes, puis nous les avons adaptés au développement de jeux. En gros, nous avons trouvé une nouvelle façon plus rapide d’animer des personnages numériques photoréalistes.
The Quarry est une expérience interactive de survival-horror alimentée par les performances d’une distribution d’ensemble primée.
Des versions numériques photoréalistes de plusieurs vétérans hollywoodiens bien connus réagissent tout au long de l’histoire avec le même niveau de nuance et d’émotion que dans un film d’action en direct, mais avec l’avantage supplémentaire de laisser les joueurs contrôler les circonstances et les actions.
Choisiront-ils d’enquêter sur les sons au loin ou de se cacher ?
Vont-ils aider les autres ou essayer de survivre par eux-mêmes ?
Il y a plusieurs issues et la survie est loin d’être garantie.
« Il était important pour nous de rendre chaque mouvement et chaque réaction aussi réalistes que possible, de créer une expérience immersive où les joueurs ressentent vraiment le poids de leurs décisions et se connectent aux personnages », a déclaré Will Byles, directeur du jeu pour The Quarry.
« Nous voulions nous rapprocher le plus possible de la ressemblance des acteurs, à la fois en termes de scans très détaillés et de subtilités et de nuances de leurs performances. Avec son histoire d’effets visuels primés et son travail humain numérique pionnier, Digital Domain était le meilleur choix pour cela.
Développant l’idée de The Quarry en tant qu’expérience cinématographique interactive, il existe même une option « Mode film » qui permet aux utilisateurs de modifier les traits de personnalité et les actions de chaque personnage, puis de s’asseoir et de regarder tout cela se dérouler.
Des filtres supplémentaires peuvent encore améliorer l’expérience en ajoutant un grain de film « Indie Horror » de style 8 mm, un look rétro VHS « 80s Horror » et un filtre d’horreur classique en noir et blanc. Construire un meilleur slasher Pour aider à amener l’animation faciale photoréaliste à un nouveau niveau, le studio VFX, célèbre pour son travail sur Spider-Man : No Way Home, Stranger Things, WandaVision et d’innombrables autres, a commencé par effectuer une série de scans faciaux de chaque membre de la distribution.
Cela a donné à l’équipe de Digital Domain un modèle précis à partir duquel travailler, ainsi qu’une bibliothèque complète de formes et d’expressions faciales pour chaque artiste.
Les données ont ensuite été envoyées aux artistes de Supermassive Games, qui ont créé l’apparence des personnages du jeu.
Ensuite, c’était l’heure des représentations. Chaque membre de la distribution s’est présenté à la scène de capture de performance de Digital Domain à Los Angeles, où ils ont enfilé une combinaison de capture de mouvement complète et une plate-forme de capture faciale.
Ils ont ensuite joué leurs rôles individuellement ou en petits groupes (dans le respect des protocoles de sécurité COVID), jouant plusieurs versions de l’histoire pour créer de multiples récits ramifiés – y compris des dizaines de scènes de mort pour chaque personnage.
Les développeurs de jeux ne sont pas étrangers à l’utilisation de mocap et de rigs faciaux pour aider à créer des personnages numériques, mais avec l’aide de Digital Domain, The Quarry est allé plusieurs fois plus loin que la plupart.
Au total, les acteurs ont subi un incroyable 42 jours de capture de mouvement, ce qui a donné lieu à 32 heures de séquences capturées. De Thanos à The Quarry Une fois les personnages numériques de Supermassive Games prêts et les performances en direct enregistrées, les données combinées ont ensuite été alimentées par le système de capture faciale Masquerade de Digital Domain - un outil initialement développé pour Thanos dans Avengers : Infinity War.
Depuis ses débuts acclamés par la critique, le système a évolué pour être utilisé dans des projets allant au-delà des longs métrages. Masquerade 2.0 peut analyser des séquences d’action réelle, les combiner avec la bibliothèque individuelle et unique des formes faciales de cet artiste, puis les mélanger avec le personnage CG.
En utilisant l’apprentissage automatique, il peut ensuite créer une version CG photoréaliste de la performance et l’animer entièrement, le tout en un temps record.
Pour The Quarry, cela a permis de s’assurer que chaque performance vue dans le jeu comprend chaque mouvement du visage, chaque réaction émotionnelle et chaque nuance de la part d’un casting talentueux.
« Masquerade est un système incroyablement puissant, mais en fin de compte, ce sont les performances qui font vraiment ressortir The Quarry », a déclaré Paul « Pizza » Pianezza, producteur senior de Digital Domain.
« Nous voulions nous assurer que nos outils amplifiaient ce que les acteurs apportaient, afin que chaque performance, jusqu’au mouvement le plus subtil, soit aussi fidèle que possible à la performance en prise de vue réelle. »
Mais pour un jeu comme The Quarry qui est construit autour de l’interactivité, le simple fait d’avoir des personnages numériques de qualité cinématographique n’était pas suffisant.
Il devait être capable d’éditer ces caractères numériques en temps réel, et d’avoir ces résultats édités instantanément prêts à l’emploi sans avoir besoin de retouches supplémentaires de la part des artistes.
Le seul problème, c’est que les outils dont Digital Domain avait besoin n’existaient pas... encore. Résolution de problèmes courants Afin de créer des personnages numériques pouvant être modifiés en temps réel, Digital Domain a d’abord dû relever deux défis courants liés à la capture faciale qui nécessitent généralement un nettoyage post-capture par des artistes : le suivi oculaire et la stabilisation du casque.
Tout d’abord, Digital Domain a commencé avec une solution de suivi oculaire open source connue sous le nom de « Gaze ML », et l’a fortement modifiée au cours des trois dernières années.
En utilisant l’apprentissage automatique pour identifier la nature unique des yeux de chaque membre de l’équipe et en l’associant à une caméra montée sur la tête à fréquence d’images élevée, Gaze ML a pu produire une meilleure précision dans le suivi et améliorer l’apparence des yeux numériques.
Ensuite, Digital Domain a créé une nouvelle façon de stabiliser les données de la caméra frontale.
Les solutions de suivi du visage exigent généralement que le porteur reste relativement immobile pour éviter les tremblements et le flou.
Mais à l’aide d’une nouvelle technique propriétaire développée en interne, les algorithmes d’apprentissage automatique de Masquerade 2.0 ont pu analyser les images de capture et compenser toute bousculade. Cela a donné aux acteurs la liberté de se déplacer normalement et sans restriction, même de courir et de sauter tout en portant un têtier pour élever leurs performances. Présentation de Chatterbox En liant le tout, Digital Domain est allé plus loin et a introduit une nouvelle technologie appelée « Chatterbox », un outil initialement développé par son groupe interne Digital Human Group pour aider à jeter les bases de l’avenir des humains autonomes.
Propulsé par des algorithmes d’apprentissage automatique, Chatterbox peut analyser les expressions faciales en direct uniques à chaque artiste, puis déterminer les meilleures options possibles pour modifier de manière transparente les expressions faciales, tout en conservant la qualité et des mouvements réalistes.
En rationalisant la quantité de données et en se concentrant uniquement sur les meilleures options faciales, les personnages numériques peuvent ensuite être téléchargés et modifiés directement dans un moteur de jeu.
Lorsqu’il a été associé à Masquerade 2.0 pour The Quarry, Chatterbox a pu accéder à la bibliothèque d’expressions faciales de chaque membre de la distribution, ouvrant ainsi une foule de possibilités pour Supermassive Games.
Une fois les données exécutées dans Unreal Engine, les développeurs ont pu voir les personnages dans des environnements numériques soignés et apporter des ajustements en temps réel aux performances si nécessaire, le tout en fonction des mouvements du visage et des manières uniques de chaque artiste.
Cela a éliminé le besoin de reshoots coûteux, tout en garantissant les performances les plus précises et les plus fidèles possibles. Dans l’ensemble, moins de 0,5 % (seulement 27 sur un nombre stupéfiant de 4 500 plans jugés de qualité de jeu) ont nécessité des modifications mineures de post-production de la part d’un artiste.
Au total, Digital Domain a réalisé plus de 250 millions d’images pour The Quarry, contribuant ainsi à créer un nouveau point culminant pour les cinématiques interactives haute fidélité « La création d’effets visuels photoréalistes de haute qualité était autrefois unique aux longs métrages, mais la technologie a évolué et, compte tenu de nos décennies d’histoire et de notre succès continu, nous sommes dans une position unique pour apporter des effets visuels de qualité professionnelle à n’importe quel écran. », a déclaré John Fragomeni, président mondial de Digital Domain.
« Nous avons certains des meilleurs artistes au monde, il n’y a donc vraiment aucune limite à l’endroit et à la manière dont nous utilisons nos outils, et nous avons été honorés de travailler avec Supermassive Games pour aider à commercialiser The Quarry. »
The Quarry sera disponible le 10 juin en format physique et numérique pour PlayStation 4, PlayStation 5, Xbox One, Xbox Series X|S et en version numérique sur PC Windows via Steam. À propos de Digital Domain Digital Domain crée des expériences qui définissent le genre et qui divertissent, informent et inspirent. Au cours du dernier quart de siècle, le studio s’est imposé comme un leader dans l’industrie des effets visuels cinématographiques, s’étendant pour englober des épisodes, des publicités et des cinématiques de jeux, tout en adoptant la prévisualisation et la production virtuelle. Digital Domain est également devenu un pionnier des humains numériques et de la réalité virtuelle, s’ajoutant à un riche héritage composé de centaines de longs métrages à succès pour tous les grands studios, de milliers de publicités, de clips musicaux, de cinématiques de jeux et de contenu numérique de réalisateurs et de marques de renommée mondiale. Une force créative dans les effets visuels et le contenu premium, Digital Domain a apporté son art et sa technologie à des films tels que Titanic, L’étrange histoire de Benjamin Button et les blockbusters Ready Player One, Avengers : Infinity War et Avengers : Endgame. Les artistes du personnel ont remporté plus de 100 prix majeurs, dont des Oscars, des Clios, des BAFTA Awards et des Cannes Lions. Digital Domain est devenu avec succès le premier studio indépendant d'effets visuels à entrer dans la Grande Chine. En 2018, Digital Domain a acquis l'un des pionniers et leaders chinois de l'équipement matériel de réalité virtuelle - VR Technology Holdings Ltd, Shenzhen (« 3Glasses »). Digital Domain possède des bureaux à Los Angeles, Vancouver, Montréal, Pékin, Shanghai, Shenzhen, Hong Kong, Taipei et Hyderabad. Digital Domain Holdings Limited est cotée à la Bourse de Hong Kong (code boursier : 547). Domaine numérique : www.digitaldomain.comÀ propos de Supermassive Games Fondée en 2008, Supermassive Games est un développeur de jeux indépendant primé aux BAFTA, réputé pour son innovation dans le domaine de la narration et de la réalité virtuelle.
Supermassive Games est surtout connu pour le succès PS4 acclamé par la critique Until Dawn et The Dark Pictures Anthology.
Le studio a reçu de nombreux prix, dont un BAFTA pour Until Dawn et la reconnaissance de notre organisme professionnel TIGA.
Le studio travaille également avec GamesAid, d’autres organisations caritatives et des établissements d’enseignement.
En 2021, le studio s’est associé à Nordisk Games, qui fait partie du groupe Egmont. À propos de 2K Fondée en 2005, 2K développe et publie des divertissements interactifs pour les consoles de jeux vidéo, les ordinateurs personnels et les appareils mobiles, avec une disponibilité de produits comprenant la vente au détail physique et le téléchargement numérique.
La société abrite de nombreux studios de développement talentueux, notamment Visual Concepts, Firaxis Games, Hangar 13, Cat Daddy Games, 31st Union, Cloud Chamber et HB Studios.
Le portefeuille de 2K comprend actuellement plusieurs marques AAA, de sport et de divertissement, dont la puissance mondiale NBA® 2K ; les célèbres franchises BioShock®, Borderlands®, Mafia, Sid Meier’s Civilization® et XCOM® ; les franchises populaires WWE® 2K et WWE® SuperCard ; ainsi que le PGA TOUR® 2K, acclamé par la critique et le public.
Des informations supplémentaires sur 2K et ses produits sont disponibles sur 2K.com et sur les réseaux sociaux officiels de la société.