Évolution rapide à l’intersection de l’IA et des effets visuels

Perforce et Rod Cope, vice-président de Perforce Software, considèrent que l’IA a un impact important sur la production virtuelle.
Il explique : « D’une part, l’IA va permettre aux équipes créatives de générer beaucoup plus d’actifs artistiques, d’autant plus que les outils d’IA de conversion de texte en 3D deviennent de plus en plus sophistiqués. Ce sera la clé de la production virtuelle et de la prévisualisation. Les producteurs et les directeurs artistiques vont pouvoir expérimenter un plus large éventail d’options, et je pense que cela stimulera leur créativité de bien de nouvelles façons.

Yashar Behzadi, fondateur et PDG de Synthetic World Synthesis AI, estime que les données synthétiques auront un impact transformateur sur la production télévisuelle et cinématographique dans un certain nombre de domaines, tels que les décors et environnements virtuels, la prévisualisation et les storyboards, les personnages et créatures virtuels, ainsi que les effets visuels et la post-production.
Behzadi poursuit : « La vision de Synthesis AI a toujours été de synthétiser le monde. Notre équipe est composée de personnes ayant de l’expérience dans l’animation, la conception de jeux et les effets visuels. Leur expertise dans ce domaine a permis à Synthesis AI de créer et de publier une bibliothèque de plus de 100 000 humains numériques, qui sert de données d’entraînement pour notre projet de conversion de texte en 3D, Synthesis Labs.

En savoir plus sur GenAI « Aujourd’hui, avec l’émergence de modèles et de solutions d’IA générative plus sophistiqués, nous commençons à envisager de nombreuses autres façons de l’utiliser », explique M. Basse de Digital Domain.
« Les outils émergents de l’IA générative, tels que ChatGPT, MidJourney, Stable Diffusion et RunwayML, sont très prometteurs. »
Basse poursuit : « GenAI est vraiment bon pour commencer le processus créatif, générer des idées et des choix. GenAI ne génère pas réellement d’art, il crée des variantes et des choix basés sur l’art antérieur. Mais ce processus peut fournir d’excellents points de départ pour l’art conceptuel. Mais le produit final viendra toujours des artistes humains, car ils sont les seuls à savoir vraiment ce qu’ils veulent. Cela dit, j’ai de grandes attentes quant à l’utilisation de la technologie GenAI dans le storyboard et la prévisualisation. Je pense que nous verrons très bientôt beaucoup de traction avec GenAI dans ces domaines.
Fischler d’Autodesk note : « Avoir la capacité de générer des ressources de haute qualité aurait un impact très important sur les créateurs de contenu en production. mais le défi consiste à rendre ces ressources prêtes pour la production pour le cinéma, la télévision ou les jeux Triple A. Nous voyons des outils potentiellement utiles dans le bas de gamme, mais il est beaucoup plus difficile de faire en sorte que l’IA génère des ressources utiles lorsque vous avez un réalisateur, un directeur créatif et un superviseur d’animation avec une vision créative et une séquence de plans complexe à construire.
Wes Messina ajoute que la technologie de conversion de texte en modèle 3D « pourrait changer la donne, en nous éloignant du travail difficile de partir de zéro dans le développement d’actifs 3D ».
LeDoux affirme : « Cependant, il est important de se rappeler que l’art conceptuel généré par l’IA n’est pas là pour remplacer la créativité humaine. Au lieu de cela, c’est un outil génial qui peut ajouter et améliorer le processus artistique. En utilisant ces technologies d’IA, les artistes peuvent se concentrer sur l’aspect créatif de leur travail et donner vie à la vision du réalisateur plus efficacement, ce qui donne lieu à des productions très attrayantes et visuellement époustouflantes.

Dans l’ensemble , l’IA vous aidera dans de nombreuses tâches.
LeDoux commente : « Si nous divisons l’ensemble entre la préparation, la production et la post-production, puis que nous réfléchissons à tous les aspects des effets visuels pour chacun d’entre eux, vous pouvez vous aider à comprendre toutes les applications. En préparation, il est évident de disposer d’outils génératifs tels que Stable Diffusion pour aider à créer des concept art, mais d’autres outils pour aider à planifier, tels que des modèles de langage pour aider à analyser le script à des fins d’enchères basées sur les effets visuels, ainsi que la planification via le storyboard et la prévisualisation, sont énormes. En production, disposer d’outils pour aider à la gestion des actifs numériques, à l’assemblage et à la création d’actifs pour la production virtuelle permet un gain de temps considérable. En post-production, la liste est infinie, de l’assistance au rotoscope à la correspondance des couleurs en passant par l’aide à l’animation. « Nous pensons que l’IA aura un impact sur l’ensemble de notre flux de travail », déclare M. Basse.
« Il y a tellement de scénarios auxquels nous pouvons penser : la création de modèles 3D avec des invites de texte, la création de rigs complexes et de cycles d’animation, mais nous voyons également des applications potentielles dans la mise en page, l’éclairage, la texture et le lookdev. On s’attend également à ce que l’apprentissage automatique révolutionne la rotoscopie, qui est une partie très laborieuse et fastidieuse de notre flux de travail aujourd’hui.
« L’IA va également avoir un impact sur l’assurance qualité et le flux de travail. Je pense que nous verrons l’IA automatiser certaines des tâches les plus courantes de l’animation 3D, comme l’assemblage et le mappage UV, et l’identification des défauts de rendu - des choses qui prennent du temps mais ne nécessitent pas autant de créativité. L’IA va accélérer ces tâches. Et, comme l’IA permet aux équipes d’aller plus vite, les directeurs exigeront encore plus avec des délais d’exécution plus rapides. Les équipes qui n’adoptent pas l’IA dans leurs flux de travail seront tôt ou tard laissées pour compte.
Les tâches VFX qui bénéficieront de l’IA comprennent également la suppression d’objets, le matchmoving, l’étalonnage des couleurs, la mise à l’échelle et la restauration d’images, selon Behzadi de Synthesis AI.

L’apprentissage automatique a aidé Digital Domain à respecter ses délais pour She Hulk : Attorney at Law.
(Images reproduites avec l’aimable autorisation de Marvel Studios)

IA, VR et jeux vidéo Il est facile d’imaginer que l’IA pourrait donner un grand coup de pouce aux jeux vidéo et à la VR en augmentant considérablement l’interactivité et le réalisme.
« En pensant à un autre niveau, je pense que les jeux tels que nous les connaissons vont changer », dit Cope.
Par exemple, « l’IA va ouvrir la porte à des interactions plus naturelles et uniques avec les personnages d’un JdR. Et pourrait même conduire à des expériences de jeu complètement uniques pour chaque joueur et chaque voyage.
Behzadi de Synthesis AI commente : « Les expériences de réalité virtuelle peuvent être considérablement améliorées par l’IA de plusieurs façons, notamment le développement humain numérique, les simulations et la formation améliorées, ainsi que les applications de vision par ordinateur, pour n’en nommer que quelques-unes. »
Behzadi poursuit : « L’IA peut générer des humains numériques réalistes ou des avatars qui peuvent interagir avec les utilisateurs en temps réel. Ces avatars peuvent comprendre et répondre aux gestes, aux expressions faciales et aux commandes vocales des utilisateurs, créant ainsi des interactions plus naturelles et engageantes dans des environnements virtuels. Lorsqu’elle est associée à des techniques de vision par ordinateur, l’IA a un impact puissant sur l’amélioration de la qualité visuelle des expériences de réalité virtuelle, notamment un rendu graphique amélioré, des simulations physiques réalistes, la reconnaissance d’objets et le suivi des mouvements des utilisateurs dans l’environnement virtuel. Ces avancées conduisent finalement à des mondes VR plus époustouflants et immersifs.

La voie à suivre « S’il est vrai que l’IA, dans son essence, est un outil d’automatisation susceptible de déplacer des emplois, les précédents historiques suggèrent que l’automatisation peut également stimuler la création d’emplois dans les secteurs émergents. »
Un regard sur le dernier quart de siècle permet de bien comprendre cette tendance, note-t-il.
« L’industrie des effets visuels a connu une croissance exponentielle, alimentée en grande partie par les clients qui exigent des effets visuels de plus en plus complexes à mesure que la technologie progresse. »
M. LeDoux ajoute que l’IA apportera des améliorations significatives à la qualité et à l’accessibilité des effets visuels, « renforçant ainsi notre capacité de narration et d’expression créative ».
Letteri commente : « Dans le domaine des effets visuels, nous sommes toujours à la recherche de nouvelles façons d’aider le réalisateur à raconter son histoire. Parfois, il s’agit de développer de nouveaux outils qui permettent une plus grande fidélité d’image ou des simulations plus sophistiquées de phénomènes naturels – et parfois, il s’agit de trouver des moyens de faire tout cela plus efficacement.
« Il ne se passe pas un jour sans que nous ne voyions une annonce de nos fournisseurs d’outils ou de nouvelles startups vantant de nouvelles réalisations liées à la création de contenu à l’aide de l’IA et du ML. C’est une période très excitante pour notre industrie. Pour de nombreuses applications, il reste encore beaucoup de travail à faire, mais cette technologie évolue si rapidement que je pense que nous devons mesurer ces avancées majeures en quelques mois, et non en quelques années.