AI 和 VFX 交叉点的快速演变
2023年10月04日
公司联合创始人 Chris LeDoux 回忆道：“这一切都始于 COVID 期间，我观看了 Bycloud 和 Two Minute Papers 等作者的 YouTube 视频。然后，我们的视觉特效总监和常驻疯狂科学家 Aldo Ruggiero 开始向我展示他在他监督的电影中使用 AI 实现的许多令人难以置信的事情。
LeDoux 很清楚，“AI 将以巨大的方式撼动我们的行业。
他解释说：“AI/ML 的发展似乎会从根本上改变我们处理和解决与镜头创建和增强相关的问题的方式。我知道我们必须把它作为重中之重。
从那时起，Crafty Apes 将 AI 应用于广泛的 VFX 项目，这反映了视觉效果行业加速实施 AI 技术。
LeDoux 评论道：“我可以告诉你，我们已经将机器学习 [ML] 用于深度伪造创作、抗衰老效果、面部操作、动态抠像、图像和视频处理以及风格传输等任务，而且这个列表还在继续增长。他指出，一旦 AI 工具集成到管道中，它们“就会大大加快工作流程，显著降低 VFX 的成本，并允许艺术家将更多时间投入到创作中。
他补充说：“我们不应该高估 AI 的能力，现在有很多炒作。同时，它将对内容创作的各个方面产生重大而直接的影响，我们需要认识到其后果。 据 Basse 称， 该行业正在研究“许多非常有前途的 AI 和 ML 概念和实现，并且 [is] 今天已经使用了其中一些”。
数字王国在《 复仇者联盟：无限战争 》和《 复仇者联盟：终局之战 》以及 Disney+ 的《 女绿巨人：律师 》等备受瞩目的电影中采用了机器学习技术。
它还在数字王国的机器学习神经渲染软件 Charlatan 的帮助下，为 2021 年 2 月的超级碗创建了著名 NFL 教练文斯·隆巴迪 （Vince Lombardi） 的 3D“视觉模拟”。
Rising Sun Pictures 的机器学习整合了来自“学习参考资料库”的数据，以帮助为 《雷神：爱与雷霆》创建 Baby Thor。
作为 AI 的早期采用者，RSP 使用机器学习为婴儿提供栩栩如生的品质，同时展示脚本所需的行为。
（图片由漫威影业提供）
“我们去年在 《女绿巨人 》中的工作广泛使用了这项技术。
事实上，考虑到我们在这个项目上花费的时间和资源，我们认为如果没有它，我们不可能交付这么多镜头。 [We also did] 在 Blue Beetle 上进行布料模拟的一些出色工作。我们现在基本上在我们参与的任何节目中都使用这项技术。在此之前，《 复仇者联盟：无限战争 》中角色灭霸面部的数字创作是数字王国首次采用机器学习技术，并利用了 Masquerade 面部捕捉系统。 《复仇者联盟：终局之战 》紧随其后。
“从那时起，DD 在这项技术方面做了更多的工作，”Basse 评论道。
“例如，我们为大卫·贝克汉姆的'疟疾必须死——这样数百万人才能活下去'活动创造了一个旧版本，并使用我们基于 ML 的换脸技术 Charlatan 让已故的台湾歌手 Teresa Teng 以虚拟方式起死回生。”
Basse 补充道：“总的来说，事实证明，机器学习对于帮助创建更逼真和准确的结果非常有用。但实际上是 AI 和我们艺术家的技艺（在许多情况下，他们几十年来获得的技艺）的相互作用，使我们能够创造出可信的结果。 Wētā FX “长期以来，我们一直在使用各种 ML 工具和基本 AI 模型，”Wētā FX 高级视觉效果总监 Joe Letteri 说。
事实上，早在 《指环王 》中就一直使用的 Massive 软件使用原始模糊逻辑 AI 来驱动其代理。
Letteri 指出：“多年来，机器学习在整个行业的降噪渲染中也很普遍。
在 Gemini Man 中，我们使用了深度学习求解器来帮助我们实现面部系统中肌肉激活的更大一致性。它帮助我们简化了整个面部复杂运动所涉及的组合，以构建更可预测的结果。Wētā 为 《阿凡达 2 》更改了面部动画系统，并采用了新的深度学习方法。
Letteri 说：“我们基于 FACS 的面部动画系统产生了很好的结果，但我们认为我们可以做得更好。随着我们的动画师和面部建模师越来越优秀，我们需要越来越灵活和复杂的系统来适应他们的工作。因此，我们采用了一种神经网络方法，使我们能够更多地利用演员正在做的事情，并向艺术家隐藏一些复杂性，同时赋予他们更多的控制权。我们还能够从一开始就获得更复杂的次级肌肉激活，因此面部在给定的流形空间内作为一个完整的系统工作，就像人脸一样。
他解释说：“在设置过程中，除了拍摄的元素外，我们还利用渲染的图像来训练深度学习模型。这使我们能够收集到更多不同变化和位置的参考，而不是我们可能获得的参考。我们可以训练系统理解给定的布景环境，以及角色在片场几乎每个位置以各种姿势的位置——这对于工作电影布景中的演员来说是不切实际的。
Letteri 评论道：“VFX 管道一直在发展，有时是由硬件或软件进步驱动的，有时是通过新的和创新的技术。没有理由认为我们不会找到在 VFX 中部署 AI 增强工作流程的新方法。为艺术家提供快速迭代和探索同时多个同步结果的方法可能非常强大。作为 QC 或一致性工具，它也具有很大的潜力，许多艺术家现在都在使用它。 欧特克 “随着艺术家设计和创造未来，AI 有可能对 VFX 产生革命性的影响，”Autodesk 内容创建产品管理总监 Ben Fischler 说。
“互联网经过多年形成，它需要时间才能成为我们日常生活的一部分，人工智能也将类似。对于视觉效果行业来说，就是要将其集成到工作流程中，使其变得更好。这不会立即拨动开关，虽然某些区域会很快，但其他区域需要更长的时间。
自从 Autodesk 在 Flame 中采用 AI 工具以来，已经有两年多的时间了。
“Flame 将 AI 融入到艺术家的工作流程中，并极大地增强了它。动态抠像、金丝去除和复杂的面部遮罩创建等过程可以追溯到视觉效果的起源，当时我们用光学而不是数字方式做事，而且它们仍然是劳动密集型的。在这些过程中，在正确的地方使用一点 AI 会大有帮助，“Fischler 解释道。
“以 Flame 为例，我们可以将艺术家需要花费数小时才能完成的流程转变为 20 分钟的流程。”
Autodesk 最近与 Microsoft 合作推出了 Maya Assist 的私人测试版。
“它是为 Maya 和 3D 动画的新用户开发的，并通过 ChatGPT 使用语音提示与 Maya 交互，”Fischler 说。
旭日影业 大约五年前，RSP 开始与澳大利亚机器学习研究所 （AIML） 合作，该研究所与阿德莱德大学有联系，旨在将新兴技术整合到其视觉效果管道中。
AIML 博士后研究人员 John Bastian 和 Ben Ward 看到了 AI 在电影制作中的潜力并加入了 RSP;他们现在与 Troy Tobin 一起领导其 AI 开发团队。
漫威的《 雷神：爱与雷霆》是受益的多个项目之一，其中 RSP 将从人类婴儿（迪士尼前首席执行官鲍勃·查佩克的孙子）收集的数据应用于 CG 婴儿。
通过与电影制作团队合作，他们能够“指导”他们的数字婴儿执行特定手势并表现出剧本所需的情感。
根据该电影的高级视觉特效制作人 Ian Cope 在 RSP 网站上引用的说法，“与标准的'深度伪造'方法相比，这种技术的优势在于，表演来自由学习的参考资料库增强的动画。
外观经过多次迭代打磨，以实现对观众来说似乎真实的数字婴儿。
“我们所做的工作不仅仅是机器学习，”现在是 RSP 高级机器学习开发人员的 Ward 补充道。
“我们的开发人员还负责将我们的工具集成到艺术家使用的管道中。这意味着制作跟踪和资产管理，并从创意的角度为艺术家提供他们需要的控制。
AI 和合成团队在多个项目中合作，在相互理解中得到了发展。
在早期探索了这个领域后，“我们对这两个世界如何碰撞以及如何在制作环境中利用它们的 [AI] 工具了解了很多，”RSP 首席合成师 Robert Beveridge 说。
“每个项目的协作都得到了改进，这帮助我们超越了以前所做的工作。工作质量不断提高。
Jellyfish Pictures “AI 和 ML 为我们的工作流程提供了令人兴奋的机会。我们正在探索如何最好地实施它们，“Jellyfish Pictures 技术方向主管 Paul J. Baaske 说。
“例如，我们如何利用 AI 创建保真度更高的布料和肌肉模拟。
这对我们来说是一个非常有趣的途径。
其他领域是成像 - 从更好的去噪、Roto 蒙版到更快地创建纹理。
但我们看到的一些最大收益 [are] 在数据或图书馆管理等领域。Baaske 补充道：“向前发展的关键是工作室通过'我们如何进一步学习和开发我们的内部模型'来看待他们的输出和数据。拥有可用于训练的历史数据并巧妙地部署这些数据以获得竞争优势，有助于有所作为，并使艺术家能够更多地专注于创意，而不是等待长时间的计算。 维康 “我认为 AI 影响动作捕捉的最重要方式之一是它将在多大程度上扩大其应用程序和核心用户群，”Vicon 的 VFX 产品经理 David “Ed” Edwards 评论道。
“每种动作捕捉方法都有其各自的优点和缺点。我们从 VFX 中——当然在虚拟制片的激增期间——看到的是，技术的可访问性和对协作的适用性是采用的驱动力。AI 解决方案在这方面显示出巨大的前景。
Edwards 补充道：“现代受众的需求和期望意味着内容需要比以往任何时候都更快地制作，并达到始终如一的高标准。随着 AI 在众多应用程序、工作流和管道中迅速变得无处不在，它已经有力地证明了自己是一个统一者，以及它本身就是一个有效的工具。
Studio Lab/Dimension 5 “我认为，通过使用 AI，我们将看到许多流程得到简化，这将使我们能够看到独特外观的多种变体，”Studio Lab 虚拟制作总监兼实时制作公司 Dimension 5 的所有者 Ian Messina 说。
Dimension 5 生成式 AI 总监 Wesley Messina 说：“像 Wonder.ai 这样的一些开拓者正在通过开发工具来突破技术的界限，这些工具可以仅使用视频片段将任何演员变成数字角色。这消除了对沉重的运动跟踪套装的需求，并为动画的未来描绘了一幅充满希望的画面。
Rising Sun Pictures 的机器学习整合了来自“学习参考资料库”的数据，以帮助为 《雷神：爱与雷霆》创建 Baby Thor。
作为 AI 的早期采用者，RSP 使用机器学习为婴儿提供栩栩如生的品质，同时展示脚本所需的行为。
（图片由漫威影业提供）
“互联网经过多年形成，它需要时间才能成为我们日常生活的一部分，人工智能也将类似。对于视觉效果行业来说，就是要将其集成到工作流程中，使其变得更好。这不会是立即拨动开关，虽然某些区域会很快，但其他区域需要更长的时间。—Autodesk 内容创建产品管理总监 Ben Fischler
Perforce 和 Perforce Software 副总裁 Rod Cope 认为 AI 对虚拟制作有很大影响。
他解释说：“首先，AI 将让创意团队生成更多的艺术资产，尤其是在文本到 3D AI 工具变得更加复杂的情况下。这将是虚拟制作和预览的关键。制片人和艺术总监将能够尝试更广泛的选择，我认为这将以很多新的方式激发他们的创造力。
Synthetic World Synthesis AI 创始人兼首席执行官 Yashar Behzadi 认为，合成数据将在许多领域对电视和电影制作产生变革性影响，例如虚拟场景和环境、可视化前和故事板、虚拟角色和生物以及 VFX 和后期制作。
Behzadi 继续说道：“Synthesis AI 的愿景一直是合成世界。我们的团队由具有动画、游戏设计和 VFX 经验的人组成。他们在这一领域的专业知识使 Synthesis AI 能够创建并发布一个包含超过 100,000 个数字人的库，作为我们文本到 3D 项目 Synthesis Labs 的训练数据。
有关 GenAI 的更多信息 “现在，随着更复杂的生成式 AI 模型和解决方案的出现，我们开始寻找更多使用它的方法，”数字王国的 Basse 解释道。
“生成式 AI 中的新兴工具，如 ChatGPT、MidJourney、Stable Diffusion 和 RunwayML，显示出很大的前景。”
Basse 继续说道：“GenAI 非常适合开始创作过程，产生想法和选择。GenAI 实际上并不生成艺术，它创造了基于现有技术的变体和选择。但这个过程可以为概念艺术提供很好的起点。但最终的产品仍然会来自人类艺术家，因为只有他们真正知道自己想要什么。话虽如此，我对 GenAI 技术在故事板和预可视化中的使用抱有很高的期望。我相信我们很快就会看到 GenAI 在这些领域的巨大吸引力。
Autodesk 的 Fischler 指出：“能够生成高质量的资产将对生产中的内容创建者产生非常大的影响。但挑战在于使这些资产为电影、电视或 Triple A 游戏做好制作准备。我们在低端看到了可能有用的工具，但当你有导演、创意总监和动画总监，他们有创意的愿景和复杂的镜头序列要构建时，让 AI 生成有用的资产要困难得多。
Wes Messina 补充说，文本到 3D 模型技术“可能会改变游戏规则，让我们摆脱从头开始开发 3D 资产的艰苦工作。
LeDoux 认为：“然而，重要的是要记住，AI 生成的概念艺术并不是为了取代人类的创造力。相反，它是一个可以添加和改进艺术过程的 rad 工具。通过使用这些 AI 技术，艺术家可以专注于他们工作的创意方面，更有效地将导演的愿景变为现实，从而产生超级引人入胜且视觉震撼的作品。
VFX Taskmasters 总的来说，AI 将帮助完成许多任务。
LeDoux 评论道：“如果我们将它分为准备、制作和后期制作，然后考虑每个方面的 VFX 的所有方面，您就可以帮助您了解所有应用程序。在准备阶段，使用 Stable Diffusion 等生成工具来帮助创建概念艺术是显而易见的，但其他工具来帮助规划，例如帮助解析脚本以进行基于 VFX 的投标目的的语言模型，以及通过故事板和预览进行规划是巨大的。在制作中，拥有有助于进行数字资产管理、拼接和虚拟制作资产构建的工具可以节省大量时间。在后期制作中，从动态抠像仪辅助到色彩匹配再到动画辅助，这个列表是无穷无尽的。“我们认为 AI 将影响我们的整个工作流程，”Basse 说。
“我们可以考虑很多场景：创建带有文本提示的 3D 模型，创建复杂的绑定和动画循环，但我们也看到了布局、照明、纹理和外观开发方面的潜在应用。人们还期望机器学习将彻底改变动态抠像，这是我们当今工作流程中非常耗费人力且乏味的部分。
Perforce 的 Cope 补充道：“AI 也将对质量保证和工作流程产生影响。我认为我们将看到 AI 自动执行 3D 动画中一些更死记硬背的任务，例如拼接和 UV 映射，以及识别渲染缺陷——这些任务需要时间，但不需要那么多的创造力。AI 将加速这些任务。而且，由于 AI 使团队能够更快地发展，因此董事们将要求更高，周转时间更快。不在工作流程中采用 AI 的团队迟早会被抛在后面。
据 Synthesis AI 的 Behzadi 称，将从 AI 中受益的 VFX 任务还包括对象删除、匹配移动、颜色分级以及图像放大和恢复。
机器学习帮助数字王国在截止日期前完成了《 女绿巨人：律师》。
（图片由漫威影业提供）
人工智能、虚拟现实和视频游戏 很容易想象，AI 可以通过大大提高交互性和真实感来极大地推动视频游戏和 VR。
“从另一个层面上思考，我认为我们所知道的游戏会发生变化，”Cope 说。
例如，“AI 将为与 RPG 中的角色进行更自然、更独特的互动打开大门。甚至可能为每个玩家和旅程带来完全独特的游戏内体验。
Synthesis AI 的 Behzadi 评论道：“AI 可以通过多种方式大大增强虚拟现实体验，包括数字人类开发、增强的模拟和培训以及计算机视觉应用程序等。
Behzadi 继续说道：“AI 可以生成逼真的数字人或化身，可以与用户实时互动。这些虚拟形象可以理解和响应用户的手势、面部表情和语音命令，从而在虚拟环境中创建更自然、更吸引人的交互。当与计算机视觉技术结合使用时，AI 对提高 VR 体验的视觉质量具有强大的影响，包括改进的图形渲染、逼真的物理模拟、对象识别和跟踪用户在虚拟环境中的移动。这些进步最终会带来更具视觉冲击力和身临其境的 VR 世界。
前方的道路 展望未来，LeDoux 认为：“虽然人工智能本质上确实是一种有可能取代工作岗位的自动化工具，但历史先例表明，自动化也可以刺激新兴行业创造就业机会。
他指出，回顾过去 25 年，可以很好地理解这一趋势。
“VFX 行业呈指数级增长，这主要是由于客户随着技术的进步要求越来越复杂的视觉效果。”
LeDoux 补充说，AI 将显着改善视觉效果的质量和可访问性，“从而增强我们讲故事和创意表达的能力。
Letteri 评论道：“在 VFX 中，我们一直在寻找新的方法来帮助导演讲述他们的故事。有时，这是在开发新的工具，以实现更高的图像保真度或对自然现象进行更复杂的模拟，有时，他们是为了寻找更有效地完成所有这些工作的方法。
Basse 总结道：“我们每天都会看到工具供应商或新初创公司的公告，宣传与使用 AI 和 ML 创建内容相关的一些新成就。对于我们行业来说，这是一个非常激动人心的时刻。对于许多应用程序，仍有许多工作要做，但这项技术发展如此迅速，我认为我们需要在几个月而不是几年内衡量这些重大进步。