Digital Domain 为 DC 的 Blue Beetle 展示其新的 ML Cloth 系统

2023年12月30日数字王国谈到了将 DC 超级英雄 Blue Beetle 可视化，并在故事片中首次使用团队的机器学习布料工具制作了他智能、强大的套装。 作为首席视觉特效供应商， 数字王国 为新的超级英雄电影《 蓝甲虫 》的六个序列贡献了近700个镜头，并亲自负责蓝甲虫这个角色。
该团队还为反派 Carapax 创建了资产、史诗般的最终战斗场景、多个环境和其他工作。
然而，由于《蓝甲虫》是明星，而且他出现的每个镜头都聚焦着观众的目光，因此创建他的3D资产需要创造力和讲故事，以及数字王国几个不同团队精心协调的效果。
在 VFX 总监 Jay Barton 的领导下，他们从 DC 漫画书、动画卡通和视频游戏等来源汲取灵感，开始了这部分项目。
通过对演员在片场穿着的实用西装进行扫描和拍照，数字王国创建了一个精确的数字复制品。
从那里开始，他们加入了可制作动画的西装扩展，使服装更具细节、复杂性和个性。
有了所有这些元素，他们就准备好根据每个序列的需要增强实用套装，或者完全替换部分或全部动作，用于无法用摄像机捕捉的动作，例如飞行和打斗序列。 设计语言 从一开始，Blue Beetle 资产就是一个挑战。
该剧对这个角色的愿景绝对是照片级的，在短短的几个镜头中，英雄海梅·雷耶斯 （Jaime Reyes） 只是穿着他的实用套装，没有任何增强——大多数镜头要么添加了 CG，要么完全替换了 CG。
“服装的外观及其延伸部分必须从一个镜头到下一个镜头没有区别。但即便如此，Blue Beetle 武器的外观和部署和使用方式，在照片般真实和物理准确性与奇幻和令人惊讶之间走了一条细线。在这方面，他一直是一个非常有趣的角色！
该团队以实用西装为基础，在细节和材料饰面方面设计得非常复杂。
有机的、超凡脱俗的纹理有助于加强其起源的外星人方面。
“使用相同的设计语言，我们创建了支持这种有机外星技术的 CG 套装扩展和 FX。我们的工作包括动画技术，以帮助强化故事点，起初，当 Jaime 突然部署或在没有他参与的情况下做事时，所有这些技术细节都会让 Jaime 感到惊讶。但到最后，詹姆和西装当然会密切合作，做更大、更强大的事情。

摄像机内、后期 – 或两者兼而有之 确定故事中何时必须部分或全部地用数字元素替换这套衣服是一个持续的过程。
像大多数电影一样，最初的想法是尝试尽可能多地使用相机。
“这实际上太棒了，因为片场的每个人都参与其中，试图在当天使其尽可能出色，尽管拍摄的现实意味着有时特技操纵会对西装产生如此大的影响，以至于它无法用于最终画面。显然，当角色应该非常强大时，演员的身体能力也可能是一个限制，“Jay 说。
“尽管如此，只要在片场尝试这些东西，就可以很好地了解镜头的意图。在拍摄和编辑过程中，可以是一个有机的过程，以弄清楚哪些镜头按预期工作，哪些镜头需要更换。当然，由于 Blue Beetle 具有非凡的能力，因此许多序列都是完全以 CG 镜头的形式开始和完成的。 总的来说，艺术部门进行了大量探索，以创造出虽然独特但仍然立即被识别为属于 Blue Beetle 世界的设计。
例如，在武器方面，其中一些与漫画书中的武器非常相似，但其余的仅在概念上遵循原作。
“我们对其中一些武器玩得很开心，并且可以在它们的部署方式和形状方面发挥创意，这符合漫画的精髓，但符合这种新的设计美学。” Digi-双 电影制作过程中出现了各种时刻，这使得拥有 Blue Beetle 的演员 Xolo Maridueña 的 CG 版本非常有用。
该模型的构建基于生产提供的扫描和照片。
它被用于 Blue Beetle 不戴头盔时的动作镜头，以及从 Jaime 到 Blue Beetle 的过渡镜头。
还根据特技表演者的身体为一些徒手特技镜头创建了另一种 Blue Beetle 模型。

“它需要准确和精确，并且与我们的演员没有区别，但事实上，动画师对我们的全 CG 蓝甲虫很感兴趣，尤其是在他转变的早期。导演安赫尔·曼努埃尔·索托 （Ángel Manuel Soto） 真的希望每个人都觉得詹姆被带去兜风，几乎没有控制西装的动作。我们努力创造出能够推销西装本身力量的镜头，并结合一个害怕但兴奋的孩子被带上人生旅程的异想天开的本质。 富有表现力的扩展 动画套装的延伸需要富有表现力和创造力，这使得为作品制定一致的方法成为一项挑战。
Jay 说：“虽然每个镜头都有一个框架和一致的技术，但镜头之间的感觉可能会大不相同。
我们的动画总监 Arda Uysal 和 FX 总监 Eddie Smith
他们一起想出了独特的变体，帮助推销这些元素的情感，这取决于它们如何融入故事。有时它们是为了给我们带来惊喜，有时是出于绝望，最后，它们以非常刻意的关注为重点。由于他西装上各种元素的自发光也很重要，因此团队通过尝试尽可能准确地实现物理准确性来实现这一点。由于它在夜间和黑暗场景中更加突出，它不仅成为帧中非常突出的图形元素，而且帮助观众阅读蓝甲虫的动作也是必不可少的，因为他的衣服是如此黑暗。“这套衣服的眼睛有一个复杂的内部结构，就像一个被照亮的外星相机，他的眼睛的外表面是反光的，导致它们在每个镜头中看起来完全不同。尽管如此，他们是角色性格的重要组成部分，我们花时间做了很多调整，让他们感觉一致。
服装和 ML 布料为 Blue Beetle 的服装创造逼真的触觉质量本身就是一项特殊的任务，数字王国团队通过开发一个布料系统来解决，该系统使用机器学习和自定义神经网络来了解布料应该如何对运动做出反应。
在这种情况下，ML Cloth 系统了解了 Blue Beetle 的橡胶状西装如何随着超级英雄的动作而折叠和起皱。
用于这种材料的传统方法耗时、昂贵，并且会在管道的单独阶段进行。
借助这个新工具，该团队能够在动画师经常使用的同一程序中看到布料模拟，并使其几乎实时地工作，从而为动画师提供即时反馈，帮助他们做出决策，并允许主管快速查看结果。
该团队最初计划仅在中景或远景镜头中使用该工具，但在看到它的准确性和速度后，甚至在特写镜头中，它被用于工作室整部电影的工作中。
虽然最初在漫威影业的《女绿巨人：律师》中进行了测试，但《蓝甲虫》标志着它首次被用于故事片。Cloth with a Memory John Mark Gibbons 是数字王国的副首席软件工程师，目前正在领导 ML Cloth 的开发。
他谈到了 Blue Beetle 服装的紧身性如何使其成为 ML Cloth 的良好候选者。
“虽然 Blue Beetle 的服装很复杂，有不同的材料和小细节，但它不是涉及需要在风中拍打或对重力做出反应的自由飞行部件，而是与他的身体紧密贴合。它通过拉伸、起皱和形成最初没有的褶皱来对他的动作做出反应。
有几个因素使传统的布料模拟对 VFX 艺术家来说非常耗时。
首先，布料模拟很容易被困在其他几何体中的点捕获。 杰伊说：“这会导致粘连和奇怪的聚集，尤其是当像超级英雄这样的角色在战斗或以不可能的速度旅行时做出一些非常离谱的动作时。制作一个在所有情况下都能工作的装备也很困难，需要在建模、装备和布料之间来回切换，才能得到一个接近 90% 的时间，但仍然需要大量调整的版本。
John-Mark 描述了新系统为动画团队带来的不同，使他们能够简化和加快动画装备的开发。
“我们为动画师创建了一个包含 ML Cloth 变形的绑定，以及他们期望的标准绑定。这不仅为他们提供了最终变形的预览，而且消除了对仿真的需求，从而消除了将真实世界的物理应用于不可能的运动时出现的许多问题。“长而快速移动的镜头特别难以模拟，需要 CFX 艺术家进行大量的艺术创作。与依赖于时间的模拟不同，ML Cloth 只是记住如何在给定姿势的情况下使身体的各个部分变形。因此，只要训练数据干净并覆盖角色的运动范围，我们就可以相信近似结果不会碎裂、缠结或爆炸。
此外，动画师还可以预览场景中的最终变形。
这有助于及早发现模拟装置中的问题，并发现有问题的动画姿势，这些姿势可能会导致未来的部门出现问题。 训练网络 为了开始“教”神经网络关于防护服橡胶布的性质以及它应该如何响应角色的动作，CFX 团队仍然必须为防护服研究和制作模拟变形。
“幸运的是，我们有非常有才华的艺术家，他们研究、构建和维护了 CFX 模拟套装，”John-Mark 说。
“我们的目标是尽可能多地保留原始艺术性，同时将模拟换成装置中的近似变形。”我们向网络展示了许多不同姿势的 Blue Beetle 服装示例。然后，它通过迭代优化和改进对变形的理解来学习准确模拟仿真，直到近似结果可能被误认为是仿真结果。  

他们在早期积极重建大部分管道，同时进行 Blue Beetle 训练，因此很难说网络需要多长时间才能准备好投入生产。
但是，一旦他们有了该工具的稳定版本，培训从开始到结束通常需要大约 8 小时。
John-Mark 说：“当需要为某个项目训练 ML Cloth 时，我们会要求动画主管将角色可能执行的各种动作的一些动画剪辑放在一起。这些训练姿势必须涵盖角色的整个运动范围，以便 ML Cloth 可以在生产中正确地近似相关的动画姿势。“这种特定于资产的动画与一些标准范围的运动动画相结合，然后用于训练模型。我们通过让它执行训练集中未出现的动画来测试结果，告诉我们模型是否泛化到新的运动，或者我们是否需要进一步训练、添加动画或调整参数。
构建经过训练的钻机 训练完成后，团队可以自动构建新的 Maya 绑定，方法是剥离现在使用 ML Cloth 近似的动画绑定部分，然后将训练后的模型注入到绑定中，以取代它，这样就不会丢失任何功能。
然后，动画师可以选择在工作时在场景中加载他们喜欢的任何装备。
“虽然他们可以自由地按照自己的喜好工作，但我们建议动画师使用 ML Cloth 装置，因为它让他们有机会在中断制作之前发现有问题的姿势并标记模拟问题，”John-Mark 说。
“无论动画师在工作时是否使用了 ML Cloth 装备，ML Cloth 变形都将被缓存并传递给下一个部门，就像镜头的所有其他缓存产品一样。然后在照明中评估特定于镜头的 ML Cloth 结果。
Jay 认为，该系统的主要优势之一是，一旦设置好，动画师就可以在工作时监控动画装置上的布料。
有时，可以通过布料的反应方式检测到从相机看起来正确的奇怪姿势。
即使出色的姿势会导致问题，仍然可以调整布料。 digitaldomain.com撰文：Adriene Hurst，编辑