Digital Domain 为 Blue Beetle 进入机器学习模式

2023年12月05日突破数字人类的界限已成为数字王国的标准做法， 蓝甲虫 的主角提供了一个机会，可以全面测试由机器学习和称为 ML Cloth 的自定义神经系统驱动的布料系统。
目标是让橡胶状的超级英雄套装根据 Jaime Reyes（Xolo Maridueña 饰）的动作折叠和起皱，他已经与外星技术制造的圣甲虫融合在一起。
ML Cloth 的初步测试始于 She-Hulk： Attorney at Law。
“我们发现，实施没有考虑动画师的偏好，因此它几乎就像软件工程师的软件工程，”数字王国副首席软件工程师 John-Mark Gibbons 解释道。
“对于动画师来说，使用起来太混乱了，所以我们扔掉了 《女绿巨人 》的大部分工作流程，并将其重新构想为艺术家成为该工具的核心。
我们希望成功，而在 Blue Beetle 上，我们取得了巨大的成功。我们对这一结果感到兴奋，并希望看到它在未来的展会中取得进展。 当涉及到训练数据集时，一切都是定制的。
“我们没有经过一般训练的模型，他们知道布料的工作原理，”Gibbons 指出。
“我们正在做的是了解特定资产是如何变形的。”
不涉及网络抓取。
“我们仍然使用传统设置和装备，通过某些类型的肌肉和体积控制来让底层身体按照我们想要的方式移动，”数字王国的视觉效果总监 Jay Barton 说。
“我们仍然在此基础上制作了传统的布料装置。在这种情况下，我们进行了大量健美操训练，试图将可能的运动范围封装在已经建立和工作的布料设置中。一旦我们有了这些，训练和机器学习就会采用新的动画，通过设置运行它，并提出特定于该动画的布料模拟，但根据我们最初的东西进行训练。它都是在内部进行的，在同一个罐子里旋转，没有很多部门对其进行审查、接触和继续进行。完成所有这些训练数据后，动画师在制作动画时可以问，'布料是什么样子的？然后重新运行他们的动画，并在他们的预览中看到布料。它不像 AI 布。它就是机器学习。

采用 ML Cloth 提高了效率。
“节目中发生的一个很好的例子是，动画师可以在他们的场景文件中打开它，当他们工作时注意到它做了一些奇怪的事情，”Barton 回忆道。
“在食物链中向上发展。每个人都就此进行了一次简短的会议。首席布料艺术家调整了它的工作原理中的一些设置。每个人都看着镜头说，'这似乎是对的。重新运行训练数据，所有后续镜头都进行了修复，而我们不必经历传统的“做布料，在动画上做设置，渲染它”，然后进入审查，我坐在放映室说，“那块布料看起来不对劲。”这可能需要几周时间。我在几个小时内解决了这个问题。我从来不需要看到它。这太棒了。
必须将镜头添加到训练数据集中，才能改进机器学习。
“重要的是，模型必须知道 Rig 正在执行哪些类型的动画，”Gibbons 评论道。
“我们可以在运动范围内训练它，但从资产到资产，你将拥有更具体、更有针对性的动画，角色往往会做很多事情。随着节目的进行，我们更加意识到这个角色的手臂举起比我们的训练布景要多得多，所以也许我们应该在训练中更多这种类型的镜头。

构建了与数字版本相匹配的实用西装。
“即使我们要更换防护服，我们的目的是尽可能多地使用穿着真实防护服的真实演员的真实镜头，”Barton 说。
“当然，有些事情实用套装会做一些我们不希望它做的事情，或者在某些情况下，我们不需要与实际相匹配的东西，因为动作比人类所能做的事情要奇幻、疯狂和夸张得多。实用的西装由泡沫、橡胶和可能变形的较硬塑料件制成。我们让演员和特技演员来测试它。
对有和没有西装的 Xolo Maridueña 以及他的特技替身进行了扫描。
“我们确实有很多东西可以作为解剖学上正确的模型和装备的基础，作为布料模拟的基础，”Barton 补充道。
西装的转变每次都不同，以反映主角的角色弧线。
“当第一次转变发生时，杰米·雷耶斯并不是一个愿意参与的人，到电影结束时，他已经控制了这套衣服，”巴顿指出。
“我们想要如何做到这一点，哪些方面会在电影的各种转变中相关，以及当他获得控制权时，哪些方面会有所不同，我们进行了很多探索。”

为了使 ML Cloth 正常工作，三个部门彼此密切合作。
“你用动画来定义角色的移动方式，”Gibbons 评论道。
“你有 rigging，它为动画师设置绑定，但你有 CFX，它必须确保他们的 Rig 以动画预期的方式变形。ML Cloth 允许我们做的是加强这些部门之间的联系，这样它就不会放弃对任何东西的所有权。所有部门仍然完全拥有他们正在做的事情，CFX 钻机将达到我们预期的高标准，但我们能够扩大部门之间的沟通，以从 ML Cloth 中获得良好的结果。
ML Cloth 缓解了担忧因素。