数字王国推出 Masquerade3

2024年05月18日数字王国推出了名为“Masquerade3”的面部动作捕捉系统的最新进展。
新的 Masquerade3 提供了更高的质量，但采用了新的无标记面部捕捉管道。
新系统建立在其前身 Masquerade 2.0 的成功基础上，后者将人类面部动态的复杂性引入数字角色，并为他们的项目提供了更多情感表演。
Masquerade 2.0 于 2020 年底发布，并广泛用于 SheHulk 等项目。

 

  通过消除表演者脸上标记的需求，Masquerade3 提高了片场效率，减轻了演员的压力，并激发了更广泛的创造力。
Masquerade3 是一种多功能解决方案，可以满足各种项目要求和预算。
因此，它可以显著降低每次拍摄的集成和索具成本。
此外，它最大限度地减少了演员花在化妆上的时间，使他们能够更专注于自己的表演和现场校准。
通过提供更快的捕获到重建时间，Masquerade3 可以帮助制作更快地获得结果、简化工作流程并减少延迟。 也许 Masquerade3 最显着的好处之一是其无标记捕获技术。
该产品无需标记，为人才、导演和现场工作人员节省了时间，从而简化了制作流程。
与前代产品相比，Masquerade3 具有更高的稳定性，减少了手动迭代的需要，并立即产生更可靠的结果。
通过集成的眼动估计，Masquerade3 降低了动画、VFX 和处理的劳动力成本，为重建整个表演提供了更有效的解决方案。
据数字王国首席执行官 Daniel Seah 称，它具有适应性，是“动作捕捉技术的革命性进步。无标记捕捉功能、增强的稳定性和无与伦比的灵活性使电影制作人能够比以往任何时候都更容易、更高效、更有效地将他们的创意愿景变为现实。

之前介绍了 Masquerade 2.0，它本身是一个半自动标记系统，具有先进的机器学习功能，比 DD 的早期版本快 10 倍，当时引入了眼睛凝视和眼睑跟踪。
请在此处查看 我们的故事。 因此，我们很想在今年的 FMX 会议上与数字王国的首席技术官 Hanno Basse 讨论新版本。
在 FMX 上，Hanno 与 fxguide 的 Mike Seymour 一起介绍了数字人类。
Hanno 和 Mike 还与 Choas 的 Dan Ring 和 AvatarOS 的 Issac Bratzel 一起参加了数字人类小组讨论。
从本质上讲，Masquerade3 的概念方法与数字王国在 Masquerade 1.0 中用于创建《 复仇者联盟：无限战争 》中的 Thanos 的概念方法相同。但是，连续几代机器学习已经对该过程进行了改进和自动化，以生成一个更快的系统，更忠实于原始演员的微妙面部表演和表演选择。
例如，Masquerade3 更健壮，因为标记系统的固有限制是这些标记从一个设置到下一个设置的一致性。
Masquerade 2 必须假设这些点正好位于脸上的相同位置，而 Masquerade3 只依赖于演员的真实面部。
无论化妆团队在片场多么投入，依赖准确的面部标记都会给化妆过程带来自己的噪音。
此外，头戴式摄像机装置位于演员头上的确切角度的变化通常需要补偿，在 Masquerade3 中，这完全解决了一个问题。  

与地面实况相比，该系统的精度测量低至 0.5 毫米。
虽然 Masquerade 2 也可以非常准确，但要达到如此准确度的手动工作和调整量要大得多。
“我们认为它看起来非常有说服力，”Hanno Basse 说。
“这对制作人员来说更容易，对表演者来说也更容易，而且后期制作的工作流程也快得多。现在一切都是自动化的，在过去清理标记可能很糟糕，我们不再需要做任何事情，我们获取印版数据，运行模型，然后取出 CG。
Masquerade3 捕获仍然需要做一些工作，例如牙齿和舌头都是稍后添加的，头发梳理等，但总的来说，这个过程要干净和有效得多。
工作流程是

1. 初始身份捕获（1 天）：捕获表演者的 ROM、发音嘴型和 4D 扫描，以创建高分辨率的面部几何形状。
   这个一次性的一天实际上使用 Masquerade 2.0（在演员的脸上带有标记）来创建地面实况训练数据集。
   在此之后，不会再次使用标记。
2. 使用该数据训练和/或微调特定于执行者的模型。
3. 从现场摄取无标记印版摄影，然后从中推断高分辨率模型。

由于这个过程相当宽容，对于背景角色，即使没有该演员的特定身份捕捉，也可以创建质量较低但仍可用的面部动画序列。
实际上，从库详细的数据集解决方案转移到新的背景角色可以提供足够的填充人群场景等，而无需定制模型。
“一个表演者可以提供一系列的表情，”Hanno Basse 解释道。
“然后他们可以在人群中驱动许多不同的代理，我们做和捕捉的身份越多——我们库中的表演就越多——这就越容易。看看未来会如何发展，这将非常有趣。