數字王國推出 Masquerade3

2024年05月18日數字王國推出了名為「Masquerade3」的面部動作捕捉系統的最新進展。
新的 Masquerade3 提供了更高的品質，但採用了新的無標記面部捕捉管道。
新系統建立在其前身 Masquerade 2.0 的成功基礎上，後者將人類面部動態的複雜性引入數位角色，併為他們的專案提供了更多情感表演。
Masquerade 2.0 於 2020 年底發佈，並廣泛用於 SheHulk 等專案。

 

  通過消除表演者臉上標記的需求，Masquerade3 提高了片場效率，減輕了演員的壓力，並激發了更廣泛的創造力。
Masquerade3 是一種多功能解決方案，可以滿足各種專案要求和預算。
因此，它可以顯著降低每次拍攝的集成和索具成本。
此外，它最大限度地減少了演員花在化妝上的時間，使他們能夠更專注於自己的表演和現場校準。
通過提供更快的捕獲到重建時間，Masquerade3 可以幫助製作更快地獲得結果、簡化工作流程並減少延遲。 也許 Masquerade3 最顯著的好處之一是其無標記捕獲技術。
該產品無需標記，為人才、導演和現場工作人員節省了時間，從而簡化了製作流程。
與前代產品相比，Masquerade3 具有更高的穩定性，減少了手動反覆運算的需要，並立即產生更可靠的結果。
通過集成的眼動估計，Masquerade3 降低了動畫、VFX 和處理的工作力成本，為重建整個表演提供了更有效的解決方案。
據數位王國首席執行官 Daniel Seah 稱，它具有適應性，是“動作捕捉技術的革命性進步。無標記捕捉功能、增強的穩定性和無與倫比的靈活性使電影製作人能夠比以往任何時候都更容易、更高效、更有效地將他們的創意願景變為現實。

之前介紹了 Masquerade 2.0，它本身是一個半自動標記系統，具有先進的機器學習功能，比 DD 的早期版本快 10 倍，當時引入了眼睛凝視和眼瞼跟蹤。
請在此處查看 我們的故事。 因此，我們很想在今年的 FMX 會議上與數位王國的首席技術官 Hanno Basse 討論新版本。
在 FMX 上，Hanno 與 fxguide 的 Mike Seymour 一起介紹了數字人類。
Hanno 和 Mike 還與 Choas 的 Dan Ring 和 AvatarOS 的 Issac Bratzel 一起參加了數位人類小組討論。
從本質上講，Masquerade3 的概念方法與數位王國在 Masquerade 1.0 中用於創建《 復讎者聯盟：無限戰爭 》中的 Thanos 的概念方法相同。但是，連續幾代機器學習已經對該過程進行了改進和自動化，以生成一個更快的系統，更忠實於原始演員的微妙面部表演和表演選擇。
例如，Masquerade3 更健壯，因為標記系統的固有限制是這些標記從一個設置到下一個設置的一致性。
Masquerade 2 必須假設這些點正好位於臉上的相同位置，而 Masquerade3 只依賴於演員的真實面部。
無論化妝團隊在片場多麼投入，依賴準確的面部標記都會給化妝過程帶來自己的噪音。
此外，頭戴式攝像機裝置位於演員頭上的確切角度的變化通常需要補償，在 Masquerade3 中，這完全解決了一個問題。  

與地面實況相比，該系統的精度測量低至0.5毫米。
雖然 Masquerade 2 也可以非常準確，但要達到如此準確度的手動工作和調整量要大得多。
“我們認為它看起來非常有說服力，”Hanno Basse 說。
“這對製作人員來說更容易，對表演者來說也更容易，而且後期製作的工作流程也快得多。現在一切都是自動化的，在過去清理標記可能很糟糕，我們不再需要做任何事情，我們獲取印版數據，運行模型，然後取出 CG。
Masquerade3 捕獲仍然需要做一些工作，例如牙齒和舌頭都是稍後添加的，頭髮梳理等，但總的來說，這個過程要乾淨和有效得多。
工作流程是

1. 初始身份捕獲（1 天）：捕獲表演者的 ROM、發音嘴型和 4D 掃描，以創建高解析度的面部幾何形狀。
   這個一次性的一天實際上使用 Masquerade 2.0（在演員的臉上帶有標記）來創建地面實況訓練數據集。
   在此之後，不會再次使用標記。
2. 使用該數據訓練和/或微調特定於執行者的模型。
3. 從現場攝取無標記印版攝影，然後從中推斷高解析度模型。

由於這個過程相當寬容，對於背景角色，即使沒有該演員的特定身份捕捉，也可以創建品質較低但仍可用的面部動畫序列。
實際上，從庫詳細的數據集解決方案轉移到新的背景角色可以提供足夠的填充人群場景等，而無需定製模型。
“一個表演者可以提供一系列的表情，”Hanno Basse 解釋道。
“然後他們可以在人群中驅動許多不同的代理，我們做和捕捉的身份越多——我們庫中的表演就越多——這就越容易。看看未來會如何發展，這將非常有趣。