Digital Domain 為 DC 的 Blue Beetle 展示其新的 ML Cloth 系統

2023年12月30日數位王國談到了將DC超級英雄Blue Beetle視覺化，並在故事片中首次使用團隊的機器學習布料工具製作了他智慧、強大的套裝。 作為首席視覺特效供應商， 數位王國 為新的超級英雄電影《 藍甲蟲 》的六個序列貢獻了近700個鏡頭，並親自負責藍甲蟲這個角色。
該團隊還為反派 Carapax 創建了資產、史詩般的最終戰鬥場景、多個環境和其他工作。
然而，由於《藍甲蟲》是明星，而且他出現的每個鏡頭都聚焦著觀眾的目光，因此創建他的3D資產需要創造力和講故事，以及數位王國幾個不同團隊精心協調的效果。
在 VFX 總監 Jay Barton 的領導下，他們從 DC 漫畫書、動畫卡通和視頻遊戲等來源汲取靈感，開始了這部分專案。
通過對演員在片場穿著的實用西裝進行掃描和拍照，數位王國創建了一個精確的數位複製品。
從那裡開始，他們加入了可製作動畫的西裝擴展，使服裝更具細節、複雜性和個性。
有了所有這些元素，他們就準備好根據每個序列的需要增強實用套裝，或者完全替換部分或全部動作，用於無法用攝像機捕捉的動作，例如飛行和打鬥序列。 設計語言 從一開始，Blue Beetle 資產就是一個挑戰。
該劇對這個角色的願景絕對是照片級的，在短短的幾個鏡頭中，英雄海梅·雷耶斯 （Jaime Reyes） 只是穿著他的實用套裝，沒有任何增強——大多數鏡頭要麼添加了 CG，要麼完全替換了 CG。
“服裝的外觀及其延伸部分必須從一個鏡頭到下一個鏡頭沒有區別。但即便如此，Blue Beetle 武器的外觀和部署和使用方式，在照片般真實和物理準確性與奇幻和令人驚訝之間走了一條細線。在這方面，他一直是一個非常有趣的角色！
該團隊以實用西裝為基礎，在細節和材料飾面方面設計得非常複雜。
有機的、超凡脫俗的紋理有助於加強其起源的外星人方面。
“使用相同的設計語言，我們創建了支援這種有機外星技術的 CG 套裝擴展和 FX。我們的工作包括動畫技術，以幫助強化故事點，起初，當 Jaime 突然部署或在沒有他參與的情況下做事時，所有這些技術細節都會讓 Jaime 感到驚訝。但到最後，詹姆和西裝當然會密切合作，做更大、更強大的事情。

攝像機內、後期 – 或兩者兼而有之 確定故事中何時必須部分或全部地用數位元素替換這套衣服是一個持續的過程。
像大多數電影一樣，最初的想法是嘗試盡可能多地使用相機。
“這實際上太棒了，因為片場的每個人都參與其中，試圖在當天使其盡可能出色，儘管拍攝的現實意味著有時特技操縱會對西裝產生如此大的影響，以至於它無法用於最終畫面。顯然，當角色應該非常強大時，演員的身體能力也可能是一個限制，“Jay 說。
“儘管如此，只要在片場嘗試這些東西，就可以很好地瞭解鏡頭的意圖。在拍攝和編輯過程中，可以是一個有機的過程，以弄清楚哪些鏡頭按預期工作，哪些鏡頭需要更換。當然，由於Blue Beetle具有非凡的能力，因此許多序列都是完全以 CG 鏡頭的形式開始和完成的。 總的來說，藝術部門進行了大量探索，以創造出雖然獨特但仍然立即被識別為屬於Blue Beetle世界的設計。
例如，在武器方面，其中一些與漫畫書中的武器非常相似，但其餘的僅在概念上遵循原作。
“我們對其中一些武器玩得很開心，並且可以在它們的部署方式和形狀方面發揮創意，這符合漫畫的精髓，但符合這種新的設計美學。” Digi-雙 電影製作過程中出現了各種時刻，這使得擁有Blue Beetle的演員 Xolo Maridueña 的 CG 版本非常有用。
該模型的構建基於生產提供的掃描和照片。
它被用於Blue Beetle不戴頭盔時的動作鏡頭，以及從 Jaime 到 Blue Beetle 的過渡鏡頭。
還根據特技表演者的身體為一些徒手特技鏡頭創建了另一種Blue Beetle模型。

“它需要準確和精確，並且與我們的演員沒有區別，但事實上，動畫師對我們的全 CG 藍甲蟲很感興趣，尤其是在他轉變的早期。導演安赫爾·曼努埃爾·索托 （Ángel Manuel Soto） 真的希望每個人都覺得詹姆被帶去兜風，幾乎沒有控制西裝的動作。我們努力創造出能夠推銷西裝本身力量的鏡頭，並結合一個害怕但興奮的孩子被帶上人生旅程的異想天開的本質。 富有表現力的擴展 動畫套裝的延伸需要富有表現力和創造力，這使得為作品制定一致的方法成為一項挑戰。
Jay 說：「雖然每個鏡頭都有一個框架和一致的技術，但鏡頭之間的感覺可能會大不相同。
我們的動畫總監 Arda Uysal 和 FX 總監 Eddie Smith
他們一起想出了獨特的變體，説明推銷這些元素的情感，這取決於它們如何融入故事。有時它們是為了給我們帶來驚喜，有時是出於絕望，最後，它們以非常刻意的關注為重點。由於他西裝上各種元素的自發光也很重要，因此團隊通過嘗試儘可能準確地實現物理準確性來實現這一點。由於它在夜間和黑暗場景中更加突出，它不僅成為幀中非常突出的圖形元素，而且幫助觀眾閱讀藍甲蟲的動作也是必不可少的，因為他的衣服是如此黑暗。“這套衣服的眼睛有一個複雜的內部結構，就像一個被照亮的外星相機，他的眼睛的外表面是反光的，導致它們在每個鏡頭中看起來完全不同。儘管如此，他們是角色性格的重要組成部分，我們花時間做了很多調整，讓他們感覺一致。
服裝和 ML 布料為Blue Beetle的服裝創造逼真的觸覺品質本身就是一項特殊的任務，數位王國團隊通過開發一個布料系統來解決，該系統使用機器學習和自定義神經網路來瞭解布料應該如何對運動做出反應。
在這種情況下，ML Cloth 系統瞭解了Blue Beetle的橡膠狀西裝如何隨著超級英雄的動作而摺疊和起皺。
用於這種材料的傳統方法耗時、昂貴，並且會在管道的單獨階段進行。
借助這個新工具，該團隊能夠在動畫師經常使用的同一程式中看到布料類比，並使其幾乎即時地工作，從而為動畫師提供即時反饋，幫助他們做出決策，並允許主管快速查看結果。
該團隊最初計劃僅在中景或遠景鏡頭中使用該工具，但在看到它的準確性和速度后，甚至在特寫鏡頭中，它被用於工作室整部電影的工作中。
雖然最初在漫威影業的《女綠巨人：律師》中進行了測試，但《藍甲蟲》標誌著它首次被用於故事片。Cloth with a Memory John Mark Gibbons 是數位王國的副首席軟體工程師，目前正在領導 ML Cloth 的開發。
他談到了Blue Beetle服裝的緊身性如何使其成為ML Cloth的良好候選者。
“雖然Blue Beetle 的服裝很複雜，有不同的材料和小細節，但它不是涉及需要在風中拍打或對重力做出反應的自由飛行部件，而是與他的身體緊密貼合。它通過拉伸、起皺和形成最初沒有的褶皺來對他的動作做出反應。
有幾個因素使傳統的布料類比對 VFX 藝術家來說非常耗時。
首先，布料類比很容易被困在其他幾何體中的點捕獲。 傑伊說：「這會導致粘連和奇怪的聚集，尤其是當像超級英雄這樣的角色在戰鬥或以不可能的速度旅行時做出一些非常離譜的動作時。製作一個在所有情況下都能工作的裝備也很困難，需要在建模、裝備和布料之間來回切換，才能得到一個接近90%的時間，但仍然需要大量調整的版本。
John-Mark 描述了新系統為動畫團隊帶來的不同，使他們能夠簡化和加快動畫裝備的開發。
“我們為動畫師創建了一個包含 ML Cloth 變形的綁定，以及他們期望的標準綁定。這不僅為他們提供了最終變形的預覽，而且消除了對仿真的需求，從而消除了將真實世界的物理應用於不可能的運動時出現的許多問題。“長而快速移動的鏡頭特別難以類比，需要 CFX 藝術家進行大量的藝術創作。與依賴於時間的類比不同，ML Cloth 只是記住如何在給定姿勢的情況下使身體的各個部分變形。因此，只要訓練數據乾淨並覆蓋角色的運動範圍，我們就可以相信近似結果不會碎裂、纏結或爆炸。
此外，動畫師還可以預覽場景中的最終變形。
這有助於及早發現類比裝置中的問題，並發現有問題的動畫姿勢，這些姿勢可能會導致未來的部門出現問題。 訓練網路 為了開始「教」神經網路關於防護服橡膠布的性質以及它應該如何回應角色的動作，CFX 團隊仍然必須為防護服研究和製作類比變形。
“幸運的是，我們有非常有才華的藝術家，他們研究、構建和維護了 CFX 模擬套裝，”John-Mark 說。
“我們的目標是盡可能多地保留原始藝術性，同時將類比換成裝置中的近似變形。”我們向網路展示了許多不同姿勢的Blue Beetle 服裝示例。然後，它通過反覆運算優化和改進對變形的理解來學習準確模擬，直到近似結果可能被誤認為是模擬結果。

他們在早期積極重建大部分管道，同時進行Blue Beetle 訓練，因此很難說網路需要多長時間才能準備好投入生產。
但是，一旦他們有了該工具的穩定版本，培訓從開始到結束通常需要大約8小時。
John-Mark 說：“當需要為某個項目訓練 ML Cloth 時，我們會要求動畫主管將角色可能執行的各種動作的一些動畫剪輯放在一起。這些訓練姿勢必須涵蓋角色的整個運動範圍，以便 ML Cloth 可以在生產中正確地近似相關的動畫姿勢。“這種特定於資產的動畫與一些標準範圍的運動動畫相結合，然後用於訓練模型。我們通過讓它執行訓練集中未出現的動畫來測試結果，告訴我們模型是否泛化到新的運動，或者我們是否需要進一步訓練、添加動畫或調整參數。
構建經過訓練的鑽機訓練完成後，團隊可以自動構建新的 Maya 綁定，方法是剝離現在使用 ML Cloth 近似的動畫綁定部分，然後將訓練后的模型注入到綁定中，以取代它，這樣就不會丟失任何功能。
然後，動畫師可以選擇在工作時在場景中載入他們喜歡的任何裝備。
“雖然他們可以自由地按照自己的喜好工作，但我們建議動畫師使用 ML Cloth 裝置，因為它讓他們有機會在中斷製作之前發現有問題的姿勢並標記模擬問題，”John-Mark 說。
“無論動畫師在工作時是否使用了 ML Cloth 裝備，ML Cloth 變形都將被緩存並傳遞給下一個部門，就像鏡頭的所有其他緩存產品一樣。然後在照明中評估特定於鏡頭的ML Cloth結果。
Jay 認為，該系統的主要優勢之一是，一旦設置好，動畫師就可以在工作時監控動畫裝置上的布料。
有時，可以通過布料的反應方式檢測到從相機看起來正確的奇怪姿勢。
即使出色的姿勢會導致問題，仍然可以調整布料。digitaldomain.com 撰文：Adriene Hurst，編輯