Digital Domain 為Blue Beetle 進入機器學習模式

2023年12月05日突破數位人類的界限已成為數位王國的標準做法， 藍甲蟲 的主角提供了一個機會，可以全面測試由機器學習和稱為 ML Cloth 的自定義神經系統驅動的布料系統。
目標是讓橡膠狀的超級英雄套裝根據 Jaime Reyes（Xolo Maridueña 飾）的動作摺疊和起皺，他已經與外星技術製造的聖甲蟲融合在一起。
ML Cloth 的初步測試始於 She-Hulk： Attorney at Law。
“我們發現，實施沒有考慮動畫師的偏好，因此它幾乎就像軟體工程師的軟體工程，”數位王國副首席軟體工程師 John-Mark Gibbons 解釋道。
“對於動畫師來說，使用起來太混亂了，所以我們扔掉了 《女綠巨人 》的大部分工作流程，並將其重新構想為藝術家成為該工具的核心。
我們希望成功，而在 Blue Beetle 上，我們取得了巨大的成功。我們對這一結果感到興奮，並希望看到它在未來的展會中取得進展。 當涉及到訓練數據集時，一切都是定製的。
“我們沒有經過一般訓練的模型，他們知道布料的工作原理，”Gibbons 指出。
“我們正在做的是瞭解特定資產是如何變形的。”
不涉及網路抓取。
“我們仍然使用傳統設置和裝備，通過某些類型的肌肉和體積控制來讓底層身體按照我們想要的方式移動，”數位王國的視覺效果總監 Jay Barton 說。
“我們仍然在此基礎上製作了傳統的布料裝置。在這種情況下，我們進行了大量健美操訓練，試圖將可能的運動範圍封裝在已經建立和工作的布料設置中。一旦我們有了這些，訓練和機器學習就會採用新的動畫，通過設置運行它，並提出特定於該動畫的布料類比，但根據我們最初的東西進行訓練。它都是在內部進行的，在同一個罐子里旋轉，沒有很多部門對其進行審查、接觸和繼續進行。完成所有這些訓練數據后，動畫師在製作動畫時可以問，『布料是什麼樣子的？然後重新運行他們的動畫，並在他們的預覽中看到布料。它不像 AI 布。它就是機器學習。

採用 ML Cloth 提高了效率。
“節目中發生的一個很好的例子是，動畫師可以在他們的場景檔中打開它，當他們工作時注意到它做了一些奇怪的事情，”Barton 回憶道。
“在食物鏈中向上發展。每個人都就此進行了一次簡短的會議。首席布料藝術家調整了它的工作原理中的一些設置。每個人都看著鏡頭說，『這似乎是對的。重新運行訓練數據，所有後續鏡頭都進行了修復，而我們不必經歷傳統的“做布料，在動畫上做設置，渲染它”，然後進入審查，我坐在放映室說，“那塊布料看起來不對勁。”這可能需要幾周時間。我在幾個小時內解決了這個問題。我從來不需要看到它。這太棒了。
必須將鏡頭添加到訓練數據集中，才能改進機器學習。
“重要的是，模型必須知道 Rig 正在執行哪些類型的動畫，”Gibbons 評論道。
“我們可以在運動範圍內訓練它，但從資產到資產，你將擁有更具體、更有針對性的動畫，角色往往會做很多事情。隨著節目的進行，我們更加意識到這個角色的手臂舉起比我們的訓練佈景要多得多，所以也許我們應該在訓練中更多這種類型的鏡頭。

構建了與數位版本相匹配的實用西裝。
“即使我們要更換防護服，我們的目的是盡可能多地使用穿著真實防護服的真實演員的真實鏡頭，”Barton 說。
“當然，有些事情實用套裝會做一些我們不希望它做的事情，或者在某些情況下，我們不需要與實際相匹配的東西，因為動作比人類所能做的事情要奇幻、瘋狂和誇張得多。實用的西裝由泡沫、橡膠和可能變形的較硬塑膠件製成。我們讓演員和特技演員來測試它。
對有和沒有西裝的 Xolo Maridueña 以及他的特技替身進行了掃描。
“我們確實有很多東西可以作為解剖學上正確的模型和裝備的基礎，作為布料類比的基礎，”Barton 補充道。
西裝的轉變每次都不同，以反映主角的角色弧線。
“當第一次轉變發生時，傑米·雷耶斯並不是一個願意參與的人，到電影結束時，他已經控制了這套衣服，”巴頓指出。
“我們想要如何做到這一點，哪些方面會在電影的各種轉變中相關，以及當他獲得控制權時，哪些方面會有所不同，我們進行了很多探索。”

為了使 ML Cloth 正常工作，三個部門彼此密切合作。
“你用動畫來定義角色的移動方式，”Gibbons 評論道。
“你有 rigging，它為動畫師設置綁定，但你有 CFX，它必須確保他們的 Rig 以動畫預期的方式變形。ML Cloth 允許我們做的是加強這些部門之間的聯繫，這樣它就不會放棄對任何東西的擁有權。所有部門仍然完全擁有他們正在做的事情，CFX 鑽機將達到我們預期的高標準，但我們能夠擴大部門之間的溝通，以從 ML Cloth 中獲得良好的結果。
ML Cloth 緩解了擔憂因素。