AI 和 VFX 交叉點的快速演變
2023年10月04日
公司聯合創始人 Chris LeDoux 回憶道：「這一切都始於 COVID 期間，我觀看了 Bycloud 和 Two Minute Papers 等作者的 YouTube 視頻。然後，我們的視覺特效總監和常駐瘋狂科學家 Aldo Ruggiero 開始向我展示他在他監督的電影中使用 AI 實現的許多令人難以置信的事情。
LeDoux 很清楚，“AI 將以巨大的方式撼動我們的行業。
他解釋說：“AI/ML 的發展似乎會從根本上改變我們處理和解決與鏡頭創建和增強相關的問題的方式。我知道我們必須把它作為重中之重。
從那時起，Crafty Apes 將 AI 應用於廣泛的 VFX 專案，這反映了視覺效果行業加速實施 AI 技術。
LeDoux 評論道：「我可以告訴你，我們已經將機器學習 [ML] 用於深度偽造創作、抗衰老效果、面部操作、動態摳像、圖像和視頻處理以及風格傳輸等任務，而且這個清單還在繼續增長。他指出，一旦 AI 工具整合到管道中，它們“就會大大加快工作流程，顯著降低 VFX 的成本，並允許藝術家將更多時間投入到創作中。
他補充說：「我們不應該高估 AI 的能力，現在有很多炒作。同時，它將對內容創作的各個方面產生重大而直接的影響，我們需要認識到其後果。 據 Basse 稱， 該行業正在研究“許多非常有前途的 AI 和 ML 概念和實現，並且 [is] 今天已經使用了其中一些”。
數字王國在《 復讎者聯盟：無限戰爭 》和《 復讎者聯盟：終局之戰 》以及 Disney+ 的《 女綠巨人：律師 》等備受矚目的電影中採用了機器學習技術。
它還在數位王國的機器學習神經渲染軟體 Charlatan 的説明下，為 2021 年 2 月的超級碗創建了著名 NFL 教練文斯·隆巴迪 （Vince Lombardi） 的 3D“視覺類比”。
Rising Sun Pictures 的機器學習整合了來自“學習參考資料庫”的數據，以説明為 《雷神：愛與雷霆》創建 Baby Thor。
作為 AI 的早期採用者，RSP 使用機器學習為嬰兒提供栩栩如生的品質，同時展示腳本所需的行為。
（圖片由漫威影業提供）
“我們去年在 《女綠巨人 》中的工作廣泛使用了這項技術。
事實上，考慮到我們在這個專案上花費的時間和資源，我們認為如果沒有它，我們不可能交付這麼多鏡頭。 [We also did] 在 Blue Beetle 上進行布料類比的一些出色工作。我們現在基本上在我們參與的任何節目中都使用這項技術。在此之前，《 復讎者聯盟：無限戰爭 》中角色滅霸面部的數位創作是數位王國首次採用機器學習技術，並利用了 Masquerade 面部捕捉系統。 《復讎者聯盟：終局之戰 》緊隨其後。
“從那時起，DD 在這項技術方面做了更多的工作，”Basse 評論道。
“例如，我們為大衛·貝克漢姆的'瘧疾必須死——這樣數百萬人才能活下去'活動創造了一個舊版本，並使用我們基於 ML 的換臉技術 Charlatan 讓已故的臺灣歌手 Teresa Teng 以虛擬方式起死回生。”
Basse 補充道：「總的來說，事實證明，機器學習對於幫助創建更逼真和準確的結果非常有用。但實際上是 AI 和我們藝術家的技藝（在許多情況下，他們幾十年來獲得的技藝）的相互作用，使我們能夠創造出可信的結果。 Wētā FX “長期以來，我們一直在使用各種 ML 工具和基本 AI 模型，”Wētā FX 高級視覺效果總監 Joe Letteri 說。
事實上，早在 《指環王 》中就一直使用的 Massive 軟體使用原始模糊邏輯 AI 來驅動其代理。
Letteri 指出：「多年來，機器學習在整個行業的降噪渲染中也很普遍。
在 Gemini Man 中，我們使用了深度學習求解器來幫助我們實現面部系統中肌肉啟動的更大一致性。它幫助我們簡化了整個面部複雜運動所涉及的組合，以構建更可預測的結果。Wētā 為 《阿凡達 2 》更改了面部動畫系統，並採用了新的深度學習方法。
Letteri 說：「我們基於 FACS 的面部動畫系統產生了很好的結果，但我們認為我們可以做得更好。隨著我們的動畫師和面部建模師越來越優秀，我們需要越來越靈活和複雜的系統來適應他們的工作。因此，我們採用了一種神經網路方法，使我們能夠更多地利用演員正在做的事情，並向藝術家隱藏一些複雜性，同時賦予他們更多的控制權。我們還能夠從一開始就獲得更複雜的次級肌肉啟動，因此面部在給定的流形空間內作為一個完整的系統工作，就像人臉一樣。
他解釋說：「在設置過程中，除了拍攝的元素外，我們還利用渲染的圖像來訓練深度學習模型。這使我們能夠收集到更多不同變化和位置的參考，而不是我們可能獲得的參考。我們可以訓練系統理解給定的佈景環境，以及角色在片場幾乎每個位置以各種姿勢的位置——這對於工作電影佈景中的演員來說是不切實際的。
Letteri 評論道：「VFX 管道一直在發展，有時是由硬體或軟體進步驅動的，有時是通過新的和創新的技術。沒有理由認為我們不會找到在 VFX 中部署 AI 增強工作流程的新方法。為藝術家提供快速反覆運算和探索同時多個同步結果的方法可能非常強大。作為 QC 或一致性工具，它也具有很大的潛力，許多藝術家現在都在使用它。 歐特克 “隨著藝術家設計和創造未來，AI 有可能對 VFX 產生革命性的影響，”Autodesk 內容創建產品管理總監 Ben Fischler 說。
“互聯網經過多年形成，它需要時間才能成為我們日常生活的一部分，人工智慧也將類似。對於視覺效果行業來說，就是要將其集成到工作流程中，使其變得更好。這不會立即撥動開關，雖然某些區域會很快，但其他區域需要更長的時間。
自從 Autodesk 在 Flame 中採用 AI 工具以來，已經有兩年多的時間了。
“Flame 將 AI 融入到藝術家的工作流程中，並極大地增強了它。動態摳像、金絲去除和複雜的面部遮罩創建等過程可以追溯到視覺效果的起源，當時我們用光學而不是數位方式做事，而且它們仍然是勞動密集型的。在這些過程中，在正確的地方使用一點 AI 會大有説明，“Fischler 解釋道。
“以 Flame 為例，我們可以將藝術家需要花費數小時才能完成的流程轉變為 20 分鐘的流程。”
Autodesk 最近與 Microsoft 合作推出了 Maya Assist 的私人測試版。
“它是為 Maya 和 3D 動畫的新用戶開發的，並通過 ChatGPT 使用語音提示與 Maya 交互，”Fischler 說。
旭日影業 大約五年前，RSP 開始與澳大利亞機器學習研究所 （AIML） 合作，該研究所與阿德萊德大學有聯繫，旨在將新興技術整合到其視覺效果管道中。
AIML 博士後研究人員 John Bastian 和 Ben Ward 看到了 AI 在電影製作中的潛力並加入了 RSP;他們現在與 Troy Tobin 一起領導其 AI 開發團隊。
漫威的《 雷神：愛與雷霆》是受益的多個專案之一，其中 RSP 將從人類嬰兒（迪士尼前首席執行官鮑勃·查佩克的孫子）收集的數據應用於 CG 嬰兒。
通過與電影製作團隊合作，他們能夠「指導」他們的數位嬰兒執行特定手勢並表現出劇本所需的情感。
根據該電影的高級視覺特效製作人 Ian Cope 在 RSP 網站上引用的說法，“與標準的'深度偽造'方法相比，這種技術的優勢在於，表演來自由學習的參考資料庫增強的動畫。
外觀經過多次反覆運算打磨，以實現對觀眾來說似乎真實的數字嬰兒。
“我們所做的工作不僅僅是機器學習，”現在是 RSP 高級機器學習開發人員的 Ward 補充道。
“我們的開發人員還負責將我們的工具集成到藝術家使用的管道中。這意味著製作跟蹤和資產管理，並從創意的角度為藝術家提供他們需要的控制。
AI 和合成團隊在多個專案中合作，在相互理解中得到了發展。
在早期探索了這個領域後，「我們對這兩個世界如何碰撞以及如何在製作環境中利用它們的 [AI] 工具瞭解了很多，“RSP 首席合成師 Robert Beveridge 說。
“每個項目的協作都得到了改進，這幫助我們超越了以前所做的工作。工作質量不斷提高。
Jellyfish Pictures “AI 和 ML 為我們的工作流程提供了令人興奮的機會。我們正在探索如何最好地實施它們，“Jellyfish Pictures 技術方向主管 Paul J. Baaske 說。
“例如，我們如何利用 AI 創建保真度更高的布料和肌肉類比。
這對我們來說是一個非常有趣的途徑。
其他領域是成像 - 從更好的去噪、Roto 蒙版到更快地創建紋理。
但我們看到的一些最大收益 [are] 在數據或圖書館管理等領域。Baaske 補充道：「向前發展的關鍵是工作室通過『我們如何進一步學習和開發我們的內部模型』來看待他們的輸出和數據。擁有可用於訓練的歷史數據並巧妙地部署這些數據以獲得競爭優勢，有助於有所作為，並使藝術家能夠更多地專注於創意，而不是等待長時間的計算。 維康 “我認為 AI 影響動作捕捉的最重要方式之一是它將在多大程度上擴大其應用程式和核心使用者群，”Vicon 的 VFX 產品經理 David “Ed” Edwards 評論道。
每種動作捕捉方法都有其各自的優點和缺點。我們從 VFX 中——當然在虛擬製片的激增期間——看到的是，技術的可訪問性和對協作的適用性是採用的驅動力。AI 解決方案在這方面顯示出巨大的前景。
Edwards 補充道：「現代受眾的需求和期望意味著內容需要比以往任何時候都更快地製作，並達到始終如一的高標準。隨著 AI 在眾多應用程式、工作流和管道中迅速變得無處不在，它已經有力地證明瞭自己是一個統一者，以及它本身就是一個有效的工具。
Studio Lab/Dimension 5 “我認為，通過使用 AI，我們將看到許多流程得到簡化，這將使我們能夠看到獨特外觀的多種變體，”Studio Lab 虛擬製作總監兼實時製作公司 Dimension 5 的所有者 Ian Messina 說。
Dimension 5 生成式 AI 總監 Wesley Messina 說：“像 Wonder.ai 這樣的一些開拓者正在通過開發工具來突破技術的界限，這些工具可以僅使用視頻片段將任何演員變成數位角色。這消除了對沉重的運動跟蹤套裝的需求，併為動畫的未來描繪了一幅充滿希望的畫面。
Rising Sun Pictures 的機器學習整合了來自“學習參考資料庫”的數據，以説明為 《雷神：愛與雷霆》創建 Baby Thor。
作為 AI 的早期採用者，RSP 使用機器學習為嬰兒提供栩栩如生的品質，同時展示腳本所需的行為。
（圖片由漫威影業提供）
“互聯網經過多年形成，它需要時間才能成為我們日常生活的一部分，人工智慧也將類似。對於視覺效果行業來說，就是要將其集成到工作流程中，使其變得更好。這不會是立即撥動開關，雖然某些區域會很快，但其他區域需要更長的時間。—Autodesk 內容創建產品管理總監 Ben Fischler
Perforce 和 Perforce Software 副總裁 Rod Cope 認為 AI 對虛擬製作有很大影響。
他解釋說：「首先，AI 將讓創意團隊生成更多的藝術資產，尤其是在文本到 3D AI 工具變得更加複雜的情況下。這將是虛擬製作和預覽的關鍵。製片人和藝術總監將能夠嘗試更廣泛的選擇，我認為這將以很多新的方式激發他們的創造力。
Synthetic World Synthesis AI 創始人兼首席執行官 Yashar Behzadi 認為，合成數據將在許多領域對電視和電影製作產生變革性影響，例如虛擬場景和環境、可視化前和故事板、虛擬角色和生物以及 VFX 和後期製作。
Behzadi 繼續說道：“Synthesis AI 的願景一直是合成世界。我們的團隊由具有動畫、遊戲設計和 VFX 經驗的人組成。他們在這一領域的專業知識使 Synthesis AI 能夠創建併發佈一個包含超過 100,000 個數位人的庫，作為我們文本到 3D 專案 Synthesis Labs 的訓練數據。
有關 GenAI 的更多資訊 “現在，隨著更複雜的生成式 AI 模型和解決方案的出現，我們開始尋找更多使用它的方法，”數位王國的 Basse 解釋道。
“生成式 AI 中的新興工具，如 ChatGPT、MidJourney、Stable Diffusion 和 RunwayML，顯示出很大的前景。”
Basse 繼續說道：“GenAI 非常適合開始創作過程，產生想法和選擇。GenAI 實際上並不生成藝術，它創造了基於現有技術的變體和選擇。但這個過程可以為概念藝術提供很好的起點。但最終的產品仍然會來自人類藝術家，因為他們真正知道自己想要什麼。話雖如此，我對 GenAI 技術在故事板和預可視化中的使用抱有很高的期望。我相信我們很快就會看到 GenAI 在這些領域的巨大吸引力。
Autodesk 的 Fischler 指出：「能夠生成高品質的資產將對生產中的內容建立者產生非常大的影響。但挑戰在於使這些資產為電影、電視或 Triple A 遊戲做好製作準備。我們在低端看到了可能有用的工具，但當你有導演、創意總監和動畫總監，他們有創意的願景和複雜的鏡頭序列要構建時，讓 AI 生成有用的資產要困難得多。
Wes Messina 補充說，文本到 3D 模型技術“可能會改變遊戲規則，讓我們擺脫從頭開始開發 3D 資產的艱苦工作。
LeDoux 認為：「然而，重要的是要記住，AI 生成的概念藝術並不是為了取代人類的創造力。相反，它是一個可以添加和改進藝術過程的 rad 工具。通過使用這些 AI 技術，藝術家可以專注於他們工作的創意方面，更有效地將導演的願景變為現實，從而產生超級引人入勝且視覺震撼的作品。
VFX Taskmasters 總的來說，AI 將説明完成許多任務。
LeDoux 評論道：「如果我們將它分為準備、製作和後期製作，然後考慮每個方面的 VFX 的所有方面，您就可以説明您瞭解所有應用程式。在準備階段，使用 Stable Diffusion 等生成工具來幫助創建概念藝術是顯而易見的，但其他工具來幫助規劃，例如説明解析腳本以進行基於 VFX 的投標目的的語言模型，以及通過故事板和預覽進行規劃是巨大的。在製作中，擁有有助於進行數位資產管理、拼接和虛擬製作資產構建的工具可以節省大量時間。在後期製作中，從動態摳像儀輔助到色彩匹配再到動畫輔助，這個清單是無窮無盡的。“我們認為 AI 將影響我們的整個工作流程，”Basse 說。
“我們可以考慮很多場景：創建帶有文本提示的 3D 模型，創建複雜的綁定和動畫迴圈，但我們也看到了佈局、照明、紋理和外觀開發方面的潛在應用。人們還期望機器學習將徹底改變動態摳像，這是我們當今工作流程中非常耗費人力且乏味的部分。
Perforce 的 Cope 補充道：“AI 也將對質量保證和工作流程產生影響。我認為我們將看到 AI 自動執行 3D 動畫中一些更死記硬背的任務，例如拼接和 UV 映射，以及識別渲染缺陷——這些任務需要時間，但不需要那麼多的創造力。AI 將加速這些任務。而且，由於 AI 使團隊能夠更快地發展，因此董事們將要求更高，周轉時間更快。不在工作流程中採用 AI 的團隊遲早會被拋在後面。
據 Synthesis AI 的 Behzadi 稱，將從 AI 中受益的 VFX 任務還包括物件刪除、匹配行動、顏色分級以及圖像放大和恢復。
機器學習幫助數字王國在截止日期前完成了《 女綠巨人：律師》。
（圖片由漫威影業提供）
人工智慧、虛擬實境和視頻遊戲 很容易想像，AI 可以通過大大提高交互性和真實感來極大地推動視頻遊戲和 VR。
“從另一個層面上思考，我認為我們所知道的遊戲會發生變化，”Cope 說。
例如，“AI 將為與 RPG 中的角色進行更自然、更獨特的互動打開大門。甚至可能為每個玩家和旅程帶來完全獨特的遊戲內體驗。
Synthesis AI 的 Behzadi 評論道：“AI 可以通過多種方式大大增強虛擬實境體驗，包括數位人類開發、增強的類比和培訓以及電腦視覺應用程式等。
Behzadi 繼續說道：“AI 可以生成逼真的數位人或化身，可以與用戶實時互動。這些虛擬形象可以理解和回應使用者的手勢、面部表情和語音命令，從而在虛擬環境中創建更自然、更吸引人的交互。當與計算機視覺技術結合使用時，AI 對提高 VR 體驗的視覺品質具有強大的影響，包括改進的圖形渲染、逼真的物理類比、物件識別和跟蹤使用者在虛擬環境中的移動。這些進步最終會帶來更具視覺衝擊力和身臨其境的VR世界。
前方的道路 展望未來，LeDoux 認為：「雖然人工智慧本質上確實是一種有可能取代工作崗位的自動化工具，但歷史先例表明，自動化也可以刺激新興行業創造就業機會。
他指出，回顧過去 25 年，可以很好地理解這一趨勢。
“VFX 行業呈指數級增長，這主要是由於客戶隨著技術的進步要求越來越複雜的視覺效果。”
LeDoux 補充說，AI 將顯著改善視覺效果的品質和可訪問性，“從而增強我們講故事和創意表達的能力。
Letteri 評論道：“在 VFX 中，我們一直在尋找新的方法來幫助導演講述他們的故事。有時，這是在開發新的工具，以實現更高的圖像保真度或對自然現象進行更複雜的類比，有時，他們是為了尋找更有效地完成所有這些工作的方法。
Basse 總結道：「我們每天都會看到工具供應商或新初創公司的公告，宣傳與使用 AI 和 ML 創建內容相關的一些新成就。對於我們行業來說，這是一個非常激動人心的時刻。對於許多應用程式，仍有許多工作要做，但這項技術發展如此迅速，我認為我們需要在幾個月而不是幾年內衡量這些重大進步。