不斷擴大的動作捕捉視野

2024年04月15日

動作捕捉、表演捕捉和體積視頻技術正在迅速發展，在更大程度上融合了 AI 和 ML，並專注於增強真實感、精度和可訪問性。
數位王國技術產品經理 Peter Rabel 評論道：「即時功能的趨勢已經變得突出，允許即時反饋並整合到虛擬環境、視頻遊戲和現場活動中。隨著我們將人工智慧和機器學習集成為工具以進一步增強這些功能的功能，它將實現自動分析和即時捕獲動作，這將有助於節省流程時間，從而節省成本。隨著技術的不斷發展，我們必須隨時瞭解最近的發展和行業趨勢，以瞭解這些採集技術的當前軌跡，這樣我們才能更好地為客戶服務。
VICON：MARKERLESS Vicon 在 2023 年引起了轟動，其洛杉磯 SIGGRAPH 宣佈首次推出其機器學習 （ML） 驅動的無標記動捕。
該消息是在 Vicon 位於英國牛津的研發工廠進行了大約三年的研發後發佈的，該研發專注於將 ML 和 AI 集成到無標記動作捕捉中。Vicon 與專門從事動作捕捉的瑞士研究機構 Artanim 和 VR 體驗和科技公司 Dreamscape Immersive 合作開發了這項技術。
“能夠在沒有標記的情況下捕捉運動，同時保持行業領先的準確性和精度，這是一項極其複雜的壯舉，”Vicon 的首席技術官 Mark Finch 說。
“經過初步研究階段后，我們專注於開發世界一流的無標記捕獲演算法、強大的實時跟蹤、標記和解決，以實現這項創新。這是我們邁向未來產品發佈的第一步，最終將推出首個無標記動作捕捉平臺。 Finch 繼續說道：“我們在 SIGGRAPH 上展示的是無標記地識別人體形態 - 使用原型相機、軟體和演算法 - 在 VR 體驗中實時跟蹤六個人的全身問題。這完全需要參與者穿著帶有動作捕捉標記的重型裝備。因此，VR 體驗更加無縫和可信，因為動作捕捉技術在很大程度上是隱形和非侵入性的。
Finch 補充道：“對於我們展示的技術，Artanim 和 Dreamscape 的聯合創始人兼首席技術官 Sylvain Chagué 說：'實現一流的虛擬身體擁有權和沉浸在 VR 中需要準確跟蹤和極低的延遲。我們花費了大量的研發工作來評估基於 ML 的跟蹤演算法的計算性能，實施和微調多模態跟蹤解決方案，以及充分利用全身無標記動作捕捉和 VR 頭戴式設備跟蹤功能。” 洛科科 視覺 總部位於哥本哈根的 Rokoko 去年在產品方面發佈了兩項重大公告，「首先，我們的視覺 AI 解決方案 Rokoko Vision 允許從任何相機進行無套裝動作捕捉。我們發佈第一次反覆運算主要是為了瞭解該領域並從產品的早期使用中收集見解，“首席執行官兼創始人 Jakob Balslev 評論道。
“我們越來越清楚使用者的需求是什麼，我們很高興能在這方面發佈更多更新。

 

 

  他補充道：「其次，我們推出了 Coil Pro，這是我們在硬體方面所做的最大的創新，在我看來，這可能是動作捕捉領域有史以來最大的創新。
通過融合EMF和IMU捕捉，Coil Pro解鎖了動作捕捉的聖杯：無漂移和無遮擋。
Coil Pro 具有隨時間變化的無漂移全域位置，並且無需光學解決方案的視線，是動作捕捉[IMU and optical]的兩全其美。名為 Volta Tracking Technology 的底層平臺融合了 EMF 和 IMU，將成為我們未來所有動作捕捉硬體解決方案的核心。數字王國：CHARLATAN 數位王國正在進一步開發其機器學習神經渲染軟體Charlatan（有時稱為換臉工具）。
“認識到與傳統方法（包括我們的頂級 Masquerade [facial capture] 系統）相關的費用和時間，我們開發了 Charlatan 來引入效率和經濟性，”Rabel 評論道。
“幾年前，Charlatan 是使用機器學習技術創建的。這種創新方法涉及利用個人面部的真實照片並應用增強功能，將其無縫傳輸到另一個人的面部，甚至處理離散的方面，例如衰老或去衰老。最近，我們一直在開發 Charlatan 3D，它發展了這項技術，從這個過程中生成完整的 3D 幾何體，但比 Masquerade 成本更低，捕獲條件更簡單。從本質上講，Charlatan 代表著朝著簡化具有無與倫比的真實感的逼真數位人類的創建邁出了重要一步。 OPTITRACK： 新增功能 相機 OptiTrack 提供用途各異的跟蹤解決方案，包括 AAA 級遊戲工作室、醫學實驗室以及消費者和專業消費者預算解決方案。
11 月，該公司宣佈推出其三款最先進的動作捕捉攝像機;PrimeX 120、PrimeX 120W 和 SlimX 120。
“憑借更高的解析度和更大的視野，這些新增功能為更廣泛的培訓和模擬場景以及更大的電影虛擬製作工作室提供了更大的跟蹤區域，”OptiTrack 高級軟體總監 Anthony Lazzaro 說。
這三款相機均在位於俄勒岡州科瓦利斯的 OptiTrack 總部設計和製造，具有迄今為止最高的解析度，即 12 MP。
使用 PrimeX 120，客戶可以從標準的 24mm 鏡頭中受益，而 PrimeX 120W 則配備具有更寬視野的 18mm 鏡頭。 [And] Slim X 120 提供 24 毫米或 18 毫米廣角鏡頭選項。
Lazzaro 繼續說道：「我們還發佈了資訊更豐富、更直觀的動作捕捉軟體版本，現在與所有 OptiTrack 動作捕捉相機相容。Motive 3.1 旨在簡化高品質、低延遲的性能運動跟蹤，為使用者提供易於使用的預設和跟蹤專案標籤，這些專案可提供最佳運動數據，同時節省時間並消除額外步驟。客戶還可以更深入地瞭解可能的問題，並可以針對最惡劣的跟蹤環境自動解決。 拉伸感： 莫卡普 手套 StretchSense 於 2012 年在奧克蘭成立，其使命是製造世界上最好的可拉伸感測器，以舒適地測量人體。
“基於我們的感測器技術，我們在2019年將業務轉向專注於為AAA工作室、獨立工作室、流媒體、VR/AR、現場表演等提供動作捕捉手套，”StretchSense聯合創始人兼合作夥伴和新市場副總裁Benjamin O'Brien解釋道。
“我們的 Studio 手套非常不顯眼，在透氣運動面料上有一個不到 1 毫米厚的感測器層，還有一個小型傳輸模組，”O'Brien 說。
“不過，這不僅僅是一種舒適和時尚的事情;這意味著我們的手套不會妨礙您，您可以繼續打字、使用滑鼠、握住道具、使用手機或只是從門口拿一個披薩。一旦您開始考慮混合現實應用，這就變得更加重要，因為我們的手套允許您在與虛擬空間和現實世界的交互之間無縫切換。
O'Brien 補充道：“我們的使命是使動作捕捉大眾化，讓獨立內容創作者和主播能夠創造出令人難以置信的沉浸式故事和體驗。為了實現這一目標，我們有一個長期目標，即將我們的手套降低到真正的消費者價格點，這將真正打開空間。795美元，我們認為我們最新的 StretchSense Studio 手套是該行業朝著這個目標邁出的最大一步;不到兩年前，具有類似性能的產品的成本將遠遠超過5,000美元。 阿克圖魯斯 和 體積 視頻 Arcturus Studios 總部位於比佛利山莊，由夢工廠、YouTube、Autodesk、Netflix 和其他知名公司的資深人士於 2016 年創立。
“他們一起看到了體積視頻的潛力，並決定共同推動其發展，”Arcturus 合作夥伴關係和行銷主管 Piotr Uzarowicz 回憶道。
“這導致了 HoloSuite 工具的創建，包括 HoloEdit（一種可以編輯使用體積視頻錄製的表演者的 3D 表演的工具）和 HoloStream（可以壓縮完整的體積視頻檔並將其流式傳輸到任何 2D 或 3D 設備的軟體，即使寬頻信號不穩定。HoloSuite 共同説明將體積視頻用於從電子商務到AR專案再到虛擬製作等各種應用。
Uzarowicz 繼續說道：“Arcturus 接管了 Microsoft 的混合現實捕捉工作室 （MRCS） 業務 [in 2023]，包括開發世界上最複雜的捕獲系統，以及維護和向世界各地的工作室提供 MRCS 許可證的權利。這使 Arcturus 處於一個獨特的位置，它現在正在開發體積視頻的所有階段，從捕獲和編輯一直到最終分發。“我們的目標之一一直是讓體積視頻更易於訪問。我們正在尋找新的方法，包括使用 AI 和機器學習，讓使用更少的攝像頭更輕鬆地捕捉體積視頻。借助 MRCS 技術和我們的被許可方，我們正在與世界上一些最優秀、最具創意的內容創作者合作，尋找技術可以發展和改善製作體驗的地方，“Uzarowicz 評論道。“我們剛剛發佈了一種名為 Accelerated Volumetric Video （AVV） 的新視頻編解碼器，它可以向數字環境添加更多體積字元。使用 MRCS 技術，捕獲的性能品質比以往任何時候都好。體積視頻在不斷發展，“他補充道。

 

 

“即時功能的趨勢已經變得突出，允許即時反饋並集成到虛擬環境、視頻遊戲和現場活動中。隨著我們將人工智慧和機器學習整合為工具，以進一步增強這些功能的功能，它將實現自動分析和即時捕獲動作，這將有助於節省流程時間，從而節省成本。  

 

 

移動人工智慧Move AI宣佈正式發佈單攝像頭動作捕捉應用程式Move One，該公司於11月下旬透露。
“該應用程式現在可供希望為其 3D 角色帶來逼真人體動作的動畫師和債權人使用，”該公司表示。
“Move AI 可以輕鬆捕獲和創建 3D 動畫。”人工智慧/機器學習“Arcturus 目前正在以多種方式試驗 AI 和機器學習。從我們成立的那一刻起，我們的主要目標之一就一直是讓體積視頻更易於訪問，而 AI 可以通過幾種不同的方式幫助我們實現這一目標，“Uzarowicz 評論道。
“除其他事項外，我們目前在研發中關注的領域之一是使用人工智慧來幫助我們捕捉到我們目前可以捕捉到的相同水準或更好的品質，但使用的相機更少。使我們的 MRCS 技術成為世界上最好的原因之一是將多個捕獲的記錄轉換為單個 3D 文件的軟體。我們希望通過 AI 來改進這一過程。
關於 AI/ML，O'Brien 說：“我們看到許多公司使用動作捕捉來創建自己的專有資料庫，用於訓練或調整生成式 AI 模型，我們正在研究如何利用這一點。
最後，我們自己也在不斷投資於機器學習以提高數據品質 [of] 我們的產品。“鑒於我們在機器學習方面的經驗，我們將 Gen AI 視為我們工具箱中的任何其他工具，使我們能夠有效地創造令人愉悅的藝術結果來支援故事，”Digital Domains 的 Rabel 說。“我們發現，機器學習和 AI 等強大工具與我們藝術家的創意才能相結合，可以產生我們正在努力追求的照片級逼真、相關、可信和逼真的表演。我們認為，演員表演的細微差別與我們的 AI 和機器學習工具集相結合，對於獲得逼真的效果至關重要，這些結果可以吸引觀眾並穿越恐怖谷。Lazzaro 評論道：“OptiTrack 已經使用 ML 演演算法為連續校準和訓練標記集等事情推匯出最佳解決方案。連續校準採用場景中現有的可見物件（即標記），並使用該數據來確定如何進行小的調整，以解決與碰撞、發熱或人為錯誤相關的校准問題。經過訓練的標記集允許您將標記數據饋送到演算法中，以創建一個可以跟蹤以前無法跟蹤的物件（例如蹦床、跳繩和其他非剛性物件）的模型。Lazzaro 補充道：“AI 和 ML 的進步將繼續塑造未來跟蹤物件的方式。Rokoko 的 Balslev 指出：“AI/ML 將從根本上改變動作捕捉領域。文本到動態工具正在興起和成熟，最終將完全破壞在線市場和圖書館的庫存空間。然而，這些工具將無法取代任何需要行動和特定時間的定製動作捕捉。

我們的使命是使動作捕捉大眾化，讓獨立內容創作者和主播能夠創造令人難以置信的沉浸式故事和體驗。
為了實現這一目標，我們有一個長期目標，即將我們的手套降低到真正的消費者價格點，這將真正打開空間。
795美元，我們認為我們最新的 StretchSense Studio 手套是該行業朝著這個目標邁出的最大一步;不到兩年前，具有類似性能的東西可能會花費超過5000美元。—本傑明·奧布萊恩，StretchSense的聯合創始人兼合作夥伴和新市場副總裁

 

VR 和MOCAP “我們正在 [Vicon and Dreamscape Immersive] 共同規劃無標記動作捕捉在提供比任何其他沉浸式 VR 體驗更逼真的冒險方面可以走多遠，允許使用更少的使用者裝備進行更自由流動的移動和探索，”Vicon 的 Finch 評論道。
“Dreamscape 表示，它一直在等待 markerless 從概念突破到產品中的時刻，屆時該技術可以支持實現其驚人潛力所需的精度。我們現在正在一起測試這種潛力。
Finch 補充道：“看到人們完全沉浸其中時對 VR 的最初反應非常了不起。幻想與現實的界限變得模糊，你在 VR 空間中擁有的自由度就越大，當使用者被束縛並且他們感覺到電纜的拉扯或知道自己背著背包時，這種自由度就會降低。
“他繼續說道，”客戶體驗元素也是這一切的核心驅動力。人們對 markerless 的體驗是一個令人驚歎的時刻。無標記將帶來更多魔力——更多驚喜。
Lazzaro 解釋說：“Mocap 用於各種 VR 和 AR 應用程式。
通常，家庭系統使用所謂的 inside-out 跟蹤來讓頭戴式顯示器 [HMD] 跟蹤用戶周圍的世界。這非常適合 HMD 和控制器跟蹤，但不能用於查看佩戴 HMD 的其他人。OptiTrack 使用一種稱為由外而內跟蹤的方法，我們使用外部攝像頭跟蹤 HMD、控制器和道具。這允許用戶構建基於位置的 VR 體驗，其中多人可以一起體驗，或者工程師可以作為一個團隊在 VR 中進行設計。 展望
“我們認為，隨著可訪問性的持續提高，這些市場 [動作捕捉、表演捕捉和體積視頻] 都將發生變化，”StretchSense 的 O'Brien 評論道。您現在可以以低於新 iPhone 的成本進行全身動捕，並且現在可以在同一部 iPhone 上免費進行基本的體積捕捉。這對不同的市場意味著不同的事情：在一家大型 AAA 工作室中，你會看到所有人無時無刻不在進行動作捕捉，也會看到更雄心勃勃的專案中，這些項目擁有比以往更多的動畫內容。對於獨立創作者來說，進入動作捕捉的財務成本正在下降，因此更多的人可以加入這個領域。最後，全球有數百萬主播正在獲得與社區聯繫的新方式，並通過踏入虛擬世界來賺錢。“Mocap 在各種市場都有光明的未來，”OptiTrack 的 Lazzaro 說。“這包括但不限於電影、視頻遊戲、醫療應用、機器人技術、測量和VR。動作捕捉技術在 V-Tubers 和其他專業消費者應用程式中也變得越來越普遍。