不断扩大的动作捕捉视野

2024年04月15日

动作捕捉、表演捕捉和体积视频技术正在迅速发展，在更大程度上融合了 AI 和 ML，并专注于增强真实感、精度和可访问性。
数字王国技术产品经理 Peter Rabel 评论道：“实时功能的趋势已经变得突出，允许即时反馈并集成到虚拟环境、视频游戏和现场活动中。随着我们将人工智能和机器学习集成为工具以进一步增强这些功能的功能，它将实现自动分析和实时捕获动作，这将有助于节省流程时间，从而节省成本。随着技术的不断发展，我们必须随时了解最近的发展和行业趋势，以了解这些采集技术的当前轨迹，这样我们才能更好地为客户服务。
VICON：MARKERLESS Vicon 在 2023 年引起了轰动，其洛杉矶 SIGGRAPH 宣布首次推出其机器学习 （ML） 驱动的无标记动捕。
该消息是在 Vicon 位于英国牛津的研发工厂进行了大约三年的研发后发布的，该研发专注于将 ML 和 AI 集成到无标记动作捕捉中。Vicon 与专门从事动作捕捉的瑞士研究机构 Artanim 和 VR 体验和科技公司 Dreamscape Immersive 合作开发了这项技术。
“能够在没有标记的情况下捕捉运动，同时保持行业领先的准确性和精度，这是一项极其复杂的壮举，”Vicon 的首席技术官 Mark Finch 说。
“经过初步研究阶段后，我们专注于开发世界一流的无标记捕获算法、强大的实时跟踪、标记和解决，以实现这项创新。这是我们迈向未来产品发布的第一步，最终将推出首个无标记动作捕捉平台。 Finch 继续说道：“我们在 SIGGRAPH 上展示的是无标记地识别人体形态 - 使用原型相机、软件和算法 - 在 VR 体验中实时跟踪六个人的全身问题。这完全需要参与者穿着带有动作捕捉标记的重型装备。因此，VR 体验更加无缝和可信，因为动作捕捉技术在很大程度上是隐形和非侵入性的。
Finch 补充道：“对于我们展示的技术，Artanim 和 Dreamscape 的联合创始人兼首席技术官 Sylvain Chagué 说：'实现一流的虚拟身体所有权和沉浸在 VR 中需要准确跟踪和极低的延迟。我们花费了大量的研发工作来评估基于 ML 的跟踪算法的计算性能，实施和微调多模态跟踪解决方案，以及充分利用全身无标记动作捕捉和 VR 头戴式设备跟踪功能。” 洛科科 视觉 总部位于哥本哈根的 Rokoko 去年在产品方面发布了两项重大公告，“首先，我们的视觉 AI 解决方案 Rokoko Vision 允许从任何相机进行无套装动作捕捉。我们发布第一次迭代主要是为了了解该领域并从产品的早期使用中收集见解，“首席执行官兼创始人 Jakob Balslev 评论道。
“我们越来越清楚用户的需求是什么，我们很高兴能在这方面发布更多更新。

 

 

  他补充道：“其次，我们推出了 Coil Pro，这是我们在硬件方面所做的最大的创新，在我看来，这可能是动作捕捉领域有史以来最大的创新。
通过融合 EMF 和 IMU 捕捉，Coil Pro 解锁了动作捕捉的圣杯：无漂移和无遮挡。
Coil Pro 具有随时间变化的无漂移全局位置，并且无需光学解决方案的视线，是动作捕捉[IMU and optical]的两全其美。名为 Volta Tracking Technology 的底层平台融合了 EMF 和 IMU，将成为我们未来所有动作捕捉硬件解决方案的核心。数字王国：CHARLATAN 数字王国正在进一步开发其机器学习神经渲染软件Charlatan（有时称为换脸工具）。
“认识到与传统方法（包括我们的顶级 Masquerade [facial capture] 系统）相关的费用和时间，我们开发了 Charlatan 来引入效率和经济性，”Rabel 评论道。
“几年前，Charlatan 是使用机器学习技术创建的。这种创新方法涉及利用个人面部的真实照片并应用增强功能，将其无缝传输到另一个人的面部，甚至处理离散的方面，例如衰老或去衰老。最近，我们一直在开发 Charlatan 3D，它发展了这项技术，从这个过程中生成完整的 3D 几何体，但比 Masquerade 成本更低，捕获条件更简单。从本质上讲，Charlatan 代表着朝着简化具有无与伦比的真实感的逼真数字人类的创建迈出了重要一步。 OPTITRACK： 新增功能 相机 OptiTrack 提供用途各异的跟踪解决方案，包括 AAA 级游戏工作室、医学实验室以及消费者和专业消费者预算解决方案。
11 月，该公司宣布推出其三款最先进的动作捕捉摄像机;PrimeX 120、PrimeX 120W 和 SlimX 120。
“凭借更高的分辨率和更大的视野，这些新增功能为更广泛的培训和模拟场景以及更大的电影虚拟制作工作室提供了更大的跟踪区域，”OptiTrack 高级软件总监 Anthony Lazzaro 说。
这三款相机均在位于俄勒冈州科瓦利斯的 OptiTrack 总部设计和制造，具有迄今为止最高的分辨率，即 12 MP。
使用 PrimeX 120，客户可以从标准的 24mm 镜头中受益，而 PrimeX 120W 则配备具有更宽视野的 18mm 镜头。 [And] Slim X 120 提供 24 毫米或 18 毫米广角镜头选项。
Lazzaro 继续说道：“我们还发布了信息更丰富、更直观的动作捕捉软件版本，现在与所有 OptiTrack 动作捕捉相机兼容。Motive 3.1 旨在简化高质量、低延迟的性能运动跟踪，为用户提供易于使用的预设和跟踪项目标签，这些项目可提供最佳运动数据，同时节省时间并消除额外步骤。客户还可以更深入地了解可能的问题，并可以针对最恶劣的跟踪环境自动解决。 拉伸感： 莫卡普 手套 StretchSense 于 2012 年在奥克兰成立，其使命是制造世界上最好的可拉伸传感器，以舒适地测量人体。
“基于我们的传感器技术，我们在2019年将业务转向专注于为AAA工作室、独立工作室、流媒体、VR/AR、现场表演等提供动作捕捉手套，”StretchSense联合创始人兼合作伙伴和新市场副总裁Benjamin O'Brien解释道。
“我们的 Studio 手套非常不显眼，在透气运动面料上有一个不到 1 毫米厚的传感器层，还有一个小型传输模块，”O'Brien 说。
“不过，这不仅仅是一种舒适和时尚的事情;这意味着我们的手套不会妨碍您，您可以继续打字、使用鼠标、握住道具、使用手机或只是从门口拿一个披萨。一旦您开始考虑混合现实应用，这就变得更加重要，因为我们的手套允许您在与虚拟空间和现实世界的交互之间无缝切换。
O'Brien 补充道：“我们的使命是使动作捕捉大众化，让独立内容创作者和主播能够创造出令人难以置信的沉浸式故事和体验。为了实现这一目标，我们有一个长期目标，即将我们的手套降低到真正的消费者价格点，这将真正打开空间。795 美元，我们认为我们最新的 StretchSense Studio 手套是该行业朝着这个目标迈出的最大一步;不到两年前，具有类似性能的产品的成本将远远超过 5,000 美元。 阿克图鲁斯 和 体积 视频 Arcturus Studios 总部位于比佛利山庄，由梦工厂、YouTube、Autodesk、Netflix 和其他知名公司的资深人士于 2016 年创立。
“他们一起看到了体积视频的潜力，并决定共同推动其发展，”Arcturus 合作伙伴关系和营销主管 Piotr Uzarowicz 回忆道。
“这导致了 HoloSuite 工具的创建，包括 HoloEdit（一种可以编辑使用体积视频录制的表演者的 3D 表演的工具）和 HoloStream（可以压缩完整的体积视频文件并将其流式传输到任何 2D 或 3D 设备的软件，即使宽带信号不稳定。HoloSuite 共同帮助将体积视频用于从电子商务到 AR 项目再到虚拟制作等各种应用。
Uzarowicz 继续说道：“Arcturus 接管了 Microsoft 的混合现实捕捉工作室 （MRCS） 业务 [in 2023]，包括开发世界上最复杂的捕获系统，以及维护和向世界各地的工作室提供 MRCS 许可证的权利。这使 Arcturus 处于一个独特的位置，它现在正在开发体积视频的所有阶段，从捕获和编辑一直到最终分发。“我们的目标之一一直是让体积视频更易于访问。我们正在寻找新的方法，包括使用 AI 和机器学习，让使用更少的摄像头更轻松地捕捉体积视频。借助 MRCS 技术和我们的被许可方，我们正在与世界上一些最优秀、最具创意的内容创作者合作，寻找技术可以发展和改善制作体验的地方，“Uzarowicz 评论道。“我们刚刚发布了一种名为 Accelerated Volumetric Video （AVV） 的新视频编解码器，它可以向数字环境添加更多体积字符。使用 MRCS 技术，捕获的性能质量比以往任何时候都好。体积视频在不断发展，“他补充道。

 

 

“实时功能的趋势已经变得突出，允许即时反馈并集成到虚拟环境、视频游戏和现场活动中。随着我们将人工智能和机器学习整合为工具，以进一步增强这些功能的功能，它将实现自动分析和实时捕获动作，这将有助于节省流程时间，从而节省成本。  

 

 

移动人工智能 Move AI 宣布正式发布单摄像头动作捕捉应用程序 Move One，该公司于 11 月下旬透露。
“该应用程序现在可供希望为其 3D 角色带来逼真人体动作的动画师和债权人使用，”该公司表示。
“Move AI 可以轻松捕获和创建 3D 动画。”人工智能/机器学习“Arcturus 目前正在以多种方式试验 AI 和机器学习。从我们成立的那一刻起，我们的主要目标之一就一直是让体积视频更易于访问，而 AI 可以通过几种不同的方式帮助我们实现这一目标，“Uzarowicz 评论道。
“除其他事项外，我们目前在研发中关注的领域之一是使用人工智能来帮助我们捕捉到我们目前可以捕捉到的相同水平或更好的质量，但使用的相机更少。使我们的 MRCS 技术成为世界上最好的原因之一是将多个捕获的记录转换为单个 3D 文件的软件。我们希望通过 AI 来改进这一过程。
关于 AI/ML，O'Brien 说：“我们看到许多公司使用动作捕捉来创建自己的专有数据库，用于训练或调整生成式 AI 模型，我们正在研究如何利用这一点。
最后，我们自己也在不断投资于机器学习以提高数据质量 [of] 我们的产品。“鉴于我们在机器学习方面的经验，我们将 Gen AI 视为我们工具箱中的任何其他工具，使我们能够有效地创造令人愉悦的艺术结果来支持故事，”Digital Domains 的 Rabel 说。“我们发现，机器学习和 AI 等强大工具与我们艺术家的创意才能相结合，可以产生我们正在努力追求的照片级逼真、相关、可信和逼真的表演。我们认为，演员表演的细微差别与我们的 AI 和机器学习工具集相结合，对于获得逼真的效果至关重要，这些结果可以吸引观众并穿越恐怖谷。Lazzaro 评论道：“OptiTrack 已经使用 ML 算法为连续校准和训练标记集等事情推导出最佳解决方案。连续校准采用场景中现有的可见对象（即标记），并使用该数据来确定如何进行小的调整，以解决与碰撞、发热或人为错误相关的校准问题。经过训练的标记集允许您将标记数据馈送到算法中，以创建一个可以跟踪以前无法跟踪的对象（例如蹦床、跳绳和其他非刚性对象）的模型。Lazzaro 补充道：“AI 和 ML 的进步将继续塑造未来跟踪对象的方式。Rokoko 的 Balslev 指出：“AI/ML 将从根本上改变动作捕捉领域。文本到动态工具正在兴起和成熟，最终将完全破坏在线市场和图书馆的库存空间。然而，这些工具将无法取代任何需要行动和特定时间的定制动作捕捉。

我们的使命是使动作捕捉大众化，让独立内容创作者和主播能够创造令人难以置信的沉浸式故事和体验。
为了实现这一目标，我们有一个长期目标，即将我们的手套降低到真正的消费者价格点，这将真正打开空间。
795 美元，我们认为我们最新的 StretchSense Studio 手套是该行业朝着这个目标迈出的最大一步;不到两年前，具有类似性能的东西可能会花费超过5000美元。—本杰明·奥布莱恩，StretchSense的联合创始人兼合作伙伴和新市场副总裁

 

VR 和 MOCAP “我们正在 [Vicon and Dreamscape Immersive] 共同规划无标记动作捕捉在提供比任何其他沉浸式 VR 体验更逼真的冒险方面可以走多远，允许使用更少的用户装备进行更自由流动的移动和探索，”Vicon 的 Finch 评论道。
“Dreamscape 表示，它一直在等待 markerless 从概念突破到产品中的时刻，届时该技术可以支持实现其惊人潜力所需的精度。我们现在正在一起测试这种潜力。
Finch 补充道：“看到人们完全沉浸其中时对 VR 的最初反应非常了不起。幻想与现实的界限变得模糊，你在 VR 空间中拥有的自由度就越大，当用户被束缚并且他们感觉到电缆的拉扯或知道自己背着背包时，这种自由度就会降低。
“他继续说道，”客户体验元素也是这一切的核心驱动力。人们对 markerless 的体验是一个令人惊叹的时刻。无标记将带来更多魔力——更多惊喜。
Lazzaro 解释说：“Mocap 用于各种 VR 和 AR 应用程序。
通常，家庭系统使用所谓的 inside-out 跟踪来让头戴式显示器 [HMD] 跟踪用户周围的世界。这非常适合 HMD 和控制器跟踪，但不能用于查看佩戴 HMD 的其他人。OptiTrack 使用一种称为由外而内跟踪的方法，我们使用外部摄像头跟踪 HMD、控制器和道具。这允许用户构建基于位置的 VR 体验，其中多人可以一起体验，或者工程师可以作为一个团队在 VR 中进行设计。 展望
“我们认为，随着可访问性的持续提高，这些市场 [动作捕捉、表演捕捉和体积视频] 都将发生变化，”StretchSense 的 O'Brien 评论道。您现在可以以低于新 iPhone 的成本进行全身动捕，并且现在可以在同一部 iPhone 上免费进行基本的体积捕捉。这对不同的市场意味着不同的事情：在一家大型 AAA 工作室中，你会看到所有人无时无刻不在进行动作捕捉，也会看到更雄心勃勃的项目中，这些项目拥有比以往更多的动画内容。对于独立创作者来说，进入动作捕捉的财务成本正在下降，因此更多的人可以加入这个领域。最后，全球有数百万主播正在获得与社区联系的新方式，并通过踏入虚拟世界来赚钱。“Mocap 在各种市场都有光明的未来，”OptiTrack 的 Lazzaro 说。“这包括但不限于电影、视频游戏、医疗应用、机器人技术、测量和 VR。动作捕捉技术在 V-Tubers 和其他专业消费者应用程序中也变得越来越普遍。