传Cambria将通过手柄外置摄像头支持全身追踪

卡内基梅隆大学的研究人员展示了一个实用的 VR 全身追踪系统，该系统使用安装在控制器上的摄像头来更好地观察和追踪用户的身体。

尽管今天可​​以在 VR 中实现全身追踪，但它需要使用绑在身体上的额外硬件（例如，Vive 追踪器或 IMU 追踪器）。这对铁杆 VR 爱好者来说体验全身追踪又得花费额外的金钱和时间来安装硬件，使得真正体验全身追踪的人少之又少。

因为VR一体机已经配备了摄像头来跟踪他们在世界中的位置和用户的控制器，理论上它也可以查看用户的身体并使用计算机视觉方法来跟踪它。不幸的是，头戴式VR一体机的摄像头角度过于极端，无法可靠地看到用户的腿。这就是导致 Meta 最近得出结论，全身追踪在VR一体机上不可行的原因（尤其是角度变得极小时）。

卡内基梅隆大学的研究人员正在挑战这一困难。他们开发了一个独立 VR 系统，该系统在控制器中添加了摄像头，以便更清晰地看到用户的身体。使得提取腿部和躯干的可靠跟踪数据成为可能。这种方法特别有趣的是，它似乎与下一代 VR 控制器的发展方向一致。Meta 的 Project Cambria 和 Magic Leap 2 都在使用控制器，放弃仅依赖VR一体机的追踪系统，转而使用自己的Inside out追踪系统计算它们的位置。

研究人员使用标准 Quest 2 一体机作为其原型系统的基础，在控制器上添加了两个面向用户的摄像头。将用户的手放在他们面前，摄像头可以更清晰地看到上半身和下半身。该视图经过校正后，计算机视觉系统可以最佳地提取用户的姿势，然后将该数据与已知的头部和手部位置相结合，达到创建全身追踪模型的目的。

(图片来源：卡内基梅隆大学)

当然，用户的手不会一直在他们面前。研究人员表示，一些有限的测试表明，大约 68% 的时间，VR 用户将手放在他们面前。当手没有处于捕捉身体的好位置时，系统会自动粗略估计身体的位置。虽然他们的原型并没有走这么远，但研究人员表示，他们相信在控制器上增加一个摄像头角度，即使用户的手臂和控制器靠在他们身边，也应该可以捕捉到腿部的位置。

至于准确性，研究人员 Karan Ahuja、Vivian Shen、Cathy Mengying Fang、Nathan Riopelle、Andy Kong 和 Chris Harrison 表示，这种系统可能无法实现毫米级跟踪精度，但是厘米跟踪精度可能已经摆在桌面上，这对于许多 VR 用例来说可能已经足够了。特别是对于他们的原型，该系统“平均6.98 厘米的 3D 连接误差”，尽管研究人员表示，考虑到他们用于优化系统的时间有限，应该“考虑到性能的底线，离优化天花板还很远”。

通过全身追踪，腿部终于成为体验中可行的一部分。这不仅是为了让你的头像在其他人看起来更逼真，还可以选择将您的下半身融入互动体验，增加沉浸感，并为玩家在游戏中使用提供另一种输入方式。

研究人员不仅为该系统创建了一个完整的跟踪模型，他们还制作了一些原型体验来展示跟踪腿如何添加到游戏玩法中。

他们展示了曲棍球守门员的体验，球员可以用身体的任何部位挡住冰球；形状墙游戏中，玩家可以通过做出相应的姿势来匹配墙的形状；甚至还有一款“Feet Saber”游戏，玩家可以用手和脚来切方块。

在这一点上很难说；尽管控制器似乎在进行自己的内向外跟踪，但控制器上的摄像头似乎大部分都指向远离用户的方向。

但也许一些未来VR一体机——或者只是升级一下控制器—— 就可以实现它。

无论这些VR一体机什么时候发布，这项研究都表明，在独立的 VR 头显上进行实用、低延迟的全身追踪可能并没有那么遥不可及。结合高度逼真的人脸跟踪，未来的独立VR一体机头显将大大提高 VR 的使用体验。

来源：Roadtovr