国内新闻

您所在位置:首页 > 国内新闻 > 正文

Oculus Insight内向外追踪技术的起步、发展与未来

文章作者:www.hrbyunfankeji.com发布时间:2020-01-27浏览次数:904

来源:魏莹作家童雨

VR硬件最初需要通过数据线连接到电脑,直到脸书工程团队找到切断电缆的方法。

安娜科兹明斯基(Anna Kozminski)2018年加入脸书担任软件程序工程师时,她的任务非常简单:切断虚拟现实设备的电缆,这样任何人都可以立即戴上头盔显示器,沉浸在虚拟现实世界中,不需要外部摄像头来捕捉环境。

安娜指出:“我们想建立一个系统,让你像现实世界一样自然、轻松地在虚拟现实中四处走动,并在其中自由探索。”

对安娜的团队来说,它的任务是为消费者虚拟现实设备开发第一个功能齐全的“由内向外”跟踪系统。该技术将能够跟踪用户的全部运动范围(即六个自由度),同时精确定位头部显示器和两个运动控制器。

虚拟现实设备最初需要使用外部传感器来跟踪运动。用于跟踪的摄像机与PC机相连,虽然这是一个可行的方案,但它降低了虚拟现实的便携性,增加了设置的复杂性。

安娜说:“进入虚拟现实就像戴上耳机,借助头部显示器的内外跟踪来听音乐一样简单。”

但是团队的任务远非易事。他们必须把研究实验室中最先进的计算机视觉技术带到任何人都能使用的消费设备上。跟踪需要精确到1毫米以下,并且需要捕捉头部的细微倾斜或手的短暂闪光。它必须足够坚固,以满足现实家庭中几乎所有的条件。它还必须足够高效,能够依靠电池来执行其功能。

Oculus Quest是第一款嵌入全六自由度跟踪和双控制器跟踪的头部显示设备。

为了实现这一点,安娜和她的团队使用计算机视觉和自我研究算法来生成用户周围环境的实时3D地图,这样头部显示器就可以计算出你的位置并将其传输到虚拟现实世界。

脸书称这个系统为Oculus Insight。它使得开发新的Oculus Quest和Rift的头部成为可能。几天前,该公司写了一篇文章,介绍苏黎世、门洛帕克和西雅图工程师团队将这项技术变成现实的过程。以下是地图网络的具体安排:

Oculus Quest头部显示摄像机和跟踪传感器

1。SLAM

Oculus Insight跟踪基于SLAM(即时定位和地图构建),主要利用计算机视觉CV算法融合来自多个传感器的输入数据,从而确定不断更新的数字地图中物体的位置。SLAM长期以来被用于机器人技术和智能手机中的增强现实相机效果,脸书在2016年通过圣克鲁斯虚拟现实平视原型展示了这一点。但是Oculus Insight需要前所未有的精度和效率,这意味着它需要适应最新的跟踪技术和计算机视觉。"大多数技术起源于学术,起源于实验室."安娜说。她加入脸书的苏黎世工程团队绝非偶然。事实上,这里的大多数成员来自苏黎世之眼项目(由着名的苏黎世联邦理工学院和苏黎世大学组织),该项目开发自动导航系统。

为了构建更高级的SLAM,工程团队借鉴了脸书多年来在人工智能方面的研究和工程工作,构建了一个理解视频中出现的对象和行为的系统,并开发了一种能够支持移动设备的高效计算机视觉算法。

2。应用于前沿虚拟现实设备

奥斯卡林德是脸谱团队负责Oculus Insight的首席机器感知架构师。他在构建超高效SLAM系统方面有丰富的经验。林德是第13实验室的联合创始人,该实验室于2011年首次展示了面向消费者应用的视觉SLAM技术(用于增强现实手游)。脸书在2014年收购了第13实验室及其SLAM技术,而林德加入公司,负责开发虚拟实景头像的内外跟踪功能,同时组建团队开始研究Oculus Insight。Oculus Insight团队在2017年全力以赴,但他们面临着一个核心挑战:创建准确高效的基于SLAM的算法,足以支持Oculus Quest等移动设备。林德的合作伙伴是工程经理乔尔赫斯。后者的研究项目是利用基于视觉、激光和惯性传感器的SLAM技术来辅助机器人导航,同时也致力于移动增强现实(AR)和虚拟现实(VR)应用。赫希来到脸书,主要负责将Oculus洞察整合到探索和裂谷中

Oculus Insight的工作原理

Lind,Hirsch,Anna和他们的团队借鉴了脸谱网以前对移动AR的SLAM工作和第一代Oculus Rift系统中的跟踪技术,但他们需要找到新的方法来调整和设计它们,以便能够支持虚拟现实头显示,实现由内向外的跟踪。

在智能手机方面,SLAM使用手机摄像头来创建“世界锁定”的照片和视频效果。然而,对于虚拟现实来说,这涉及到多个摄像机、额外的传感器和需要在三维空间中跟踪的三个不同的对象。

安娜解释道:“我们需要同时解决三个移动部件:头部显示器和两个额外的控制器。我们需要每次都保持正确的姿势。”

该团队还遇到了其他挑战。当你挥舞虚拟光剑或操纵虚拟飞船时,如果运动控制器离头部显示器太近或太远,头部显示器摄像机将很难清晰地感应到控制器的红外发光二极管。Oculus Insight同时使用其他传感器,包括头部显示器提供的加速度和速度数据以及嵌入控制器的惯性测量单元。系统必须实时处理所有数据,对于Quest,所有这些都需要由移动芯片组来执行。

3。毫米跟踪精度

为了解决这一挑战,Oculus Insight团队对系统进行了系统改进。为了提高系统的跟踪精度和速度,他们构造了一种新的计算机视觉算法。他们在不同的样本环境中同时录制了数千小时的视频,然后用它们来训练系统识别环境中的特征。例如,Oculus Insight可以通过定位和跟踪沙发的角落或桌子的边缘来实时三角测量一个人在房间中的确切位置(类似于人眼检测物体的方式)。

团队还使用了非常精确的OptiTrack运动捕捉阵列,这是一种用于好莱坞视觉效果制作的同类设备。通过比较光学跟踪(OptiTrack)和Oculus Insight的测量数据,工程师可以微调系统的计算机视觉算法,达到毫米以内的跟踪精度。

4。大规模测试

尽管研究实验室的重点是获得准确、可测量和可重复的结果,但团队需要将其重点转移到感知指标上,以构建能够支持消费者日常用例的技术。换句话说:虚拟现实用户对给定的体验有什么实际感受?

为了解决诸如所谓的“眩晕”(当物理位置与运动不匹配而虚拟位置与运动不匹配时的定向障碍)和抖动(视觉频闪和图像拖尾)等感知到的假象,工程团队充分发挥了其想象力。

为了记录Oculus Insight的动作并提高其跟踪性能,苏黎世团队工程师大卫沃格特(David Vogt)正在建立OptiTrack动态捕捉系统

苏黎世团队使用OptiTrack动态捕捉系统在各种环境和条件下测试Oculus Insight,他们将自己作为测试对象。

为了测试Oculus Insight在现实世界中的表现,苏黎世团队工程师使用了数百间现实世界的房间。上图是用于测试的房间之一。

5。超越虚拟现实,成为增强现实眼镜的基础。

今天,Oculus Insight将以前所未有的轻松进入虚拟现实体验。对于Rift S,您只需将头部显示器连接到电脑,而无需额外的传感器。另一方面,Quest根本不需要电脑,可以开箱即用,支持房间大小的体验。然而,脸书对未来的愿景远远超出了今天的可能性。

目前支持Oculus Insight的相同体验(以及脸书、Instagram、信使的增强现实体验)最终将转变为未来设备的新体验。最终,它将成为轻薄时尚的氩离子眼镜的基础。

脸谱网最后写道:“我们还有很长的路要走,但是Oculus Insight让我们更接近了。”

原始链接:https://yivian.com/news/65407.html