苹果头显新专利:使用头部运动传感器进行眼动追踪

    看日报是个好习惯。
    索尼发布全新PS5 VR手柄 包含手指检测等新功能
    索尼已正式发布了全新的PS5 VR手柄,该手柄具有许多新功能,包括手指检测、模拟摇杆、由内而外跟踪(“Inside-Out Tracking”)等。
    这对手柄刚刚在PlayStation Blog上公布。它们看起来与最初的PSVR所使用的PlayStation Move手柄有很大不同。发光的追踪球没有了。手柄本身看起来更接近Oculus Touch和Valve Index手柄,现在有一个跟踪环,当用户握住手柄时,该跟踪环会在用户的手腕上运行。
    PS5 VR手柄曝光
    该博客证实了在过去从Sony获得的之前的专利中所见过的几种功能。例如,Dualsense PS5手柄的自适应触发器和触觉反馈功能,例如在开枪时,两个手柄上的L2和R2触发按键将产生后坐力,并且手柄的隆隆声将更有触感。该设计最终还确认了手柄将由头显本身跟踪,而不是像最初PSVR面向用户的摄像机那样跟踪。
    在按键方面,手柄有很大的变化。索尼在这两种设备上都实现了模拟摇杆,除了触发按键还有分别组成L1和R1的手柄按键。任何一个手柄上都有两个“face buttons”(左手柄是△键和□键,右手柄是×键和○键)与创建按键、Options键,以及“Home”按键。
    这些新手柄可以“在不按压拇指、食指或中指的情况下检测你的手指”。我们希望能看到类似Valve的Index Controllers这样的功能。
    相信开发者很快就能得到新设备的雏形了(头显本身的开发套件将发布)。新的PS5 VR头显还没有正式命名,也不会在今年发布,但索尼表示,它还有更多的东西可以分享。
    读取手腕神经信号的手环?Facebook分享最新手部追踪、触觉反馈研究
    近日,Facebook分享了公司在腕式设备方向的研究,据介绍,该腕式设备将用于高保真度的手指追踪与触觉反馈功能。
    今年2月,媒体Information曾报道Facebook会在2022年发布SmartWatch,并于次年发布第二代产品。Facebook从事AR/VR交互与R&D输入的负责人Sean Keller对公司的手腕设备做出如下描述:
    “腕带与手表现已被广泛使用。手腕上的设备可作为计算、电池以及无线电的平台,充当具备显示屏、触摸界面,以及丰富触觉反馈的完整输入与输出的集线器,并且广泛支持各类传感器。”
    手部神经信号追踪
    Oculus Quest头显可通过头显的摄像头支持手部追踪功能。该功能需要在光线充足的条件下使用,而且会产生一定程度的延迟。当用户双手交叠时,头显无法实现追踪。
    更高质的摄像头、深度传感器以及运行速度更快的芯片有助于提高头显的手部追踪功能。即便如此,在一些场景下,头显仍然无法追踪一个或多个手指。
    因此,Facebook还在进行另外一种追踪方式的研究,即通过读取手腕信号进行追踪,采用该方案甚至可以实现在手部发生动作前感测其动作。Facebook于2019年初为类似设备提出专利申请,从事类似研究工作的纽约创企CTRL-Labs于2019年底被Facebook收购。
    Facebook负责指导神经运动接口研究的Thomas Reardon表示,大脑很大程度上是对手部进行控制,而不是对身体其他部分。他声称最近所取得的研究突破能够解码个体神经元的活动,以“尽可能无限的对机器进行控制”。这意味着手部交互可以达到令人难以置信的毫米级精度。
    据了解,由于设备追踪的是神经信号而不是真实的手指,因此用户可简单地通过“想”移动手指让虚拟手指移动。在Reardon展示的一小段视频中,一位天生缺少一根手指的体验者进行虚拟手部的控制,可以看到,追踪其手部动作的虚拟手指是完整的。
    值得注意的是,该追踪方案对个人数据的收集可能会被视为很严重的个人隐私问题:
    “类似这样的神经数据属于私人信息,因此我们将此视为研究的一部分。如何处理这些个人信息,做到以人为本的提前下让用户参与体验是需要考虑的问题。我想说,作为科学家,我们会对公众严格遵守透明性原理,向人们解释我们为什么要使用这些数据,这些数据是如何被使用的,以及在哪些用户体验中启用了这些信息。”
    基于腕部的触觉反馈
    在谈到Facebook长期目标时,AR/VR交互与R&D输入负责人Sean Keller描述未来会像抽出“一双柔软、轻巧的触觉手套。”
    第一次听说Facebook从事相关研究,还是在2019年世界触觉会议时Facebook对“Tasbi”展示时。Facebook负责科学研究的经理Nicholas Colonnese对从腕部设备输送触觉反馈的潜力进行了讨论。
    我们直觉上会认为手腕上的感觉并不太适用于基于手指的虚拟交互,但Colonnese表示感官替代可以做到这一点,大脑会将视觉与触觉刺激理解为同一回事。
    “我们利用具备Tasbi振动与挤压的触觉功能在VR与AR中进行了大量虚拟交互实验,比如对按钮进行推、拉、转等动作,以及在空间中移动虚拟物体。还尝试了很多非典型案例,比如爬山、拉弓等。我们进行这些测试,是想知道Tasbi的振动与挤压反馈能否让人感觉正在与这些物体进行自然的交互。令人惊讶的是,得益于集合了身体多重信息的感官替代,我们得到了肯定的答案。”
    Colonnese在与AR眼镜配对时,描述了更多常见案例以验证Tasbi高保真触觉反馈,例如步行导航时的振动反馈等。
    《Immersion》支持iPhone或iPad在VR中操作, Android版本即将推出
    工作平台《Immersion》增加了对iPhone和iPad的支持,用户可以通过VR屏幕看到PC或Mac这些设备。Android版本即将推出。
    VR Beta版的手机通过本地Wi-Fi网络以低延迟的方式传输iPhone或iPad屏幕的数据。该功能需要从App Store下载iOS应用程序,才能将你的苹果设备带入VR。《Immersion》计划在几周内发布该应用的Android版本。
    该软件目前还不能追踪手持设备的位置,因此在VR中的触摸屏上打字相当困难,但是如果你有设备的扩展坞,则可以轻松地对齐物理位置和虚拟位置,《Immersion》表示,它计划最终通过ARKit和ARCore添加追踪功能。
    本周,《Immersed 》通过WeFunder众筹投资者平台在新一轮融资中筹集了340多万美元。这家初创公司的目标是在本周结束前筹集500万美元。
    在使用Oculus Quest或Quest 2的VR头显时,新添加的功能可以让你方便地接收通知或打开应用程序。使用多设备蓝牙键盘和鼠标,能快速地切换从PC到iPad的输入控制,现在可以支持同步固定键盘的位置,以便在VR输入。

    郭明錤:苹果AR/VR头显或配备眼动追踪系统,致伸为系统发射端独家供应商
    今日郭明錤对苹果AR/VR头显做出新的预测:苹果头显将配备眼动追踪系统。据介绍,该眼动追踪设计方案与算法由SMI提供。眼动追踪系统包含发射端与接收端,可侦测与获取眼球移动的信息,根据演算为佩戴者提供影像、图像与资讯。
    眼动追踪系统的发射端能提供一种或数种不同波长的不可见光,接收端会对眼球反射不可见光时所产生的变化进行监测,并依此判断眼球的移动。
    发射端具备不同波长,生产程序复杂且耗时,而且头显对发射端模组的尺寸与形状要求与一般电子装置差异大,生产难度较大,因此发射端模组单价高,预测发射端模组的独家供应商为台湾致伸科技。
    此外,郭明錤还表示仍无法确定苹果头显能否支援虹膜辨识。从硬体规格上来看,头显的眼动追踪系统可支持此功能。其认为,如果苹果头显能实现虹膜辨识,佩戴者将可更直接地使用Apple Pay。
    红杉中国独家领投,中国脑机接口研发商博睿康完成过亿元B轮融资
    据悉,中国从事脑机接口技术研究10余年的企业博睿康科技(常州)股份有限公司(简称“博睿康”)日前已完成过亿元B轮融资。本轮融资由红杉中国独家领投,老股东凯风创投、熔拓资本跟投,融资资金将继续用于产品开发、产线投资以及销售网络建设等。
    此前,博睿康已获三轮融资,融资总规模超亿元:2015年12月,获得天使轮融资,金额未透露,投资方为熔拓资本;2018年4月,获得Pre-A轮融资,金额未透露,投资方为凯风创投、熔拓资本;2019年8月,完成A轮6000万元融资,华控基金领投,中发展启航基金、中发展前沿基金、BV百度风投跟投。
    博睿康成立于2011年,是一家以自主创新的“脑-机接口”技术为核心,从事脑-机接口系统相关设备的研发、生产、销售以及技术服务的企业。该公司主要为神经科学创新研究与临床神经疾病诊断、治疗与康复提供专业、完整的解决方案,其客户主要分布在脑科学研究和临床医疗等领域。这轮融资资金主要用于加速临床产品的研发,推动微创植入反馈治疗和脑机智能主动康复领域的产品落地。
    苹果头显新专利:使用头部运动传感器进行眼动追踪
    今天,美国专利商标局发布了苹果公司的一项专利申请,涉及使用称为“头部运动传感器”的头部运动传感器在虚拟和混合或增强现实(VR / AR)应用中进行眼动追踪的各种方法和设备。
    VR / AR系统可以包括诸如头显、护目镜或眼镜等设备(在本文中称为头戴式设备HMD),该设备包括用于显示用户眼前左右图像内容的显示器(例如,左右显示器),以便向用户提供三维(3D)虚拟视图。
    VR / AR系统可以包括眼动追踪系统(也可以被称为注视点追踪系统)。
    提供准确眼动追踪的关键是知道用户的眼睛相对于追踪相机的位置。在眼动追踪系统的一些实施例中,为了准确地确定用户眼睛位置,控制器可以执行算法,该算法使用由眼动追踪照相机捕获的图像执行三维(3D)重建,以生成用户眼睛的3D模型。
    该3D模型能够指示眼睛相对于追踪相机的3D位置,这使控制器执行的追动追踪算法可以准确地跟踪眼睛的运动。
    专利描述了用于追踪用户头部相对运动的方法和设备,其中传感器(在本文中称为头部运动传感器或头部里程表)被放置在设备内部或设备上的一个或多个位置处。靠近使用者耳朵的传感器主要用以追踪音高,位于鼻梁处或鼻梁附近的传感器主要用以追踪y轴运动。来自头部运动传感器的信号可用于检测设备相对于用户眼睛的运动。该系统允许仅在检测到设备相对于用户眼睛的运动时才执行3D重建,从而大大减少了眼动追踪系统的功耗。
    
    图源:patentlyapple
    苹果的专利图2示出了示例VR / AR HMD,该VR / AR HMD实现了眼动追踪系统,该系统包括用于检测HMD相对于用户眼睛运动的传感器;图3是眼动追踪方法的流程图,其中传感器用于检测HMD相对于用户眼睛的运动,并且仅当检测到HMD的运动时才执行3D重建。
    
    图源:patentlyapple
    苹果的专利图12示出了示例性VR / AR系统的框图,该示例性VR / AR系统包括如图1和图2所示的眼动追踪系统的组件。图11是眼动追踪方法的流程图,其中使用头部运动传感器检测HMD相对于用户眼睛的运动,并且使用眼睛运动传感器处理由眼动追踪相机捕获的帧。
    更多关于该专利的详细信息可查看苹果这项专利申请号为20210081039的专利。考虑到这是一项专利申请,目前尚不知道搭载此类功能设备上市的时机。
    苹果头显新专利:将触觉反馈设备放置在用户脸颊周围,以提供更强娱乐性
    近日,美国专利商标局发布了苹果公司的一项专利申请,该申请涉及一种混合现实的头戴式显示系统,该系统包括显示器、触觉输出设备和控制器。触觉设备被设计放置在用户的脸颊、鼻子、头部侧面,或沿着太阳穴放置,以在玩游戏或欣赏电影时提供较为全面的触觉反馈。
    
    图源:patentlyapple
    苹果公司特别指出,HMD可能包括特殊模块,例如电影模块和游戏模块,用于提供游戏或模拟的图形以及音频内容。
    显示单元将被用户佩戴在头上,该单元包括用于向用户提供图形输出的显示器,其中触觉输出设备将耦合到显示单元。
    控制器处理定向输入,根据定向输入确定定向触觉输出,并控制左右触觉输出设备以提供触觉反馈。
    方向性输入可以包括导航指令、感兴趣的环境特征(头戴式显示器所处的环境中的对象)或感兴趣的虚拟输出,其能够为图形输出或其中至少一个头戴式显示器进行声音输出。
    控制器可以处理健康输入并确定触觉输出,还能控制触觉输出设备以提供健康触觉输出。健康输入可以是用于指导用户的呼吸指令或运动指令。
    另外,触觉输出设备能够耦合到显示单元并且向用户提供触觉输出。触觉输出设备可以通过机械或电气的方式耦合到显示单元,并且是可移除的。
    
    图源:patentlyapple
    头戴式显示器(#100)的音频输出设备(#120)提供音频输出。音频输出设备包括一个或多个扬声器,这些扬声器可以配置成入耳式、耳挂式或头戴式耳机。音频输出设备可以耦合到头部支撑件150(如图1D所示)或任何其他合适的位置(例如,显示单元110)。
    
    图源:patentlyapple
    头戴式显示器的传感器(#122)用以监视环境和用户的状况。监视环境的传感器可以包括但不限于一个或多个面向外部的摄像头(#122a)、深度传感器(#122b)、超声传感器(#122c)、位置传感器(#122d)以及音频传感器(#122e)。还包括但不限于一个或多个对内的摄像头(#122f)和生理传感器(#122g)。
    深度传感器可以检测头戴式显示器周围环境中的物体和其距离。这些深度传感器可以是结构化的光系统(例如,具有投影仪和照相机),该结构化的光系统以已知的图案投射光,感测从环境中的物体反射的光,并识别物体或使用合适的算法计算距离。
    在其他实施例中,可以在多种条件下中提供触觉输出设备。在一个示例中,触觉输出设备可以被设置在不同的位置,诸如在用户的头顶、脸颊、鼻子或头顶侧面、太阳穴等位置。
    更多关于本专利的详细信息,可查阅苹果这项专利申请号为20210081047的专利。考虑到这是一项专利申请,目前尚不知道这种产品上市的时机。
    Pimax“8K”X 更新,可在GeForce 30系列GPU上实现90Hz刷新率
    今天,小派科技公司发布了一个Beta版更新,在“原生模式”下它能将“8K”X头显的刷新率提高到90Hz,头显原来的最大刷新率为75Hz。该公司表示,它与NVIDIA合作,克服了以前的“带宽限制”,以在大多数GeForce RTX 30系列GPU上实现更高的刷新率。
    Pimax“8K”X是该公司的旗舰头显,也是唯一一款能够在3840×2160双显示器上显示全分辨率的头显。但是,以这种“原生模式”下运行头显时,头显只能以75Hz的速率运行。或者用户可以切换到“高级模式”,即2560×1440的分辨率,这意味着图像不会很清晰,但仍可以在90Hz下运行。
    目前,只有在使用与Nvidia的GeForce RTX 3070、3080或3090 GPU,搭配使用正确版本的GPU驱动程序才能实现。目前尚不清楚是否包括RTX 3060或某些高端20系列GPU。
    VR中更快的刷新率可以使虚拟世界的视图更平滑,延迟更低,这有利于用户的舒适感和沉浸感。对于像Pimax“8K”X 这样的超大视角头显来说,高刷新率尤其重要,因为相比于中心视觉,人眼对周边视觉的显示闪烁更敏感。