Meta Horizon OS系统，拥有足够的竞争壁垒

    文/ VR陀螺 万里
    4月23日，Meta宣布开放Quest系统Meta Horizon OS，华硕、联想已经与Meta达成合作，未来将会推出基于Meta Horizon OS的MR头显产品。
    这对于VR/AR从业者而言无疑是一项重磅信息，也有不少人好奇，Meta Horizon OS究竟是处于一个什么样的水平？它与谷歌即将发布的系统XROS相比是否具备足够的竞争力？
    本文将复盘近期Meta头显的系统更新，并进一步细化阐述Meta的操作系统究竟强在哪里。
    
     交互：无灯环手柄推出，手势技术处于领先地位 
    率先搭载无灯环手柄
    目前绝大多数头显仍以手柄交互为主，在这其中，红外追踪方案又是绝对的主流。
    现如今，很多头显产品的手柄仍然保留了用于放置红外传感器的追踪环，而Quest 3的手柄（Touch Plus）则率先实现了无追踪灯环的手柄解决方案。
    实现原理方面，Touch Plus将多颗红外灯珠隐藏在手柄的黑色面板之内，并在靠近无名指和小拇指握持的区域额外新增一枚灯珠，系统借助LED、IMU数据以及AI算法，便能准确检测手柄所在的位置。
    
    Quest 3手柄，图源：Meta
    手柄去除灯环，好处在于能让手柄变得更为紧凑，并且操作时能进一步避免因手柄体积过大而发生的碰撞问题。
    此外，Touch Plus还引入了二级触发器的概念：手指按下按键有一个反馈，如果用户继续按压，系统则会识别为另一种力度，这能用于构建更多精细的交互场景，比如识别握持鸡蛋、捏碎鸡蛋两种不同动作。
    
    图源：Meta
    对于其他厂商而言，去年9月PICO也曾发布了一个无追踪灯环手柄解决方案，并表示新手柄整体减轻了15g，高度降低了50%，猜测这套手柄方案将会出现在PICO今年所发布的头显新品当中。
    
    右为网上曝出的PICO新手柄，图源：网络
    值得一提的是，2022年所发布的Quest Pro的手柄（Touch Pro）同样没有配备灯环，不过它采取的是Inside-Out技术，手柄通过内置的摄像头、IMU等传感器实现自追踪。
    Inside-Out手柄优势在于可以进一步减少头显摄像头覆盖不到的操作盲区，不过代价是售价高昂，一对Touch Pro手柄售价高达300美元，它并不算一项经济型技术解决方案，因而没有被推广开来。
    
    Quest Pro手柄，图源：网络
    手势深耕多年，手势→direct touch→多模态交互
    早在2019年底，Meta便在v12系统测试版中推出了手势追踪功能，头显仅凭自身的四颗灰度摄像头便能检测用户的手部动作进而实现相应的交互。
    去年2月，在v50系统版本中，Meta在裸手交互的基础之上进一步引入了直接触摸（Direct Touch）功能，它允许用户在主页、设置栏、浏览器等页面实现用手指点击、滑动等操作，体验非常类似于平板电脑设备。
    当然Vision Pro也配有与Meta Quest类似的解决方案：远处界面栏通过手势+眼睛交互，近处界面如输入密码、敲击键盘等则可以通过直接触摸实现。
    
    ‍‍图源：Meta
    去年7月所发布的Horizon OS v56系统版本进一步集成手势识别Hands 2.2套件，在日常使用过程中，手势识别延迟减少了40%，而在快速移动场景中延迟甚至能减少高达75%。这能够有效提升手势识别的交互体验，并为音游、拳击等快节奏游戏引入手势功能奠定了基础。
    
    图源：Meta
    如今随着v64系统版本的发布，Quest 3又进一步支持了多模态交互能力，即用户可以同时使用手势以及手柄进行操作，而早些时候只能二选一。多模态交互能让用户在使用头显时省去不同交互的切换过程，并覆盖更多使用场景。
    
    图源：网络
    虽然相较于Vision Pro的眼+手交互，Quest 3的手柄+手势交互看起来要逊色不少，不过有外媒测试发现Quest 3的手势延迟表现甚至要优于Vision Pro。前者约70ms，后者约127ms。
    （ 关于手势时延差异，不排除是为了照顾不同使用场景所做的考量，Quest 3主要用于游戏，它对于手势时延更敏感，为了降低时延可以舍弃一定准确性。）
    手势交互是Quest系统的一项重要领先能力，作为对比，至今仍有不少头显产品的手势交互功能还停留在“实验测试功能”阶段。
    
    上为Vision Pro，下为Quest 3，图源：Threads
     MR：全彩透视效果出色，进一步实现空间理解能力 
    全彩透视效果已经基本可用
    现如今，全彩透视功能基本上已经成为了头显产品的标配，Meta旗下共有两款产品支持全彩透视：Quest Pro以及Quest 3。
    无可否认，在消费级头显产品中，Vision Pro的全彩透视是标杆级别的存在，相比之下，Quest 3略逊一筹，不过很多方面仍然可圈可点。
    Quest 3配备了双RGB摄像头以及深度传感器，透视分辨率可达到18PPD，而VST时延约40ms。
    早些时候，陀螺君上手体验发现Quest 3在透视画面下基本能够看清手机屏幕画面，不过近距离观察物体时具有明显的画面畸变问题。伴随着近期发布的v64系统版本，Quest 3的VST画面畸变问题得到了一定程度的改善，并且色彩、曝光、动态范围等也进一步趋近于真实肉眼所见。如下图所示，新系统版本的画面过曝问题有所减轻，手机文本也更利于阅读。
    
    图源：Meta
    除Quest 3以外，HTC Vive XR Elite、PICO 4等产品同样支持全彩透视功能，陀螺君主观体验认为，Quest 3的透视效果大体上可以处于中上游水平，一方面是画质基本够用，此外由于深度传感器的引入，透视画面的物体比例更协调，不会出现其他头显产品所存在的画面过分拉伸放大的情况。
    领先的MR构建能力
    早些时候，用户在使用头显产品前需要经历一个设置安全边界的过程，而Quest系统正试图一步步淡化这一流程。
    Quest 3出来后，系统可实现自动扫描空间并完成三维重建；v60系统中，Meta进一步推出了VPS云存储功能，它能上传已有的空间点云信息，避免重复扫描；Quest 3支持在透视模式下直接运行网页等应用......
    在Vision Pro的评测中，有不少人抱怨设备缺乏MR功能体验，实际上，在透视模式下运行APP就是一项典型的MR功能，虽然看似平平无奇，实则颇为考验头显的处理器性能以及SLAM标定能力，目前仍有很多头显产品不支持这一功能特性。
    关于MR体验，Meta曾在v60系统版本中面向开发者推出了Mesh API和Depth API，前者可以让开发者访问头显扫描的场景网格信息，并基于此构建可信的MR体验，如虚拟弹珠在桌面上弹跳、防止虚拟物体穿过真实物品等；而Depth API则可以进一步提供深度信息，从而构建更为逼真的虚实遮挡效果。
    
    基于Mesh API和Depth API所构建的MR效果，图源：Meta
    在最近的v64系统更新中，Quest 3进一步配备了空间理解能力：头显扫描环境结束后，会自动为房间物品打标记，如可以识别门、窗户、床、桌子、沙发、柜子、电视等元素，具体可以参考下图。
    当头显具备空间理解能力后，它能让开发者在此基础之上构建更为真实的体验，如准确在桌面放置虚拟棋盘等。
    ‍
    
    图源：X
    去年Meta Connect大会期间，Meta也预告了Quest 3未来将推出的一项名为“Augments”的全新功能，未来用户可以将虚拟时钟、相册、虚拟奖章等物体放在家里面，当用户戴上头显后便能看到这些虚拟装饰。
    总而言之，无论是MR API的开发，又或者是SLAM以及对于环境的理解，Horizon OS均具有不错的表现。
    
    图源：网络
     生态：基于AI的全身追踪，应用商店投入庞大 
    不引入追踪环的情况下实现Avatar全身追踪
    2016年，Meta发布了Oculus Avatars，玩家可以在预设库里面进行捏脸以设置不同的Avatar角色，同年Meta面向开发者推出了Oculus Avatars SDK。
    近年来，Meta Avatar也在经历着各种迭代，如新增更多服装以及配饰、通过AI算法预测用户肩膀和肘部位置、新增脸部以及眼球追踪等。
    去年V57系统更新中，Quest系统进一步实现了通过头显朝下的摄像头追踪用户上半身的运动，此外，系统还能基于AI模型预测用户下半身的运动姿势。而作为对比，很多头显产品想要实现该功能则需要额外引入外部追踪环以实现全身追踪。
    
    图源：Meta
    除了“捏脸”型Avatar外，Meta团队还有一个名为“Codec Avatars”高逼真Avatar项目，该项目最早于2019年对外公布，目前仍处于研究阶段，Meta CTO Andrew Bosworth表示它有望在数年后推出。
    
    扎克伯格使用Codec Avatars出镜，图源：YouTube
    自建应用商店，投入不菲
    在近些年发展中，Meta丝毫不吝啬于在内容生态方面进行投入，根据不完全统计，Meta累计收购了10家VR独立工作室，详细信息可阅读《承压之年、裁员凶猛，被Meta收购的10家VR独立工作室的生存之路》。
    其中比较知名的有2019年收购《Beat Saber》背后的开发商Beat Games；2023年收购VR健身应用《Supernatural》背后的工作室Within，传收购价格为4亿美元。
    此外，Meta Quest Store近年来还在积极引入各类优质的VR游戏应用，目前平台上的独占游戏有《生化危机4 VR》、《阿斯加德之怒 2》、《刺客信条VR》等。
    
    图源：Meta
    优质内容的引入背后其实也是一笔不菲的开支，这里有个例子，去年Meta曾试图在Connect大会期间展示一款名为《AEI Fitness》的VR健身应用，应用为独占，Meta已经为这款应用支付了数百万美元。不过最终合作破裂，因为Meta发现开发者还试图对接PICO以及苹果以将应用引入更多平台。
    （鉴于Meta在自建内容生态方面投入了巨大精力，因而当Meta宣布开放Meta Horizon OS之后，这部分给人“花钱打水漂”的感觉也是最为浓烈的。）
    再来回顾Meta的应用商店Horizon Store，无可否认它已经是最为优质的VR内容平台之一，一方面，Meta Quest系列产品出货量超过了2000万，用户基数足够大；另一方面，VR陀螺数据显示，应用商店应用数量已经达到615款，商店营收已经超过了20亿美元。
    
    Meta Horizon Store，图源：网络
    其他方面，Horizon OS在内置APP开发方面也投入了不少精力，比较典型的有 Quest的自带浏览器Quest Browser，该应用近期多有更新，现已实现了网页多开、在游戏运行时打开网页、引入浏览器插件、支持WebCPU等功能。
    综合对比来看，Quest Browser的体验其实也会明显优于除了Vision Pro Safari以外的绝大多数头显自带浏览器应用。
    
    图源：Meta
     结语 
    在VR/AR市场，Meta绝对是最坚定的投入者之一。根据Meta财报显示，其VR/AR背后的部门Reality Labs 2023年亏损达到161.2亿美元，并且亏损还在呈现逐年增加趋势。
    不过，Meta对于这么高的亏损却似乎不以为意，今年2月份Meta在年度财报会议上表示，今年Reality Labs的支出还将继续扩大，原因是用于“AR/VR 领域正在进行的产品开发工作以及我们为进一步扩大生态系统而进行的投资。”而Meta也曾提到，类似的研发投入可能需要到2030年才能获得回报。
    虽然Meta的高投入有时候会被人指责团队运作低效而浪费（比如卡马克），不过，它也的确为Quest产品打造了较强的壁垒。对于Horizon OS而言，它保持了每月一次的高频更新，并且在交互、SLAM、生态、MR等方面均可圈可点。
    假如以回应文章开篇的话为闭环，陀螺君认为Horizon OS具有很强的竞争力，并且对于很多VR硬件厂商而言也具有足够的吸引力。
    参考资料：
    Horizon OS各大发行版本
    https://www.meta.com/zh-cn/help/quest/articles/whats-new/release-notes/
    Quest 3技术亮点解析
    https://medium.com/@xreality.zone/breaking-down-the-details-of-meta-quest-3s-upgrades-to-mr-technology-376fac19ddf9