Connect大会前瞻：Quest 3将揭示MR生态的井喷式到来

    文/VR陀螺 万里
    对于Meta乃至整个头显市场而言，Quest 2无疑都是一款成功的产品。
    目前Quest 2头显销量已经突破1000万台，此外，Quest 2在SteamVR中的活跃设备占比达到了41.95%，遥遥领先于同类型产品。而在生态方面，Quest Store内容数量已超过500，有40款内容总营收超过了1千万美元。
    北京时间9月28日凌晨1点，一年一度的Meta Connect大会即将召开，届时我们将能看到Quest 2继任者Quest 3的全部信息。不仅如此，活动可能还会同步亮相新一代Ray-Ban Stories以及Meta所构建的MR生态。本文将对Connect大会进行前瞻，提前揭秘本次活动的相关看点。
    
     活动议程 
    Connect 2023活动为期两天，主题为“Expanding reality, today and tomorrow”，翻译过来则是“扩展现实，现在与未来”。介绍指出，今年活动将重点关注“人工智能、VR、MR和AR。”
    活动采用线上直播的方式，扎克伯格的主题演讲可在Meta官方Facebook账号、Horizon Worlds等平台观看，而开发者会议等则可以通过Facebook账号@MetaforDevelopers观看。
    目前官方所公布的活动日程如下：
    ▋基调演讲主讲人：Mark Zuckerberg时间：Day 1 10:00 AM（PST）与创始人兼首席执行官马克·扎克伯格和特邀嘉宾一起揭开全新产品Meta Quest 3的神秘面纱，揭示Meta如何将混合现实带入生活。您将听到人工智能将如何帮助人们以全新的方式建立联系和表达自我，并率先了解将帮助开发人员构建人类联系未来的最新产品和更新。
    
    ▋介绍·Reality Labs最新进展主讲人：Michael Abrash （Reality Labs首席科学家）、Andrew Bosworth（Meta首席技术官与Reality Labs负责人）时间：Day 1 主题演讲后Meta Reality Labs正在发明基础技术来实现未来的计算平台。在本次对话中，首席科学家Michael Abrash将分享上下文 AI、神经接口和超现实编解码器Avatar等关键领域的进展。
    ▋介绍·开发商联盟状况主讲人：Chaya Nayak（生成式人工智能数据与安全产品经理）、Chris Pruett（Meta内容生态系统总监）、Rangaprabhu Parthasarathy（Presence平台产品总监）、Kimberly Unger（Oculus Publishing内容采购和MR战略负责人）时间：Day 1 11:45 AM（PST）聆听Meta开发者生态系统的最新消息，率先了解人工智能、VR、MR、AR、Meta Horizon Worlds和Meta Avatars等领域所有令人兴奋的最新工具、程序和功能。
    
    ▋短时演讲·Meta Quest和MR时间：Day 2 10:00 AM（PST）亲身体验我们接下来构建的混合现实世界。加入 Meta Leadership，了解混合现实和 Meta Quest 3 的所有内容，以及推动这一下一代产品的尖端功能和业务策略。
    本场活动包含“Meta Quest 3：发挥你的创造潜力”、“释放混合现实的魔力”和“在 Meta Quest 上构建所需了解的一切”三大主题，分别有不同的主讲人，内容围绕Quest 3的一些技术特性、MR开发平台Presence Platform、游戏测试、分析工具等。
    
    ▋短时演讲·AI、Llama 等时间：Day 2 11:15 AM（PST）与行业先驱一起展示 Llama 的最新成果、Meta 的最新人工智能开发成果以及 Meta Spark 上的新工具。
    本场活动包含“Llama生态系统：过去、现在和未来”、“与Llama一起构建Meta的下一代人工智能产品体验”、“将Llama提升至企业级”、“移动版Meta Spark的新增功能”四大主题，分别有不同的主讲人，内容围绕Meta AI大型语言模型Llama展开。
    新品1：Quest 3
    毫无疑问，Quest 3将会是本次活动的重点，不过Meta于今年6月已经公布产品的部分渲染图以及参数信息，并且近期有关Quest 3的爆料信息不断，这使得它的神秘感少了许多。以下是部分产品参数信息：
    
    从上表来看，Quest 3目前仍未能得到证实的参数包含屏幕分辨率、RAM、FOV、内存版本以及发货时间等，其他都已经板上钉钉。这款产品的亮点包含以下几方面：
    更强的性能
    回顾VR一体机的发展，它基本上与高通骁龙XR平台的发展相挂钩：彼时Quest 2首发骁龙XR2，在随后数年中，高通骁龙XR2成为了各大XR厂商的首选。如今，Quest 3有望首发高通骁龙XR2 Gen 2，并将在计算性能方面有巨大突破。
    根据Meta官方消息，新一代芯片的图形性能可达Quest 2的两倍以上，更强的性能有利于进一步提升体验的流畅度并为更多大型、复杂的游戏应用开发奠定基础。
    此外，有消息传出骁龙XR2 Gen 2基于骁龙8Gen2开发而来，后者采用1+2+2+3架构，搭载Adreno 740 GPU并支持硬件级别光线追踪等特性，是目前智能手机市场最高端处理器之一。此外，骁龙8Gen2配备了一颗专门用于AI计算的Hexagon处理器，Quest 3在AI方面可能也会有很多有意思的特性。
    
    图源：Meta
    更好的VST
    去年Meta Quest Pro实现了对全彩透视的支持，其方案是基于两枚灰度摄像头进行画面捕捉再结合一颗1600万像素RGB摄像头对画面进行上色，不过最终呈现效果并不理想，存在着时延、抖动、画面畸变等相关问题。
    Quest 3则转用双RGB摄像头方案并新增了一枚深度摄像头，根据近期X用户@Lunayian的爆料视频，Quest 3的透视效果色彩还原不错，白平衡较为准确，并且令人困扰的画面畸变问题也减轻了许多。
    Meta曾表示Quest 3的VST捕捉像素相较于Quest 2提升了10倍，相较于Quest Pro提升了2.5倍（Reddit用户JMS1717爆料称产品的VST捕捉画面分辨率可达到18 PPD。）这意味着全彩透视质量已经十分接近屏幕分辨率。
    爆料大户Mark Gurman今年对Quest 3进行了佩戴体验，他提到“我甚至可以戴着头显使用手机，这在Quest 2上几乎是不可能的。”不过时延等其他影响VST体验的参数表现仍有待揭秘。
    更好的交互
    交互方面，Quest 3仍以手柄为主导，今年6月Meta公布了产品的手柄Touch Plus，或许出于成本考虑，它并没有采用Touch Pro的自追踪方案，定位方式依旧是基于红外的Outside-In追踪。Touch Plus在Quest 2手柄的基础之上去除了圆环，使得手柄整体更加紧凑。此外，Touch Plus还采用了TruTouch触觉技术，具有更好的反馈效果。
    除手柄以外，Quest 3的手势识别也是一大看点。上个月Meta发布了手势识别Hands 2.2软件版本更新，Meta指出在日常使用过程中，手势识别延迟减少了40%，而在快速移动场景中延迟甚至能减少高达75%。
    快速移动延迟的降低得益于Meta新引入的快速运动模式（FMM），这有利于把手势识别进一步引入到节奏游戏、拳击游戏等更多激烈对抗的游戏场景中。不仅如此，Hands 2.2在Quest Pro设备上还可以实现裸手+手柄等多模式输入，这些手势的更新可能也会在Quest 3设备中有所体现。
    当然，Quest 3很大概率会缺失眼动追踪，这或许会成为Quest 3的最大遗憾。
    
    Quest Pro基于Hands2.2的演示，图源：Meta
    其他产品配件
    参考Quest 2，Meta或许会为Quest 3开发一系列配件产品，其中可能包括绑带、无线接收器、收纳包、面部遮罩、耳机等。以下是近期Quest 3遭到爆料的部分配件：
    Quest 3采用了布质绑带设计，但绑带可更换，可以额外选配硬质精英头带；根据FCC信息，Quest 3还有一款充电底座，头显与底座采用金属触点的方式充电，手柄则采用无线充电的方式充电。
    新品2：新一代Ray-Ban Stories
    根据今年The Verge泄露的Meta产品路线图，Meta正着手于4款眼镜产品的开发，其中包括第二代Ray-Ban Stories、代号为Orion的第一款AR眼镜测试机、第三代Ray-Ban Stories智能眼镜、代号为Orion的正式版AR眼镜。其中第二代Ray-Ban Stories很有可能在Connect 2023得到展示。
    第一代Ray-Ban Stories发布于2019年，由Meta与雷朋合作打造。该产品配备了双摄像头，可实现拍摄、视频录制、听音乐等操作，但不具备AR功能。有数据指出，初代Ray-Ban Stories共计销售了超过30万台，但是设备活跃度一般。
    
    初代Ray-Ban Stories，图源：Meta
    据有关消息，新款Ray-Ban Stories同样不会配备屏幕以及AR功能，但它将会在续航、音质以及拍照表现上有所提升。以下是关于产品部分新的功能特性：
    用户可以通过眼镜在Facebook和Instagram平台进行直播；眼镜支持部分直播平台的语音留言反馈，方便主播在没有屏幕显示的情况下与观众进行交流；计划适配更多流媒体音乐平台；可检测环境噪音并自动调节设备音量；引入AI助手，可通过“Hey Meta”来提问。
    其他方面，新一代Ray-Ban Stories已经通过FCC认证，并支持WiFi 6E及其6 GHz频段。初代产品售价299美元起步，新眼镜售价暂未明确。
     更丰富的MR生态 
    随着VST显示效果的提升以及深度传感器的引入，Quest 3将有望带来远超过Meta Quest Pro的MR体验。实际上，本次Keynote简介中也重点提到了：“揭示Meta如何将混合现实带入生活”等相关信息。
    基于年初爆料信息，Meta VR副总裁Mark Rabkin指出，目前团队面临的一大挑战在于如何说服消费者为Quest 3支付更多钱（毕竟Quest 3起售价要比Quest 2多了200美元），而这一突破口正是MR体验。
    Mark Rabkin提到，“MR体验必须让用户感到更好、更轻松、更自然......如你可以毫不费力的穿过你的房子、因为你知道自己看的很清楚，你可以将锚点和其他东西放在桌面上，你可以喝咖啡等，在头显里面呆更长时间。”
    此外，Meta指出，Quest 3是其首款支持采集场景数据、网格数据和深度数据三种空间数据的VR设备。这使得设备能够识别物体和表面、标记物体（如桌子、沙发、窗户等）以及估计物体的大小、形状以及彼此之间的距离信息等。
    这将意味着Quest 3通过传感器以及AI算法，将具有更强的环境感知能力，这就使得我们在游戏时无需再划分安全边界、VR游戏体验可以进一步与现实环境配合，如将屏幕锚定在桌子上方、射击游戏碰到墙壁会出现反弹效果、虚实遮挡呈现更加自然等。
    
    基于Quest 3的MR体验，图源：网络
    随着Connect大会的临近，最近MR相关的游戏或者玩法更新不断出现在我们的视野中，比如VR赛车游戏《Track Craft》，该游戏可以基于现实环境设计赛车的跑道，它将于10月在Quest平台上线；MR办公应用Softspace可让用户在现实环境中生成虚拟工作空间，用户可在其中记笔记、整理照片以及组织想法等，该应用也即将在Quest Store上线。
    
    3D版思维导图，图源：Softspace
     第三方与第一方内容生态 
    根据过往惯例，公布Quest Store的发展情况基本上是Meta Connect的保留节目。如Connect 2020，彼时的Facebook公布了17款游戏；去年Connet大会上，Meta公布了Camouflaj Teams、Armature Studio和Twisted Pixel三家游戏工作室的收购等。
    今年3月，Mark Rabkin曾提到，为了配合Quest 3推出，届时将会有41款新的应用和游戏得到亮相。而根据Quest Store官网，上面“即将上市/接受预定”的游戏数量达到了29款，其中包括了《阿斯加德之怒2》、《刺客信条Nexus VR》等大作，下图中的部分游戏应该会在Connect大会上有所公布。
    
    除了第三方应用游戏外，Meta或许还会公布自家VR办公/VR社交等产品的最新动态。
    《Horizon Worlds》是Meta寄予厚望的一个VR社交平台，也是其元宇宙愿景中不可或缺的一大板块，但从目前来看，该平台的运营表现只能算得上一般。去年10月，有消息透露，该平台月活不足20万，并且用户黏性不佳。如今在Quest Store上，该应用的评价与排名也要低于《Rec Room》、《VRChat》等同类型产品。
    这一年以来，Meta团队其实为《Horizon Worlds》下了很大的功夫，如今年6月，平台新增了纹理和模型导入功能，类似于《VRChat》，这有助于让玩家构建画面效果更为精细的场景以及体验。今年9月，《Horizon Worlds》还新增了Avatar腿部动作的显示。
    不仅如此，Meta还在着手于将《Horizon Worlds》移植到手机、Web等平台中。而手机以及Web版在9月的时候已经展开小规模对外开放测试。今年Connect大会有望公布其更多动态，如开发者计划、构建更加精细的Avatar等。
    
    图源：Meta
    在去年Meta Connect大会上，扎克伯格花费了很大的篇幅用于介绍MR办公的场景以及用例，如与埃森哲和微软达成合作，微软的Teams、Office、Windows将有望引入到Quest平台当中。从现在来看，受限于Quest Pro产品力不足，MR办公想法过于超前等，使得Meta在这一年当中并没有太多进展。
    如今Quest 3即将发布，凭借其更强的性能、更好的VST效果以及更便宜的价格，Meta或许会在MR办公领域实现更大作为，这一切也有待Connect大会公布。
     AI进一步接入头显以及眼镜 
    除XR以外，AI也是本次活动一大重要看点，并且次日演讲中有一场专门围绕Meta  AI大型语言模型Llama的演讲。AI可能会在整个Connect大会期间都有所体现。
    如下图展示的场景，用户佩戴Quest 3扫描房间，设备会正确识别沙发并出现相应标记，这离不开AI算法做支撑。值得一提的是Meta曾在今年4月发布了一个图像分割基础模型SAM，它能识别图片或视频的不同对象并把它们分割开来。此外，SAM也可以实现在视频中标注物体、追踪运动物体等，目前其最直接的用例无疑是用于头显的环境感知以及交互。
    
    图源：Meta
    近日《华尔街日报》爆料称，Meta正着手于打造一款生成式AI聊天机器人，内部代号为“Gen AI Personas”。Gen AI Personas既可以与用户聊天互动，也可以参与一些能够提升生产力的工作，如帮助编码等。考虑到语音是第二代Ray-Ban Stories的核心交互之一，不排除Gen AI Personas将会搭载于眼镜上，并在Connect大会期间公布更多细节。
    关于对话式人工智能，高通今年宣布与Meta达成合作并基于Llama 2构建终端侧AI应用，未来Llama 2将能在基于高通平台的智能手机、PC和XR等设备上运行。终端侧AI的优势在于不需要依赖于云服务，甚至可以离线运行，更加私密安全。
    除头显以及眼镜外，消息指出Meta还在开发适用于Horizon Worlds Avatar形象的AI模型，如前面提到的Avatar新增“双腿”，这可能也离不开AI算法的支持。
     结语 
    对于关注硬件的VR爱好者而言，Connect大会无疑是一场被提前剧透的发布会。Vision Pro的珠玉在前，使得Quest 3的光环暗淡了许多。不过对于Meta而言，基于Quest 3所构建的MR生态可能是整场Connect大会更值得关注的地方。
    Quest 3能否延续前代的成功？Quest 3能否加速MR时代的到来？未来头显市场又会形成何种格局？种种问题将有望在Connect大会得到揭晓。