对话Tobii副总裁：眼动追踪是创建元宇宙不可或缺的一环

    1月份VR陀螺两次介绍XR的标配技术眼动追踪 － 《孕育两家上市公司，20年沉淀的Tobii用眼动追踪撬动多个市场》和《新一代XR头显标配，详解眼动追踪技术的价值和挑战》，得到了很多读者的关注，也引发了不少讨论。
    近日，我们与Tobii副总裁尤浩魁（Johan Hellqvist）进行了一次对话，就大家感兴趣的问题进行了深入探讨。
    
    Tobii副总裁尤浩魁
    VR陀螺：尤先生，您好！很高兴有机会和您一起探讨 XR 的现状、元宇宙、以及眼动追踪将如何为其带来新体验。
    尤浩魁：您好！我也很荣幸有机会在中国农历新年的开年之际和您一起探讨这个引人入胜的话题。
    VR陀螺：近几个月来，元宇宙变成了一个炙手可热的讨论话题。您认为元宇宙是什么？怎么看这个概念？
    尤浩魁：如大家所知，元宇宙不是一个新概念。它的出现是因为人们在不断发展的技术之间建立了创新的联系。它是一个混合现实 （MR） 空间，人们可以聚在一起工作、娱乐、协作，甚至以他们自己或虚拟形象的身份谋生。这是一个公平的竞争环境，任何人都可以在任何地方从任何设备进入。未来，技术平台将解决时间和空间的挑战，让用户在混合现实中体验到真实性和连贯性。
    今天，大部分对元宇宙概念的热捧是因为 Meta（Facebook的前身）、微软和英伟达等大型科技公司正在使用元宇宙来描述一系列技术的融合。云服务、广域网和移动网络已经成熟到可以为运营商提供可持续的商业模式，各类设备已经渐趋成熟并开始兑现身临其境的承诺。不断缩小的外形尺寸和更低的价格进一步推动了XR设备的运用——这为内容创造了新的需求，也为开发人员提供了不断扩大的市场。当你将所有这些联系起来时，你就会得到元宇宙和它所承诺的东西。
    VR陀螺：元宇宙与眼动追踪以及Tobii 有什么关系？
    尤浩魁：随着元宇宙的发展，我们将看到 VR 和 AR 可穿戴设备的普及，因为它们将提供更多创新的沉浸体验。Tobii 的技术将实现在元宇宙中本无法实现的真实连接，因为我们能提供逼真的眼神交流和对人类注意力的理解——这些都是沟通的核心要素。
    从很小的时候起，孩子们就学会了遵循视觉线索来理解世界。当你看着一个人的眼睛或观察他们的嘴唇如何移动时，意图解释的差异是巨大的。所以，只有在XR设备配备了眼动追踪功能时，才能在虚拟和真实世界之间的沟通中有效地表达真实意图。
    再比如键盘或鼠标之类的控制设备，它们原本也不那么直观，但后来我们逐渐接受了这些信息输入方式。但在元宇宙中（尤其是AR环境下），我想用户们大概不想以尴尬的方式挥动我们的手或控制设备。
    现实生活中，我们使用手势、语言和眼神交流来表达意图，元宇宙中的体验也应如此。捕捉注视点、头部运动和面部特征的眼动追踪将实现快速身份验证，并利用头部姿势和视觉线索进行直观交流。眼动追踪还将支持简单、直观的手势使用，代替手指指向及其他复杂且需谨慎操控的手势使用场合。
    对于使用增强现实设备进入虚拟世界的人来说，眼动追踪至关重要。我们的技术提供的信息将帮助开发人员将虚拟对象无缝地编织到物理世界中。因此，眼动追踪将有助于减少真实世界和虚拟世界之间的视差，让用户感觉真实和连贯，得到愉快的体验。另外，眼动追踪技术也是开发多焦点显示器和自动调节系统的基础。
    
    图源：Tobii
    VR陀螺：XR 设备是元宇宙的入口，它们需要能为用户提供沉浸感和真实参与感。为此，提高设备体验的舒适度成为一个重要目标。在这个方面，眼动追踪能起到什么样的作用？
    尤浩魁：XR设备可以通过 Tobii 眼动追踪提高用户的舒适度，这是因为头显设备可以利用瞳距测量来匹配不同生理特征的用户，使绝大多数用户获得一致的高质量的用户体验，同时还能对头显佩戴进行自动调整，而不影响用户体验。
    用户还可能会遇到晕动（motion sickness）的问题，而高分辨率图形可以帮助解决这个问题。这就是动态注视点渲染等技术对XR 设备在拆分式或本机式处理架构中运行中所起到的重要作用。
    2021年，我们和英伟达一起发布了基于Tobii Spotlight的新一版可变速率超级采样 VRSS 2技术。这两种技术协作以最小延迟向驱动程序提供注视信息，使开发人员能够创建从动态注视点渲染中获益的应用程序，而无需写一行代码。由此产生的稳定高帧率有助于降低部分用户在使用 VR 时遇到的眩晕阈值。
    
    VRChat中同一场景比较显示，启动基于Tobii眼动追踪的Nvidia VRSS2可以得到更加清晰的图像画面。上图为未开启注视点渲染，下图为开启状态（图源：Tobii）
    VR陀螺：从硬件角度来看XR有哪些新技术趋势？Tobii 是否可以确保解决方案和集成平台适应这些新趋势？
    尤浩魁：图像质量和设备重量历来影响着可穿戴设备的使用体验，这推动了折叠光学器件（在 XR 中通常被称为pancake透镜）的开发和采用，比传统的菲涅尔透镜设计更能得到重量更轻、体积更小的头显设备。
    在XR OEM逐渐采用折叠光学设计的转变中，Tobii XR已做了充分的支持准备。比如我们2021 年的大部分研发工作都集中于开发新一代的集成平台，以便为这种新兴架构提供最优解决方案。Tobii新一代的方案设计紧凑，无需对头显进行侵入性更改即可实现集成，能最大限度地减少能耗。
    另一个重要趋势式是主要的硬件开发商在消费级XR设备中采用了眼动追踪。去年，有两个主流XR头显设备原生整合了我们的解决方案：Pico Neo 3 Pro Eye 和 HP Reverb G2 Omnicept Edition。Pico 的成功表明了市场对一体式设备的需求，而惠普的成功则表明了市场对多种传感器的需求。另外，Pimax也宣布了与Tobii的合作伙伴关系，要把元宇宙的全部潜力带给消费者。
    对于消费设备的XR OEM来说，Tobii解决方案的一个关键差异化因素是，Tobii的整合平台广泛适配绝大多数光学方案，眼动追踪技术在高度覆盖使用人群时，仍可获得领先于所有其他技术提供商的高精确度和准确度性能表现。
    VR陀螺：在消费级XR 设备中应用眼动追踪技术时，您认为最大的挑战是什么？
    尤浩魁：正如之前提到过的，Tobii的技术目标是要适用于任何人、任何地方和任何设备（“三任何原则”），开发一种在受控环境中工作的眼动追踪系统是相对容易的，但要符合“三任何原则”却着实不易。Tobii经过二十多年的不懈努力，已经能够提供适合不同眼睛形状、颜色、视网膜反射率、以及视力矫正等问题的解决方案。对于消费级设备而言，我们的目标不仅仅是要达到 95％以上的用户覆盖率，更是要能提供在量产设备中可复现的强大解决方案。
    VR陀螺：您认为哪些眼动追踪应用领域会首先进入元宇宙？
    尤浩魁：医疗保健、远程协作、游戏、社交、教育和基于模拟的培训等有可能是探索元宇宙的先行者，其中我们已经看到医疗保健成为企业应用领域的领跑者。我之所以这么说，是因为在2021年我们看到了市场对 Tobii Ocumen 的巨大兴趣——这是一款用于数据记录、组织和高级分析应用程序以揭示人类行为的分析工具包产品。
    在消费领域，鉴于当前的用户兴趣和平台发展方式，社交应用和游戏将经历高速增长。我认为这些是消费者最期待的元宇宙体验领域。对于 Tobii，这意味着我们将继续与XR OEM、开发者和内容创作者密切合作，将真实的社交存在、逼真的虚拟形象、直观的界面和用于身份验证的生物识别等功能带入未来元宇宙。
    
    SyncThink的EYE－SYNC 产品系列采用整合了Tobii眼动追踪的Pico Neo设备以及Tobii Ocumen（图源：网络）
    VR陀螺：应用开发确实是元宇宙里极其重要的一环，您可以谈一下行业标准和 OpenXR 的重要性吗？
    尤浩魁：促进跨平台发展最有效方法之一是开放标准，因为它们有助于防止供应商锁定以及耗时耗力的设备调整。它还能允许大型科技企业和小众运营商一起工作。我们知道，OpenXR 早在 2020 年就发布了眼动追踪标准扩展，我们今年可以期待的是该标准在商用设备和 Microsoft Windows MR 平台等支持类解决方案中的实施。Tobii是OpenXR工作组的主要成员，我们一直在推动OpenXR中眼动追踪技术的标准设立和跨平台推广。
    VR陀螺：新年伊始，您觉得我们在 2022 年可以期待些什么？Tobii 将如何为元宇宙用户体验增加价值？
    尤浩魁：对我来说，我期待每台XR头显设备中都整合眼动追踪技术，这将需要像我们这样的集成技术，来实现任何人、任何地方和任何设备都可以获得的高品质元宇宙体验的目标。
    我们将看到设备类型继续呈多样化发展，但主要趋势将会体现在轻量级的一体式头显设备上。对于开发人员来说，元宇宙为商业叙事和创新应用的开发提供了一个坚实的平台。
    我们可以期待看到一些早期的专业级消费者（prosumer），但与大多数新兴解决方案一样，最初的体验可能会有些零散。我们还将看到会有越来越多的协作应用程序来帮助企业突破组织界限，消除由时空限制造成的孤岛效应。
    消费端来说，我们将在2022年看到更多消费级XR设备整合Tobii眼动追踪技术，让硬件性能更加出色，让用户拥有更为真实的虚拟化身、更逼真的目光接触和交流、更易于使用的界面和创新的游戏玩法。