AR可变焦系列：Cambria会是Meta另一款原型机Half Dome 3吗？

    文／VR陀螺 小钻风
    在卡尔·古塔格（KARL GUTTAG）有关Cambria可能采用可变焦短焦方案的文章发布后《Pancake＋可变焦，揭秘Meta（Facebook）轻薄VR头显光学设计》，许多人猜测卡尔的推论结果指向Meta（Facebook）另一款VR头显原型Half Dome 3（后文简称“HD3”）。
    Meta于2018年5月推出Half Dome原型机，在当时，这是业界首款集成了眼动追踪、宽视场光学系统以及可独立变焦显示器的VR头显。
    同时Meta还推出了与之搭配使用的软件DeepFocus，新的人工智能渲染系统，它能模仿我们在日常生活中观察世界的方式，创建逼真的聚散效果。
    
    
    Half Dome 3（图源：网络）
    这也是在卡尔提出Cambria有可能采用可变焦之后，人们认为这些信息指向Half Dome 3的重要原因。
    此外，2020年Facebook Reality Lab显示系统研究总监Doug Lanman在一次全体会议当中对如何解决VAC（视觉辐辏调节冲突）进行了阐述，并且有长达33分钟的视频内容落在了HD3。
    为了回应大家的猜测，卡尔针对Half Dome 3与Cambria是否会采用可变焦再次做了分析。
    在做分析之前，卡尔同样对视觉辐辏调节冲突（VAC）等与文章内容有相关性的问题进行了简要介绍，并附以详细的参考资料以帮助读者理解。
    视觉辐辏调节冲突（VAC）是一个非常现实同时也很难解决的问题
    VAC多在使用VR或观看3D电影时发生。当双眼视差与眼睛的聚散调节不一致时，VAC便会产生，其后果是导致人眼疲劳，甚至是恶心和头痛（具体反应因人而异）。因此，无论公司规模大小，很多都会努力改进VAC。
    
    图源：kguttag
    想要解决VAC问题，方法包括机电与静电的方式移动光学元件、充满流体的柔性透镜、静电镜、多种波导（例如Magic Leap One）、多个可选择的LC屏幕（例如Lightspace 3D）。
    感知深度
    2020年，Lanman在会议视频中探讨了一些更为微妙的有关各种VR人类视觉的问题。
    Lanman当时讨论了深度感知，并且使用了1995年由Cutting与Vishton撰写的Perceving layout and knowing distances一文中的示意图。
    
    图源：kguttag
    遮挡是AR中一个非常困难的问题，同时，它对感知也有重大影响。该图（左上方）显示遮挡对近处和远处物体的深度感知影响均是最大的。如果某物体似乎在其他物体前面，视觉会告诉你被遮挡的物体距离更远。
    当远处的大型物体（比如远处的山脉）因大气而显得朦胧时，还会出现透视现象。而运动视差是指当移动头部时事物如何表现。与相距较远的物体相比，距离较近的物体变化更大。
    运动视差对See through而言，同样是一个大的问题。如果相机偏离中心或眼睛太远，相机的视野会与眼睛通常看到的不同，这之间的差异会导致晕动症、协调等问题。
    Lynx AR曾声称他们采用创新型光学设计（右图）的原因之一便是缩短相机与眼睛的距离以减轻该问题。Pancake光学器件能提供类似的眼睛到相机的距离。
    引述2013年3月1日，Stev mann关于Passthrough AR的论文：《我的“增强”生活——IEEE Spectrum》中的话：（卡尔做了加粗标注）
    “我的顾虑源于直接经验。我组装的第一个可穿戴计算机系统在头盔显示器上向我展示了一段实时的视频。当时设备的相机靠近其中一只眼睛，但其视点并不完全相同。轻微的错位在当时看起来并不重要，但最终却产生了一些奇怪且令人不舒适的体验，这些有问题的体验在我取下设备之后仍然持续了很长一段时间。这是因为我的大脑之前试图适应非自然的视觉，因此需要一段时间才能重新适应正常的视觉。”
    
    图源：kguttag
    个人空间（10米以内）
    Lanman 指出，大部分 VR（和 AR）个人空间距离不到 10 米，如果你再查看上面的图表，会发现双目视差、运动视差、聚散度和调节开始变成最重要的深度问题，而这些问题在更远一些的距离时影响并不是太大。Lanman还特别指出，在深度问题上，调节是VR最大的未得到解决的问题。
    Lanman 有一个不错的图表，取自他在 2017 年 Siggraph 上与他人合著的一篇早期论文 《Focal Surface Displays》。该图表很好地总结了各种支持调节的显示器的优缺点。HD3 被归类为“变焦”显示器。使用变焦显示，眼睛被跟踪，然后变焦光学改变图像的焦点以与眼睛的聚散度保持一致。整个显示器的焦点都发生了变化，使近处和远处的一切都处于对焦状态。
    但问题在于，失焦的物体必须以这种方式被渲染。虽然模糊似乎很简单，但事实证明，正如 Lanman 的视频和 Meta Research 的 DeepFocus 的论文中所简要讨论的那样，人类能够检查出物体是否被不自然地模糊了。（DeepFocus 是 Meta 对渲染时准确模拟视网膜模糊的软件名称。）
    
    图源：kguttag
    Half Dome 1～3代变焦显示原型
    Meta至少从2016年起便开始致力于Half Dome相关项目。不得不说，Meta研究的原型看起来比现在许多成品VR／AR产品更好。
    
    图源：kguttag
    Half Dome 1和2代使用电机来移动光学元件，第3代则使用多个CL（液晶）透镜。下面的动图来自2019年9月Oculus博客有关Half Dome第3代各种CL镜头二元加权的聚焦效果。
    
    图源：kguttag
    如图所示，通过六个镜头的开关可以获得64次离散的屈光度／焦距变化。
    那么最大的问题就变成了 64 个对焦层级足够了，但会有多少图像会因为这些LC镜头导致呈像效果变差，它又是否能够量产？
    HD3 似乎与 Facebook 的专利申请 2020／0348528 相关，卡尔在之前的博客文章《 Meta（又名 Facebook）Cambria Electricly Controllable LC Lens for VAC》讨论过这个问题。
    
    图源：kguttag
    众所周知，菲涅尔结构因其每一步的不连续性会导致衍射。因此现在面临一个问题，即如何在菲涅尔的每一步中控制LC。这并不容易，因为任何与理想情况产生的偏差都会导致失真问题。诸如电线和（大部分）透明导体之类的结构都会对光有一些影响。
    考虑到菲涅尔透镜的结构和 LC 的使用，人们不得不怀疑单个透镜的图像质量，或者并不会比堆叠起来差。
    对于那些没有使用过 LC 的人来说，更巧妙的是，LC 对偏振光的影响受光线角度的影响。LC 结构通常在所有光线都垂直于表面时效果最佳，并且它们对光线的影响随着角度的变化而变化。在透镜结构的情况下，光线会根据透镜的折射能力以不同的角度弯曲，因此光线会相对于表面在有些随机方向上移动。
    专利的数据被大大简化。Meta 于 2021 年 6 月发表的 SID ICDT 期刊论文展示了一个设备，其中包含有关其结构和性能的详细信息（下图）。这可能是 HD3 研究的一部分。查看图 6（右下方），我们可以看到图像从中心到边缘呈现效果显著降低。
    
    图源：kguttag
    上图6中显示的图像效果减弱是针对单个镜头的。接下来，我们要考虑将这些镜头堆叠起来的效果。HD3公开的所有视频都只是短序列的低分辨率相机镜头，无法判断整体图像质量。
    约翰卡·马克（John Carmack）有关变焦显示器的评论
    Oculus CTO约翰卡·马克在Connect 2021有关Horizon Beta的现场问答环节中回答有关变焦问题时，似乎对变焦的的态度比Lanman更悲观。引述约翰卡的部分发言：
    
    图源：kguttag
    问：变焦显示器对 VR 的未来有多重要？
    约翰卡：变焦是我们在一些原型设备的显示器中做演示的东西，再次重申，我的个人观点不必映射到其他人身上。
    一个完美的变焦系统显然可以让系统变得更好，为此必须考虑：成本、体积、重量、散热多重因素。还有一问题，不完美的变焦可能不会起到好的效果。做对了就有价值。
    但是近似值的形状是什么？质量一般的变焦镜头，有限的调整范围，或者聚焦的最终物体并不精确，都会导致难以实现大部分的价值或甚至是产生负向影响。
    如果能够通过眼动追踪某物来确定希望焦平台工作的距离，在不是非常准确或快速响应情况下，在看某物时，它可能会变得比原先更加模糊。
    所以我并不认为现在可以说我们有了一个完美的方案来真正做到保证高价值，净值范围就更不用说了。我们的系统从能够在实验室某个人身上运行良好到扩展应用到更广泛的人群，这个过程中会有很多问题出现。
    关于变焦的另一件事是，我支持很多事情，比如对屏幕的处理。但如果我们只是将屏幕放在焦平面用于变焦那些用例的位置，结果可能为净负值 。因此，它仅适用于具有潜在积极因素的用例之外的用例，并且它仍然可能不会成为真正的积极因素或净积极因素。
    Carmack 似乎在降低期望值，并暗示 Oculus／Meta 在变焦方面存在技术分歧。他似乎还透露了眼动追踪还不够好，并且对是否有任何离散变焦技术能够很好地工作有着担心。
    兼具Pancake光学元件与可变焦菲涅尔透镜的HD3
    Meta 在 SPIE Photonics Europe 发表了一篇论文《论沉浸式近眼显示器的光学：瞳孔游动／大小和重量／杂散光》，论文包含了 Pancake 和菲涅尔光学之间的比较（Lanman 是 18 页论文的 16 位作者之一） 。
    HD3兼具Pancake光学元件与菲涅尔LC透镜。
    左下方的一组图显示了菲涅尔透镜的衍射效果，下面的表1显示了Pancake光学的对比图。表2给出了折射光学与菲涅尔、Pancake光学优缺点的高级总结。
    
    图源：kguttag
    同一篇论文中的图 12 显示了由Pancake光学引起的各种重影。
    
    图源：kguttag
    正如《Meta Cambria Electricly Controlable LC Lens for VAC 》一文中所讨论的那样，如下图所示，显示器的光穿过各种表面，其中一些来自两个方向。从这些表面散射的光都将随着焦点的变化被放大，并被光路中的任何后续光学器件转换，从而导致不同大小、位置和焦点的多个重影，如上图 12 所示。
    
    图源：kguttag
    由于 HD3 同时具有菲涅尔 LC 透镜和 Pancake 光学元件，人们会关心两种光学元件的组合会不会产生什么问题。要注意，这些问题在精心制作的视频中可能并不明显。
    卡尔在最后总结了Cambria是否采用可变焦的理由：
    采用
    lMeta 投身可变焦的研究至少已有6年
    lCambria发布的时间，距离Lanman在2020年说出“HD3几乎准备好迎接黄金时间”两年多时间
    lMeta在 Connect 2021 展示的视频当中的图看起来与 HD3 相关的专利申请相似
    lMeta每年花费约百亿美金并拥有10000名顶尖AR和VR人才来解决此类问题
    不采用
    l卡马克在 Meta Connect 2021 的问答环节中对可变焦持怀疑态度
    l即使光学系统工作得足够好，眼动追踪也有可能会不够好
    lMeta 2021 年 6 月 SID ICDT 论文中提到的 LC 镜头问题，看起来仍然很像一个研究项目
    l将菲涅尔 LC 可变焦距光学元件与Pancake固定光学元件混合使用的图像质量问题
    结论
    总的来说，卡尔认为变焦／HD3 似乎还没有为未来几年的高端产品做好准备。
    虽然Meta 确实声明并表明 Cambria 会基于Pancake光学，但正如 Meta 最近的论文所示，Pancake光学在对比度方面做出了妥协，导致了与高端产品不相符的重影产生。“可以运行”与满足客户对图像质量与成本的期待之间也可能存在很大差距，特别是在 AR 和 VR 中，某些技术可以很好地打动人们，但距离成为产品还很远。解决看似“最后10％”的问题以使技术产品有价值，可能需要付出100多倍的努力。
    对Meta而言，发展到了某个阶段，终需将其许多的先进研发“落地”到产品中。Quest系列似乎就到了这个阶段，Meta 需要将他们的一些非常先进的研发“落地”到其中。
    但Quest系列的成功在卡尔看来，更多的是以低于成本销售获得市场份额的能力而闻名，而不是在推动技术向前发展。相比之下，他认为Meta 联合雷朋推出的智能眼镜则展示了AR显示器能多大程度上适用于一副雷朋眼镜。