融资超2亿元、Lytro前团队领导,Light Field Labs的光场全息技术如何实现?
近日,一家名叫Light Field Labs的全息技术创企宣布融资2800万美元,投资方包括博世风险投资、三星、NTT Docomo Ventures等知名公司和机构。对于这家公司可能不少人都觉得很陌生,但提起Lytro,相信大家都有所耳闻。Light Field Labs正是由3位来自Lytro的大神领导创办而成,目前正专注于研究裸眼3D全息图技术,据称该公司的产品可以让用户无需使用手机、头显等设备即可体验,黑科技感十足。但在了解技术之前,让我们先来看看这家公司的情况。
Light Field Labs的前世今生
Lytro的光场相机拥有过硬的技术,自2006年成立以来推出了如Lytro ILLUM、Immerge等十分具备吸引力的产品,但可惜的是虽然吸引力足够,但价格却异常昂贵,后来公司从最初的相机公司转向VR后的商业模式显得无力,同时也没有足够的资金支撑到市场成熟的时机,遗憾的宣布倒闭。谷歌虽然并没有如传闻中那样收购这家公司,但接收了部分员工,并有着获得部分资产(如59项光场和成像专利)的可能性。
虽然Lytro的倒闭令人遗憾,但其现在已经以另一种方式重生,3位来自Lytro的领导人员创建了LightField Labs,运用光场技术实现全息影像。在2017年的NAB会议上,Light Field Labs宣布了制作全息显示屏的计划,如果不是因为创始人的名字和他们在Lytro的工作,这样的新闻很容易被人忽略。全息图这个词被谈论过很多次,却一直难以实现。但这支来自Lytro的队伍却非常有实力,也有资格实现。Light Field Labs由Jon Karafin,Brendan Bevensee和Ed Ibe于2017年创立,三位都是光场技术的专家,目前公司共有14名员工。
LightField Lab的创始人:Ed Ibe、BrendanBevensee和Jon KarafinKarafin曾任职于DigitalDomain,Bevensee拥有粒子物理学博士学位(他曾在HadronCollider工作,专攻强子对撞机),Ibe的业绩记录可以追溯到IBM,并且拥有强大的机械工程背景。这三个人都是Lytro背后的领导团队,特别是专业的高端相机的摄像头和捕捉系统。Lytro Cinema相机拥有755RAW百万像素,运行速率高达300FPS,光圈动态范围达到16档,每秒能记录高达400千兆字节的数据。Light Field Lab的团队过去已经制作了消费者级和专业级产品,并成功地将它们推向了市场。Light Field Lab的首席执行官Jon Karafin在一次媒体采访中表示,他希望通过高达数百万像素的分辨率将现实世界的全息体验变成现实,包括用于现场活动和大型装置的模块化视频墙。
“最终的目标是让我们在科幻小说中出现过的那些事物变成全息图,” Karafin说道。“许多人说飞行汽车和全息图是目前科幻小说中出现过但没有在现实中实现的两件事,我们现在已经开始做了。”
在2018年1月,Light Field Lab获得了种子轮700万美元的投资,这笔资金由Khosla Ventures和Sherpa Capital领投,R7 Partners参投。据悉这笔钱被用于研发第一代原型机产品,目前已经具备了生产能力。而在这个星期,Light Field Lab又宣布获得了2800万美元的融资,此轮的投资方不乏三星、NTT Docomo Ventures、博世风险投资等等知名公司和机构,这些具有实力的投资者将在未来为Light Field Lab提供更多渠道和机会。
截止目前,Light Field Lab共融资3500万美元(约合2.5亿元人民币),并将计划用于完善及研究初代产品和下一代产品。Light Field Labs的技术如何运作?严格地说,全息显示的定义允许在所有自由度从任何角度移动和观察显示。一些研究人员将激光投射到烟雾或尘埃上形成全息图,但这不是一回事。不论从范围、色彩空间还是分辨率方面来看都非常有限。而目前来说最接近全息显示器的例子可能就是在VR中工作的光场。
光场很复杂,但并不是一个新鲜的东西。光场的概念已经存在了几十年,简单来说,光场是一束光在传播过程中所包含的信息,涵盖光线强度、位置、方向等信息。Light Field Lab表示,我们所知道的世界很大程度上是基于感官的感知,视觉是主要输入方式。我们周围的一切都是通过眼睛可见的光能的集合,并由大脑的视觉皮层进行处理。
“光场”定义了光子如何穿过空间并与材料表面互相作用。我们最终看到的东西是我们周围的世界,是我们眼前的光束,这其中的诀窍是让你的眼睛专注于空间中的特定点。Light Field Lab的解决方案非常特别,因为它不需要计算机知道用户的位置,从任何追踪意义上来说,显示器都不会“识别用户”,因此用户不需要佩戴任何特殊的追踪设备。显示器在用户面前的任何位置看来都是正确的(视角如下图所示)。
Light Field Lab的技术通过生成大量的视角来重新创建光学物理学所谓的屏幕外投影物体的“真实图像”,这些视角可以像现实世界一样正确地改变视角和位置。这是通过直接发射、模块化和平面显示器表面与复杂系列波导耦合来实现的。通过这种方式,当观察者在任何方向上移动时看到的周围物体都能保持运动视差,以及有着反射和折射的正确表现,并且眼睛能自由地聚焦在空间中形成的物品上。在没有任何物理对象的情况下,大脑会认为“这是真的”。换句话说,Light Field Lab创造了无需头显的真实全息图。
你可以将Light Field Lab的显示器看作是一个完美的数字窗口,就像任何一个普通的窗户一样,当你在它面前移动时,你可以看到不同的东西,如果你相对于窗户移动,那么你可以看到部分窗外的树枝或篱笆的另一边。如果全景显示器可以为用户提供正确的数据或光线,就能够做到这一点。屏幕获取大量数据,其中包含的图像数量超过了人在一瞬间所能看到的数据。从概念上讲,LightField Lab的屏幕是一系列玻璃球,想象一下,如果将你的眼睛与这些小球表面连线,那么任何一条线接触到小球表面的角度都会是90°。屏幕为每个角度都提供了一个仅对于该角度正确的像素。
举例来说,你在玻璃球的一侧看见了红色,但转到另一个角度时就看不到红色了。而组成屏幕的成千上个“球”每个都只显示正确角度的正确颜色,那么每只眼睛都会看到不同的图像,每个站在一起的人也都会看到不同的图像。由于它始终生成所有相关角度的“解决方案”或像素颜色,因此系统无需知道你在房间中的位置,系统只是在每个方向上都提供不同视图,而你会看到“相同”的信息或光模式。
该公司计划采用较小的全息图像组件并将其组装成非常大的图像屏幕。早在去年11月,该公司就向媒体展示了其已经具备生产条件,可以作为基本核心构建块的2英寸透视全息图像模块,这就是Light Field Lab的第一代原型机,被命名为R150MP(意为可提供150万像素),尺寸为6英寸*4英寸(0.18米*0.12米),模块尺寸约为2英寸*2英寸,显示分辨率大概为16K*10K像素(但一个人不会同时看到所有像素)。在体验中有媒体表示,无需头部追踪,也没有晕眩和延迟发生。线下娱乐为先,最终落地消费者家庭从局限来看,全息显示器的主要问题是需要维持数据速率,因此每次安装都需要专门的GPU计算和网络。如果想要获得良好的显示效果,每个原型机都需要300Mbps带宽,并保持在每秒60帧左右的刷新率。而这种技术最适合尺寸合适的屏幕,毫无疑问,会有人考虑使用完整的Light FieldLab全息智能手机。但对于Karafin和团队而言,这并不是最优先被考虑的,因为屏幕越大会有更大的影响力。他们目前首先会将目标放在大型场馆和娱乐体验上。
该公司计划首先解决专业的娱乐市场,大型资本将很有可能采纳新的技术。而要销售到大型的线下娱乐市场中,Light Field Lab需要尽快制造出下一代S650MP产品,进而提供更大的尺寸和更高的像素。 “基于实时物理的渲染对于我们所做的一切来说都是一个巨大的挑战,” Karafin说。“我们希望确保我们推出技术的方式是从最重要的事情开始的,通过大规模、高价值的娱乐体验来展示一些前所未有的变革。”这些“积木”将被组装成大型装置,就像博物馆中的T-Rex一样,对于站在旁边的孩子来说,这看起来非常真实。随着时间的推移,该技术可以应用到消费者当中。“我们最终将提供体验类型的设备,适用于所有消费者家庭,” Karafin表示。“显然,我们会从大型场馆和大型娱乐体验开始,消费者可以去那里进行体验。但是我们将要创建并展示的是一种完全交互的社交体验,消费者可以和家人朋友们在同一个环境中共存,而不仅限于某种孤立的体验。”
《星际迷航》中的全息甲板
而在未来,Light Field Lab还计划开发“全息甲板”,以及可触摸虚拟物体,这是学术界称为体积触觉的概念。“我们目前还不能透露关于该技术的大量信息,但是,它能够同时投射虚拟图像以及物体的触感,所有这些都不需要任何外部附件,”Karafin说道。