世界级大厂苹果的VR/AR大事件盘点
文/VR陀螺 何万城
2020年,是世界情势跌宕起伏的一年,在线下娱乐、社交、餐饮等行业被生存压力冲刷的时刻,也是VR/AR行业充满机会的一年。根据陀螺研究院《2020年VR/AR产业发展报告》数据显示,2020年全球VR头显出货量达670万台,较2019年增长72%,AR眼镜出货量40万台,增长33%。
从整体行业环境来看VR/AR行业也呈现更加活跃的动态。如在投融资方面,2020年VR/AR产业的投融资金额和数量回到了2017年的高点水平,AR眼镜、工具软件、VR/AR游戏、教育培训等成为投融资的热点领域。
一方面由于特殊时代背景对线上环境的助力,而另一方面,世界领先的科技大厂在VR/AR行业频繁的动态,对在其中起伏的中小企业也产生了蝴蝶效应。而回顾过去的大厂动向,也能够帮助我们更清晰的摸清行业发展脉络,为此VR陀螺整理了苹果、Facebook和谷歌在VR/AR方面的软/硬件、投融资、收购、专利等方面的重大事件。
苹果VR/AR相关软硬件大事件13起;投融资并购事件22起;值得关注的专利申请共计28项,详情如下:
软/硬件
2017年6月5日,在苹果WWDC 2017大会上,苹果发布了AR开发工具ARKit,具备SLAM、平面检测、光照估计、环境理解、图像识别等功能;
2017年9月12日,苹果正式发布的iPhone X系列手机中使用了A11 Bionic芯片,首次集成了神经网络引擎;以及3D结构光技术FaceID,通过iPhone X的Face ID可以3D表情Animojis;
2017年9月20日,在正式发布的iOS11上,新增ARKit苹果首款应用程序《AR Measure》(AR尺子);
2018年1月25日,苹果公布ARKit 1．5版本,优化了ARKit识别对象的基线准确度和图像识别功能,提高了场景捕捉分辨率,增加了对垂直平面识别功能;
2018年6月5日,在苹果WWDC 2018大会上,苹果发布了ARkit 2．0,新增了增强人脸追踪、真实感图像绘制、3D目标检测、稳定性体验和多用户AR互动功能。同时与PIXAR工作室推出全新的AR文件格式:USDZ,这款文件支持3D/AR物品展示,可以跨应用使用:用户可以在Adobe、网页、iMessage等应用中进行拖拽展示;以及AR文件预览工具AR Quick Look;
2019年6月4日,在苹果WWDC 2019大会上,苹果发了布ARKit 3．0,ARKit 3．0新增了5项功能:人体遮挡、单目动作捕捉、前后摄像头同时开启、多面部跟踪、协作会议。同时发布了AR渲染平台RealityKit,以及3D建模工具Reality Composer;
2019年9月11日,苹果发布的iPhone 11首次使用了UBW超宽频芯片U1,超宽频技术让iphone 11系列更具空间感知能力,可精确定位其他配备U1的苹果设备;
2019年10月29日,苹果发布的Airpods Pro无线降噪耳机首次使用了“空间音频”功能,2020年9月苹果发布的iOS 14为AirPods Pro新增了“空间音频”功能;
2020年1月14日,苹果发布了苹果推出USDZ 3D格式转换工具Reality Converter;
2020年3月18日,苹果官网发布了iPad Pro 2020,首次使用了dTOF激光雷达(LiDAR);
2020年3月25日,苹果发布了ARKit 3．5,ARKit 3．5优化和改进了运动捕捉和人物遮挡功能,新增了对激光雷达(LiDAR)扫描仪和深度感应系统的支持,同时新增了几何场景、即时 AR两大功能;
2020年6月25日,在苹果WWDC 2020大会上,苹果发布了ARKit 4．0,ARKit 4．0新增了三项功能,深度API(Depth API)、定位锚(Location Anchoring)和前镜头面部追踪功能;
2020年10月14日,苹果发布的iPhone 12 Pro和iPhone 12 Pro MAX上使用了dTOF激光雷达(LiDAR)。
投融资并购事件
2010年9月,苹果收购瑞典面部识别技术公司Polar Rose,Polar Rose已开发大量面部识别技术,其中包括FaceCloud,可为任何服务添加面部识别;FaceLib,面向iPhone和Android平台的移动解决方案;FaceCore,命令行工具;Recognizr,一款整合人脸识别和增强现实技术的工具,苹果收购后将其整合进Aperture、iPhoto和Face ID中;
2013年3月,苹果收购定位技术公司WifiSLAM,这是一家提供室内移动位置服务的公司,它能够通过Wi-Fi信号定位出用户在建筑内部的位置; 2013年11月,苹果以3．45 亿美元收购以色列著名3D传感器制造商PrimeSense,微软第一代体感游戏机Kinect使用了PrimeSense 的3D 传感器;
2014年5月,苹果收购MicroLED公司LuxVue Technology,MicroLED被认为是消费级AR微显示屏幕的必然选择; 2015年,苹果秘密收购芬兰室内定位公司indoor．io;
2015年3月,苹果收购德国AR公司Metaio,此前主要是为多种平台提供增强现实SDK,包括为Unity平台做的兼容性插件,被认为是苹果ARKit 的前身技术;
2015年9月,苹果收购瑞典面部捕捉技术公司Faceshift,Faceshift是一家专注于实时动作捕捉技术的公司,专利是无标记(markerless)面部动画捕捉技术,经常和游戏、动画工作室合作,通过3D传感器实现快速、准确的面部表情捕捉,其技术被整合到苹果Animoji功能中;
2016年1月,苹果收购人工智能创业公司Emotient ,Emotient 利用工智能技术对人类面部表情进行分析,解读其情绪;
2016年1月,苹果收购空间感知和计算公司FLYby Media,其开发的 V-Fusion 技术可被应用于如室内导航、无人汽车、头戴设备等多个领域,此前 Flyby Media 还曾与 Google 的 3D 项目 Project Tango 展开合作;
2017年6月,苹果收购德国眼球追踪公司SensoMotoric Instruments,SensoMotoric Instruments 公司创立于 1991 年,并开发了一系列眼球追踪硬件和软件,包括虚拟和增强显示、车载系统,临床研究、认知训练、语言学,神经科学、身体训练和生物力学以及心理学,这家公司的眼球追踪眼镜,能够以120Hz的采样率实时和实时地记录用户的自然注视行为。SensoMotoric 还为 Oculus Rift 等虚拟现实头戴设备开发了眼动跟踪技术;
2017年2月,苹果约200万美元收购了以色列创业公司RealFace,RealFace专注于面部识别技术;
2017年10月,苹果收购法国图像识别公司Regaind,Regaind是一家研发计算机视觉识别技术的厂商,被收购后其技术后被应用到苹果手机的面部识别或是动态表情符功能中;
2017年11月,苹果收购图像传感器创企InVisage Technologies,InVisage公司开发的QuantumFilm图像传感器可以更容易地捕捉光线,这项技术可以让相机做得更薄,并且提高相机在低光照下的成像水平,这项技术的应用不局限于手机相机,在ARKit的硬件上也可以做出贡献;
2017年11月,苹果3000万美元收购加拿大AR初创企业Vrvana,该公司曾开发了一款命名为“Totem”的AR头显,获得不错的评价,但是没有上市销售;
2017年12月,苹果被曝以3．9亿美元投资激光传感器公司Finisar,Finisar公司生产供货苹果Face ID系统中使用的垂直腔面发射红外激光器以及苹果无线耳机AirPods中使用的接近传感器,这些传感器能够实现深度感知和接近感应,支持苹果公司的Face ID,Animoji和ARKit等新功能;
2018年8月,苹果收购AR光波导公司Akonia,该公司主要方向是体全息光波导镜片,拥有200多项与全息系统和材料相关的专利;
2018年8月,苹果被曝已收购以色列计算机视觉公司Camerai,Camerai 此前开发的平台允许应用程序和开发人员在没有太多技术知识的情况下轻松创建 AR 和图像处理图形,Camerai的员工后来加入苹果的计算机视觉团队,其技术已经整合到苹果产品中;
2018年9月,苹果收购音乐内容识别公司Shazam,该公司的软件可以通过部分片段来识别音乐名称,或者电影、电视的名称,Shazam此前还推出了AR增强现实功能,该技术可通过扫描在职、书籍、海报等产片,然后启动AR或者360°沉浸式的视频;
2018年10月,苹果约以3100万美元收购丹麦计算机视觉公司Spektral,Spektral的技术能以智能的方式在照片和视频中将人和物体从原始背景中分离出来,生成AR视频;
2019年10月,苹果收购英国动作捕捉公司IKinema,IKinema是一家主要提供为游戏和虚拟现实等行业提供动画技术的动捕公司,专业从事于支持虚拟角色实现实时动画的技术,IKinema的动作捕捉技术已经被微软、迪斯尼、福克斯和腾讯等客户使用;
2020年5月,苹果1亿美元收购VR内容直播公司NextVR,NextVR拥有从拍摄、压缩、传输和内容显示等40多项VR专利技术,专注于为VR提供实时内容,比如体育和演唱会。该公司还与NBA达成协议,对2019年的NBA总决赛的精彩瞬间进行了VR转播;
2020年8月,苹果收购VR初创公司Spaces,Spaces在2016年由梦工厂动画公司(DreamWorks Animation)中两位负责VR技术的元老Shiraz Akmal和Brad Herman联合创办,公司在VR、AR、MR等领域均有所研究,与微软、NBC环球等公司均有相关业务往来,Spaces曾经为视频会议平台Zoom提供了VR套件和相关技术支持,使得Zoom用户可以通过虚拟人物形象和可交互的虚拟白板来进行项目汇报、讲座或其他工作。
专利
2016年8月,美国专利商标局公布了专利号为“20160238834”的苹果专利,该专利描述了“一个扫描深度引擎,包含一个发射光脉冲的发射器,一个用于在特定范围内扫描环境光线的扫描器”的3D混合扫描技术;
2017年4月,美国专利商标局公布了一项来自于苹果收购Metaio公司的专利,该专利主要内容为:将虚拟对象与真实环境相融合;
2017年6月,美国专利商标局公布了专利号为“9,681,096”的苹果专利,该专利描述了一种与沉浸式增强现实、实时显示墙、头戴式显示器和视频会议应用程序相关并可用于图像捕捉和处理的光场相机技术;
2017年10月,美国专利商标局公布了专利号为”20170295361“的苹果专利,其涉及圆顶、移动或头戴式显示器虚拟现实应用程序的单视场(1个视图)或立体视场(2个视图)180度或360度摄影和后期制作;
2017年11月,美国专利商标局公布了专利号为“9,824495”的苹果专利,该专利描述了一种用于捕捉现实世界图像,检测图像中的对象,“几何重建”对象的虚拟呈现,然后再把虚拟对象作为AR对象叠加在真实世界视图,主要内容为识别图像中的对象作为AR虚拟物体;
2018年3月,美国专利局公布了若干苹果专利,其中名为“Predictive, Foveated Virtual Reality System”的专利可根据注视点实现多重分辨渲染;名为“Head-Mounted Display Apparatus for Retaining a Portable Electronic Device with Display”的专利描述了一款支持用户从一侧插入智能手机的头显设备;名为“Display System Having World and User Sensors”的专利描述了一款采用头戴式显示器的混合现实系统,能够提供包含虚拟内容的环境3D虚拟视图;
2018年4月26日,美国专利商标局公布了专利号“20180113508”的苹果专利,该专利描述了一种通过眼睛旁边的摄像头跟踪眼睛运动的方法和仅反射不可见红外光的“热”镜的眼动追踪技术;
2018年8月,美国专利及商标局公布了一份名为”Processing of Equirectangular Object Data to Compensate for Distortion by Spherical Projections“的苹果专利,此专利能够为VR提供更好的360度视频拼接;
2018年9月,苹果在欧洲申请的显示器专利通过,专利内容是一款用于支持AR,VR和全息内容的头显。且透镜可调,头显将能够通过Siri进行控制;
2018年11月,美国专利商标局公布了名为“Display with Holographic Angle-of-View Adjustment Structures(包含全息视角调节层结构的显示器)的苹果专利,此专利主要涉及到全息光波导技术;
2019年3月,美国专利商标局公布了名为“Depth Map Calculation In A Stereo Camera System立体摄像头系统中的深度图计算“的苹果专利,专利描述了生成深度图的方法;名为“Systems With Keyboards And Head-Mounted Displays”的苹果专利描述了通过物理键盘、触控屏幕、数据手套、接近传感器、摄像头、以及其他输入-输出设备为VR设备实现虚拟键盘的方法;名为”Waveform Design For A Lidar System With Closely-Spaced Pulses”的专利描述了通过激光脉冲实现3D手势控制的方法;
2019年10月,美国专利商标局公布了名为“Method And Device For Illustrating A Virtual Object In A Real Environment(在真实环境中描画虚拟对象的方法和设备)”的苹果专利申请,此专利可以实现“虚实遮挡”;名为“Displays with Collimated Light Sources and Quantum Dots(准直光源与量子点显示器)”的专利技术可将全息层和全息元件集成至量子点显示器之中;
2020年3月,美国专利商标局公布了一份名为“Display System With Interchangeable Lens”的苹果专利。此专利描述了包含可换透镜的头戴式设备;
2019年6月,美国专利商标局公布了一份名为“Stereoscopic Rendering Of Virtual 3d Objects(虚拟3D对象的立体渲染)”苹果专利,专利描述了通过为每一个左眼视点和右眼视点创建等量矩形投影,实现虚拟3D对象立体渲染的技术;
2019年7月,美国专利商标局公布了一份名为“Head Mounted Eye Tracking Device And Method For Providing Drift Free Eye Tracking Through A Lens System(头戴式眼动追踪设备及通过透镜系统提供无漂移眼动追踪的方法)”的苹果专利,该专利能够实现无漂移眼动追踪;
2019年8月,美国专利商标局公布了一份名为“Coordinated Tracking For Binaural Audio Rendering(用于双耳音频渲染的协调追踪)”专利,该专利可为头戴显示器实现空间声场;
2019年10月,美国专利商标局公布了名为“Reconstructing Views Of Real World 3d Scenes”的苹果专利,该专利主要内容为通过RGB-D传感器(例如RGB-D摄像头)实现即时定位和地图构建(slam);
2020年2月,美国专利商标局公布了名为“Waveguided Display System With Adjustable Lenses”的苹果专利,该专利主要描述了一种包含可调透镜的波导显示系统,并通过可调透镜来实现所需的光学特性;名为“Electronic Device With Optical Sensor Interference Mitigation Structures”专利则可以实现系统无缝透明化,实现AR、VR切换; 2020年3月,美国专利商标局公布了名为“Display System With Interchangeable Lens”的苹果专利。该专利描述了包含可换透镜的头戴式设备; 2020年4月,美国专利商标局公布了名为“Sensor Fusion Eye Tracking”的苹果专利,其主要描述了用于智能手机或平板电脑等设备的远程眼动追踪系统和方法;
2020年6月,美国专利商标局公布了名为“Gaze-Driven Recording Of Video”的苹专利,专利内容为录制AR内容视频的解决方案;名为“Pupil Expansion”的苹果专利,内容为光瞳扩展的解决方案;
2020年7月,美国专利商标局公布了名为”Privacy Screen“的苹果专利,专利内容为一种AR“隐私模式”的解决方案;名为“Display System With Virtual Image Distance Adjustment And Corrective Lenses(具有虚拟图像距离调整功能和校正透镜的显示系统)”的苹果专利主要为近视用户提出”磁吸夹卡式医学镜片”解决方案;名为“Predictive Head-Tracked Binaural Audio Rendering”的苹果专利主要内容为AR/VR头显头部追踪空间音频解决方案;
2020年8月,美国专利商标局公布了两项苹果的专利:搭配AR眼镜使用的骨传导音频系统专利、可直接实现抠像合成的MR头戴设备专利; 2020年10月,美国专利商标局公布了名为“Keyboard Operation With Head-Mounted Device”技术,该专利可实现AR/VR设备支持投射于任意表面的虚拟键盘;
2020年11月,美国专利商标局公布了名为“Multiple User Simultaneous Localization And Mapping”苹果专利,该专利为可实现AR的多人SLAM技术;
2020年12月,美国专利商标局公布了名为“Structural Thermal Solutions For Display Devices”的苹果专利,该专利解决散热问题;名为“Display System With Localized Optical Adjustments(具备局部光学调整功能的显示系统)”的苹果专利内容为通过可调光学元件调整真实世界对象的亮度,从而增加虚拟对象的可见性;名为“Display And Vision Correction System With Removable Lens”的苹果专利,描述了AR/VR头戴设备的近视眼镜设计方案;
2021年1月,美国商标专利局公布了名为“Object tracking for head-mounted devices”的苹果专利,提出outside-in的追踪器解决方案;名为“ Scene camera retargeting”的苹果专利,描述了利用“场景摄像头重定向”提高VR头显的透视MR效果的解决方案;
2020年2月,美国商标专利局公布了名为“Head-Mounted Display Unit With Adaptable Facial Interface”的苹果专利,描述了“如何防止头戴式显示器因面部运动而移动”的多项设计元素,增加用户佩戴时的灵活性、提升舒适度的解决方案。
