AR隔空测物,苹果发布会上那些牛逼的黑科技
VR陀螺该来的多人AR终于如期而至!
北京时间6月5日凌晨1点,WWDC 2018 (苹果全球开发者大会 2018)在美国圣何塞如召开。会上,虽然多数人期待的硬件并没有任何消息,主要围绕了iOS、tvOS、watchOS、macOS这四大软件系统进行介绍,而整个2小时的大会过程中,AR相关的部分长达40分钟(包括memoji),可见其对AR的重视程度。
而此次iOS12的更新以及ARKit 2.0所展示出来的效果也的确没有让人失望。
iOS其中的ARkit 2.0当然是我们关注的重点,此次发布的升级版ARkit 2.0主要在新AR格式,实时的3D渲染多人AR交互,AR测量等方面进行了更新。
全球最大的AR平台
本次大会上,苹果再次强调了其是世界上最大的AR平台,ARkit已经覆盖上亿苹果手机用户。据称iOS11系统刚刚发布7周就覆盖了半数的苹果用户,目前更新率达到了81%,用户满意度达到95%(不知道各位看官怎样,反正陀螺君的iOS11是经常闪退、卡死的,看来我们在那5%里面)。
然后,其介绍了最新版的iOS 12系统,据称此次更新不止能更好地利用CPU性能,还能在相应速度上提高许多,比如打开App的速度提到40%,相机响应速度提高70%等。
iOS 12将适配苹果全线产品iPhone和iPad产品。
新AR格式:USDZ
在应用的更新上,AR部分不得不提的是苹果和皮克斯合作开发的新AR格式:USDZ,其中包括皮克斯的USD动画工具、共享优化、单个文件压缩、打开文件格式等功能。
据称该格式可以用于阴影、几何和骨架变形互换等模式,拥有高性能数据检索和呈现能力、并且具备良好的体系结构。并且Adobe、Autodesk、Sketchfab、Pixar、PTC、Quixel都将会支持此格式。
另外USDZ文件还可以被嵌入到网页中,在网页上以3D形态展示时,可以用手指拖拽查看3D控件的各个角度,也可以把它放到现实的桌面上进行同等大小的查看。
AR测量工具Measure
其次还演示了一款AR测量工具Measure,该工具可以直接在屏幕中划线测量一个物体的长、宽、高。其实测量在很早之前就有,不过当时的测量需要像拿着皮尺一样平移手机来进行,而苹果此次展示的测量可以直接在手机屏幕中完成这一动作。
现场演示了两个物品的测量,第一个是行李箱,其沿着箱子的边缘划线后即显示了具体长度,长、宽、高全部量好之后甚至还能测量立体面积。要做到这样的效果没有对环境的精准扫描是难以做到的,可见ARKit 2.0在此方面又有了提升。
第二个物体是一张照片,照相机对准放在桌上的照片,直接计算出来长、宽以及平面面积,整个过程仅用了数秒钟。
实时3D效果的多人AR
在谷歌ARCORE更新到1.2版本支持多人交互后(具体可参见:多人AR大势所趋!技术大牛深度解析ARCORE 1.2),大家都开始猜想苹果此次是否会跟进。果不其然,苹果公布了ARKit 2.0的主要更新,包括优化面部识别、真实绘制、三维物体检测、持久体验、多人共享五大功能。
其首先展示了一个多人AR游戏Demo,桌面化身为战场,对战双方使用Pad操控,可以用弹弓发射子弹来攻击对面的城堡(积木方块),全程实时操作反馈。
此前我们了解到,谷歌的ARCORE多人交互是通过Cloud Anchors来实现,用户A首先将本地anchor和anchor周围局部的视觉信息(比如特征点、线等),上传到云端,云端通过处理并生成三维点云信息,生成cloud anchors,同时返回其对应的ID,该ID可以共享给其他用户。其他用户(例如用户B,C等)通过该ID访问已有的cloud anchors,ARCore将本地的视觉信息上传到云端服务器,云端服务器尝试将接收的视觉信息与云端cloud anchor对应的的三维点云进行对齐,从而将多个用户的位置和姿态统一到同一坐标系下。
苹果此次虽然没有公布ARKit的多人是如何实现的,不过从其展示的Demo来看,这样的游戏方式对于实时位置计算、即时反馈的要求都非常高。
第二个展示的项目是结合LEGO玩具的一款AR游戏,在桌上放了一幢乐高的别墅模型,扫描即获得相应的虚拟建筑,并且其范围扩展至了周边的道路以及周边的建设,俨然就是一个模拟城市的游戏。
玩家不仅可以凑近看建筑内的模样,还可以将去掉建筑最外层,直接观看每一层的情况。甚至连建筑里面小人的实时动作,看起来都非常生动。
特别是两个人的交互都能实时反馈到另一个人的视野中,比如消防车救火、直升机到达屋顶救人的场景,让原本“死”的乐高玩具“活”了起来。这种乐高叠加AR的新玩法,看起来相当有趣,可能不仅是小朋友,恐怕连很多大朋友都会想跃跃欲试。或许,这说不定会是AR游戏的一种很大的可能性。
Facetime升级,Memoji重大更新
最后一个和AR相关的是Animoji和Facetime的升级。 Animoji增加了舌头识别功能,并增加了可爱的考拉和老虎的形象。 另外,iOS 12还支持一个全新的功能Memoji,用户可以DIY形象后制作专属于自己的动画表情,制作过程也非常简单。
而 Facetime的更新上,最新版将支持群组通话,最多可达32人,并且可以在屏幕中看到所有参加视频的人员,讲话时该人的窗口就会自动放大。同时,Facetime和还可与Animoji及Memoji进行融合,可以把相关形象添加到通话视频的人中,显得非常有趣。
此次大会关于AR的重点基本就是这些,苹果的一再加码,其CEO多次公开的表态,无不都是在宣誓着发展AR的决心,其实不管AR,VR,有着这些不仅有财力,还有技术的公司在推动着,对于整个行业来说,都是一件好事。