华为云XR云服务，究竟依赖哪些核心能力呢?
华为说起钢铁侠,让人想起漫威迷们总结的“漫威宇宙规律”——“土豪靠装备,穷人靠变异”,盘点钢铁侠斯塔克的装备:从“48 套钢铁战衣”,到铁打的AI助手“贾维斯”,“星期五”——懂技术懂装备懂老板,还有他研发装备时在空中随心勾勒,将设计原型旋转、修改、定稿、抛入制造系统的一系列骚操作,一顿玩儿就把活儿干了钱挣了,这无一不是大多数理工男的终极梦想。
这个终极梦想,真的就那么遥不可及吗?
我们今天就来聊聊,土豪背后的技术——XR(VR,AR,MR)技术,看完后,你就知道,未来已被拉近。
简单科普一下什么是XR,XR 就是VR、AR、MR 的统称。虚拟现实(Virtual Reality)、增强现实(Augmented Reality)和混合现实(Mixed Reality),正在给我们的生活方式带来一系列的变化。不远的未来,你还可以坐在虚拟的会议室跟你虚拟的小伙伴们开一场云上会议,在虚拟的智慧教室上一堂多人互动课程、做一场模拟实验,甚至进入虚拟世界进行真实的设计、制造,虚拟和真实之间,边界不再那么明显。这一切,都得益于XR(VR,AR,MR)技术的应用。
XR技术,究竟依赖哪些核心能力呢?华为云最新发布的XR云服务,给了我们答案。它提供了五大核心技术和能力,打开未来新视界。
1、 大规模3D地图构建能力
3D地图是数字孪生世界的基础。传统制作3D地图的成本,是非常高昂的。图商需要采购价格高昂的测绘车队,常年雇佣规模在千人左右的采集团队,并组织人力对采集来的数据进行标注、补缺。随着AI算法、传感器的发展,技术上已能实现自动化程度更高的制图流程。
华为云XR提供手机拍摄视频的众包建图方案,只要是通过手机拍摄慢速转动的视频,或者有重叠区域的图片,覆盖建图的区域,传至云端即可通过算法还原出3D模型。如果将3D模型中的3个点与数字世界的坐标对齐即可将局部的3D模型补充到数字世界中,大大降低了制图成本。
华为云同时支持卫星制图,具备大面积快速覆盖能力,配合地图自动生成流水线,大规模构建3D地图。
2、 厘米级全场景适应的空间计算
高精度定位技术大体上可以分为三类:基于信号的定位、基于航迹推算的定位、基于环境特征匹配的定位。
?基于信号的定位:普通的多星(GPS、北斗、伽利略)定位精度大约能做到1-2米。新的RTK(Real - time kinematic,实时动态)载波相位差分技术,是能够在野外实时得到厘米级定位精度的测量方法。
但它同时存在一些问题,比如基站布设成本高,易受电磁环境干扰、易受环境遮挡、信号多径效应、4G/5G/WIFI网络环境差的影响等等,从而影响定位精度和定位系统的可用性。
?基于航迹推算的定位:IMU是常用的航迹推算系统,优势在于没有外部依赖,可以提供短时高精度的定位结果,缺点在于在连续的位置和方向的测量中误差会不断累积,导致位置和姿态的测量结果偏离实际位置,因而无法做长时间的高精度定位。
?基于环境特征匹配的定位技术:华为云XR能力平台提供根据视觉的定位技术,通过定期上传照片,在云端进行特征点提取、匹配,能够做到厘米级定位与一度以内定姿(6DOF)。针对光照条件差,弱纹理的夜晚和室内场景,通过AI方式进行增强,实现夜晚也能找到图像匹配点,室内也能定位的全场景适应的空间定位算法。基于VPS和SLAM的紧耦合算法架构,可逐步实现长时间的室内外导航。
3、 提升效果同时提升数倍效率的AI渲染算法
3D渲染管线也称为渲染流水线,可以将其理解为一个流程,就是我们准备一些数据,让GPU对这些数据做一些处理,最后得出一张二维图像,渲染流程主要分为几个大的阶段:数据准备阶段,顶点处理阶段,光栅操作阶段,像素着色阶段。当前渲染优化有两个方向,一个是渲染画质好,一个是游戏实时性高。华为通过对渲染管线中算法的深入研究和调试,并通过端云结合的AI算法,对渲染管线进行拆分,达到画质和实时性的均衡,实现数倍效率,画质相对于传统渲染方式有大幅的提升。
4、十万发丝级数字人渲染
不久的将来,现实世界中的每一个地方和事物 —— 每一条街道、每一个灯柱、每一栋建筑物和每一个房间 —— 都会在镜像世界中拥有它的全尺寸“数字孪生兄弟”。
华为在数字人的生成、建模、渲染阶段均有所涉猎,如全自动化90%相似度高精细人体模型生成。传统的建模通过离线工具制作,费时费力,华为考虑改造建模过程,实现快速复制、自动化生成、快速建模。
渲染过程的开发,主要是从皮肤、牙齿、眼睛、毛发等等方面入手。数字人的表情肢体动作自然驱动和表达,唇音同步延时<100ms,使用者时延无感知 。皮肤是半透的,比较薄的地方有散射的效果,光散射过来会产生折射,加入后会多一些细节;眼睛是晶状体,有透射效果;头发有很多层,每层有不同效果。华为实时高真实度数字人绘制,实现逼真的发丝、皮肤、眼睛渲染呈现,10万级发丝,fps>30帧,整体主观打分8分以上。
5、360度VR视频TWS FOV技术(Tile-Wise-Streaming Field of View)
360度VR视频领域,华为提出了TWS FOV传输技术,可以解决4K硬件解码能力终端,基于4K码率观看8K片源的问题。通过TWS映射方式,从像素点上就可以相对ERP映射,直降40%码率。通过增加低资源消耗的背景流,解决黑边问题,加入单帧切换技术,提升转头高清体验。
XR技术的研究和应用,未来将有无限可能。虚拟和真实将相辅相成,实现真实世界与虚拟世界之间的无界沟通和协作。在不久的将来,人人都可像钢铁侠一样,通过XR技术释放无穷的创造力和想象力,突破极限,共筑未来。
