浅谈AR泛娱乐：直播场景中的AR玩法

    其实直播中应用AR技术已不是什么新鲜事，记得从12年开始，每年的春晚中都有AR的身影，例如12年春晚《万物生》节目、13年春晚《十二生肖》节目等。
    
    
    也许大部分用户并不感知，这也正体现出AR虚实融合的真实感。应用在直播中的AR技术，将舞台布景的工作简化为虚拟影像的制作，提高观赏效率的同时大大降低了成本。
    最近两三年内，直播行业发展迅速，从PC端游戏直播衍进，到今天移动端各种娱乐直播泛滥，应用在直播中的技术也越来越丰富。笔者曾经在《思考！AR真的来了吗？》阐述过观点，当前AR功能性产品暂未覆盖用户核心痛点，许多企业从娱乐化方向探索AR的价值。作为典型泛娱乐类别的直播场景，AR的应用也越来越广泛。下面笔者将从几个方面做简要分析：
    一、以主播为中心的直播AR玩法
    这是当前的普遍的直播场景，核心在于主播。通常模式是，主播进行才艺表演直播，用户通过手机或者电脑查看主播直播，进行留言、点赞、打赏等行为，最常见的就是AR特效玩法了，可以分为三类：
    1．屏幕级：
    这种泛指出现在屏幕端的各种特效内容，比如火箭升空、游艇、鲜花等等。严格意讲，这类内容不属于AR，但表现在直播场景中，特效内容是对主播所在的环境及屏幕做了效果增强，我们简单归类为AR特效吧。当前这种屏幕级的特效最普遍，而且成本较低，甚至不需要滤镜效果，直接特效视频或者序列帧即可满足。
    
    2．人像级：
    此类AR特效要比屏幕级的特效更有技术含量，同时效果更酷炫。人像级别的AR特效依赖AR技术中的识别跟踪算法，例如人脸特征识别，叠加虚拟道具且稳定跟踪。此外，还有类似手势识别触发AR特效、五官动作识别触发AR特效等。相比之下，人像级的AR特效虚实融合效果更好，更具吸引力。
    
    这张示意图里就包含了上述的两种特效，“DISCO”这部分是叠加在屏幕上的特效，属于屏幕级的特效，而“墨镜”是准确识别主播人脸眼镜位置，精准叠加的AR特效，而且可以稳定跟踪。
    这类特效可以是模型，也可以是图片动画，虽然在各种美图相机中，AR贴纸屡见不鲜，但是应用在直播场景中显然更有趣，而且技术难度更高。

    3．场景级 ：
    除此之外，在直播场景中还包括一类场景级的AR特效。 场景级的AR特效要求技术更高，不仅仅是对人像的简单识别跟踪，要求对环境做感知融合。例如即时定位与地图构建技术识别环境特征，例如真实物体检测与虚拟三维构建实现虚实遮挡，例如人像分割、背景分割等虚实融合效果。
    春晚节目中应用的AR，就是场景级的AR特效。不过相对来说，春晚直播相机固定，AR模型特效等融合效果不易穿帮，但目前市面上移动端直播产品里，暂没有看到类似的AR场景玩法，随着技术的发展相信很快就可以实现。为了更好理解，笔者试着找一些效果图来说明，参考如下：
    
    二、以用户为中心的直播AR玩法
    上面说的是以主播为中心的直播AR玩法，也就是当前常见的直播形式。这种玩法，用户只是参与体验和观看。那么什么是以用户为中心的直播AR玩法呢？
    直播场景核心在于内容，如果转变一下思路，由用户决定内容，那AR玩法就更丰富了。笔者曾经在《明星＋AR可以碰撞怎样的火花？》这篇文章中，设想过明星＋AR＋直播的玩法，其实就是以用户为中心的直播场景之一。
    将平时看不到的甚至虚拟的影像、直播，通过AR技术实时呈现在眼前，如同身临其境。前几年VR直播在一些晚会包括明星演唱会都应用过，全景视频流直播，营造真实的现场沉浸感。对于AR直播来说，AR视频、AR全景都是可行的，参考下图示意：
    
    不过当然AR直播也有缺陷，需要打开摄像头查看内容，且不解决核心用户痛点，因为此类AR视频直播用户完全可以通过web或手机查看替代。所以，这也是这个场景没有发展起来的原因之一。当然，如果限定下条件，限定内容和实时性，AR视频直播还是有一定价值的。想象一下，在网上看五月天直播和把五月天请到卧室直播，肯定AR直播更酷炫。
    
    视频形式的AR直播，不具有立体感，效果比较差。如果可以结合真人光场建模，实时影像投影，将真人模型实时投射到现实场景，可以360度立体查看，肯定相当刺激。2017年天猫11．11的时候，通过AR技术将“范冰冰”请到用户家里，就是用到的真人光场建模＋AR技术。如果可以做到直播场景中，实时体验，将会成为营销、工业、教育等行业的爆点。
    
    上是笔者对于AR直播场景的一些分析和猜想，目前看后一种直播场景比较受限，应用范围、技术能力还没有完全覆盖。但是对于AR泛娱乐来讲，直播场景对于普通用户已经开始广泛认知，结合新技术做爆点突破也未尝不可，期待AR直播～