福布斯揭秘Facebook AR的野望

    编译/VR陀螺 云吞
    可爱又迷人的反派角色
    马克·扎克伯克在2014年1月时第一次体验了Oculus Rift。当时,他站在Facebook少数几个装了百叶窗的办公室中的一间,把这块砖头一样的眼罩绑在脸上,然后在瞬间觉得自己被传送到了一座中世纪城堡的遗迹中,厚重的雪花在自己的身边落下,有着翅膀的怪物从自己的嘴中不断喷射出滚烫的熔岩。这一让人神魂颠倒的景象立马就让他信服:VR总有一点会成为主要的计算平台。两个月之后,他身体力行的支持了自己的想法:花费20亿美金买下了Oculus。
    
    但是小扎在当时没有想到的是,另一种还没有获得广泛关注的、和VR有着千丝万缕关系的年轻技术,AR,也正在追赶着VR的步伐。AR能够将虚拟的情景图像、特效覆盖到真实的环境中,仅仅需要一台手机。尽管在AR方面并没有像VR那样数十亿美金收购案的头条,但小扎实际上还是命令自家的工程师们开始同时研究VR和AR的未来。这一决定是合乎情理的,因为两种媒介在底层技术上有着许多同样的东西,从硬件的组成到更为复杂的计算机视觉软件都是如此。
    “马克是那个在当时真正推动我们在AR上有所投入的人,”Facebook首席技术官Mike Schroepfer告诉《福布斯》。Schroepfer说,AR和VR一起成为了Facebook三大最重要的技术研发方向之一,其他两个方向则是人工智能(AI)和连通性(connectivity)。在Facebook内部,有数千名工程师都在研究底层技术,比如计算机视觉,它能够让一台智能手机实现实时面部动作追踪、识别出一个咖啡杯、或者推荐基于情景的特效。同时,AI对于AR来说也是一个重要的基础,因此Facebook经常会把自己的app内相机成为“AI相机”。Schroepfer表示,对这些技术的研发牵扯到了“重大的资金投入”。
    如今,Facebook也必须和市场上其他的竞争对手正面碰撞,包括苹果和谷歌,甚至还有Snap。这些公司都希望自己的平台和规则成为AR开发者们的首选。而AR技术本身虽然仍处于起步阶段,迎来了一轮爆炸期。这也验证了小扎近期的直觉:AR能够冲向大众市场——尽管VR仍然是一项较为尴尬的技术,吸引的绝大部分都是硬核的玩家。AR最大的优势在于,并不依赖于昂贵、大型的头显和电脑,同时也不会将用户和环境割裂。它所能够使用的设备,本身就已经被世界上超过1/4的人所拥有。
    
    “最直接的事实是,你可以在你的手机上使用AR,而世界上已经有13亿人在手机上使用Facebook,”Facebook应用机器学习负责人Joaquin Candela这样对记者表示。她所在的团队负责打造Facebook AR技术背后的AI支撑体系。“手机的用户要比VR头显的用户高出100多倍。这就让AR很值得研究和关注。”
    同时,很多案例也已经表明,AR具有吸引消费者的能力,甚至还能够彻底改变用户和手机交互的方式。看看一些先锋的AR应用,比如Snapchat上面的小狗滤镜,或者《Pokemon Go》这样的游戏。这些都表明,AR,而不是VR,是我们MR未来的下一个主要的阶段。驱动AR的智能手机交互,比如用滤镜改变自己的外貌,或者用手机来抓小精灵,已经成为了我们可以接受的社交行为。
    
    但是科技巨头们对AR投入如此大,是因为它的应用要比社交媒体、游戏和滤镜多得多。AR技术在许多其他领域已经有了实际的应用,包括导航、电商等。比如,宜家就推出了自己的AR应用,让用户可以把虚拟的家具放在房间里面进行查看。制药公司也正在使用AR来实时显示关于药物的信息。现代用AR来让消费者切身感受自己车辆的一些特性。AR还能够和聊天机器人结合,用于客服培训。“你的手机会变成一个神奇的镜头,让你更好的看世界,”Facebook相机团队总工程师Tom Meyer说。
    在Facebook内部,工程师和管理层都知道风险很大。如果无法正确的推动AR发展的话,公司就会遭受自家app使用率下滑的风险。公司和Snapchat之间的斗争已经表明,年轻用户对于社交应用的忠诚度并没有那么高。他们很容易就会被有着吸引眼球的工具的平台所吸引,然后就会逐渐发展出一个社区,尤其在有着大量图片和视频内容的前提下,因为这些内容会形成具有吸引力的、不但传播的体验。
    Facebook直到Snapchat发布AR特效很多年之后才推出自己的产品。尽管如此,公司还是完成了自己这个巨大的任务,这得益于公司内部强大的AR技术,这能够支持更加高级的特效和更加强大的产品设计。这些能力让Facebook能够很快跟上Snapchat的步伐,也在一定程度上阻碍的了对方的发展,让Facebook免于陷入谷歌之前的境地——Google Plus太迟推出,以至于完全没有办法成为社交媒体中的一个有力的玩家。
    在AR上的成功能够为Facebook带来很多好处。公司的广告业务是由用户在其应用上所有的活动和时间所驱动的,在2016年时带来了269亿的收入。AR特效占人们花在社交网络上的所有的时间中的比例正越来越大,鼓励了用户更加频繁的和好友发送信息以及制造自己的内容。Facebook用户平均每天在Facebook app、Instagram和Messenger上花费50分钟,而公司需要持续的推出新的产品功能来抓取用户的眼球,推出图片占很大比重的社区的发展,保持高质量来应对挑战,尤其是公司希望能够将其他获得用户认同的行为频率降低到最小,包括“骗赞”和“标题党”等。
    
    而Facebook所有应用上的滤镜的普遍存在,表示公司已经迈出了主要的一步——从为固态图像打造的“过去的相机”逐渐转换为“未来的相机”。这个“未来的相机”将由AI所驱动,能够实现吸引眼球的特效,同时能够附着在朋友和家庭的网络上。滤镜看上去似乎不是什么大事,但是它给Facebook带来的如何正确做AR的启示是非常有意义的。根据Facebook公首席产品官Chris Cox的说法,司持续向图像集中这一特点的转化对于公司未来的发展非常关键,就和从桌面转向移动端一样。
    “从更长远来看,Facebook必须要在AR上做的非常好,如果我们想要在接下来10-2年间不落后于其他人的话,”Schroepfer说。

    从“过去的相机”到“未来的相机”
    在去年5月的一个早晨,扎克伯格的一张自拍照片出现在网络上:他戴着一副“黑框眼镜”,头上漂浮着几个数学公式。这张照片宣告了Instagram Stories的首个“脸部滤镜”的诞生。“这是我目前最喜欢的滤镜,”小扎着么对着镜头说。
    
    其他的特效还包括彩色的纸屑、水下的场景、抽动的考拉鼻子和兔子耳朵,激发了3亿人的参与,其中还包括女演员瑞希·威瑟斯彭(Reese Witherspoon )和模特卡莉·克劳斯(Karlie Kloss)等名人。还有不计其数的青少年每月都会在家使用Instagram这一有着厚重AR元素的Stories上的功能。Instagram、WhatsApp和Facebook自己的app加在一起,让公司现在已经成为了世界上最大的AR生态系统,此时距离小扎第一次尝试Oculus的demo过去了仅仅4年,距离公司开始研究AI技术仅仅过去了6年。
    已经有数千名开发者正在使用“AR Studio”在Facebook的AR平台上打造应用,这一软件是在去年12月正式向公众开放的。目前所有拥有Facebook账号的人都可以打造自己的AR特效,包括滤镜、动画和3D的虚拟物体。
    
    尽管Facebook在社交AR上进展不错,但却不是第一个让它变得流行的。这一光荣的称号要属于他的死敌Snapchat,而Snapchat一开始其实是一个和色情打擦边球的通讯工具。正是Snapchat首创了“阅后即焚”功能,也就是AR特效得到应用的主要场景。直到3年之后的2016年,Facebook才推出了几乎一模一样的功能。直到一年之前,Snapchat的AR功能还是全面领先Facebook的。然而,Facebook其实已经花了很多年在幕后研究AR的核心技术,因为扎克伯格很早就直觉性的察觉到AR终有一天会成为主流的通讯工具。
    Snapchat一开始的AR效果是为整个屏幕上的照片和视频覆盖虚拟物体,随后在2014年推出了针对用户所在特定地点的“geofilters”和“lenses”,比如在2015年风靡一时的“口吐彩虹”和2016年推出的定制化AR虚拟形象“Bitmojis”。Snapchat的这些特效一夜之间就火了,让它迅速积累了超过1.5亿的日活用户。青少年们,这一最有价值却最难捉摸的群体,每天都会使用Snapchat来聊天。虽然Facebook的高管们一直回避在采访中谈到Snapchat这一竞争对手,但是在当时,公司毫无疑问对于自己的劣势充满了角度,并且一直紧咬不放。
    
    在Facebook一直监控着自己这一新对手的同时,也意识到了自己app上的一些趋势。图片、动图和视屏的浏览量大大增加,将文字信息甩在了身后。更加让人吃惊的是2016年4月上线的视频直播功能的效果。所有的高管,包括小扎自己,都对其直线上升的采用率感到震惊,这也明显的表示出人们希望在Facebook上通过图像和动画来交流,并且希望是实时的。
    因此,在基于图像上的分享功能上加大投注是不可避免的了。Facebook的产品路线图在公司推出视频直播功能和收购白俄罗斯AR滤镜应用MSQRD之后到达了一个转折点。MSQRD在东欧起家,然后在美国地区流行开来,收获了1600万用户。它的滤镜工具看上去和Snapchat几乎没有差别,因为联合创始人Eugen Zatepyakin花了将近3年的时间来打造自己的3D图像渲染技术。Facebook的设计VP Julie Zhou 回忆起了当时公司高管们在总部试用这一应用时的情景。他们很快就着了迷。
    
    “改变你自己的外貌能够立马就产生一种吸引力——你会想要去成为另一个人,去装扮成别人的样子,”Zhou说。
    Facebook在2016年3月以未披露的金额收购了这家创企,随后就开始了大力的研究。不久之后,小扎就在网上po出了一段自己使用MSQRD的钢铁侠特效拍摄的视频,而且在内部悄悄地加大了对更加复杂的app内置相机的技术基础的研发支持。
    AI上的突破
    Facebook一直在研究AI相关的技术,比如计算摄影学,这一技术从2015年开始就支持AR。然而,直到2016年的夏天,扎克伯格才终于决定对AR开始全面的投入,成立了一只专注于AR的“相机小组”。这一团队由来自公司内部的应用机器学习部门的一群AI工程师和研究人员组成,办公地点就在Building 20的开放式楼层中,在小扎的办公室的隔壁。
    在接下来的一年半之间,“相机小组”已经扩大至100名员工,包括从好莱坞和游戏公司挖过来的设计师,还有Messenger和Instagram相机功能的参与人员,来帮助小组快速的发布新的功能和进行迭代。团队需要忙碌的事情有很多,包括加强基础视觉识别技术和深度学习技术,还需要在Facebook之外的地方组建焦点小组来实验不同的AR工具。

    
    在团队其中一项研究课题中,应用机器学习团队的产品设计负责人Dantley Davis回忆起了有一次,他们需要不停的拜访别人,来询问大家在跟别人说“生日快乐”时有哪些不同的方式。团队给了参与研究的志愿者一系列的工具,他们可以将这些特效和信息发送给过生日的人。Dantley说,有一名男性的志愿者,对于可以用动画特效来跟自己的妻子说“生日快乐”感到松了一口气,因为相比要他通过语言或者文字来表达,这种形式要更加轻松和简单。
    “他用这些工具创造了一段非常亲密的、私人的体验,基于他和她妻子的日常交流的内容,”Dantley说。“AR工具给了他一条捷径来表达自我,他认为很有价值。这让在情感交流中稍显笨拙的人会感到更加有自信。”
    就在相机小组成型后不久,Niantic所开发的《Pokemon Go》大获成功,这进一步证明了AR对于主流消费者具有吸引力。从2016年7月面世后仅仅19天,《Pokemon Go》的用户数量上升到5000万,大家愿意在城市中行走数英里的距离,用自己的手机来捕捉AR版的小精灵。扎克伯格自己也是这款游戏的粉丝,在当月公司的财报电话会议上,他还向投资人特意提到了这一点。这款游戏也向Facebook的高管们证明了,AR不仅仅能够应用在Snapchat这样的通信软件中。
    与此同时,Facebook相机团队的工程师们正在埋头打造自己的AI处理软件,他们希望能够成为公司未来AR特效的扎实基础。此时,像Snapchat这样的竞争者正在以来外部的服务来驱动AR,降低了速度和复杂程度。但Facebook希望能够直接在手机上打造一个可以处理AI的系统,这一技术最终被命名为“Caffe2Go”。Facebook希望在基础架构建设好之后、确保效果能够和现有的相机无缝结合之后才正式发布AR功能,同时也希望自己的AR能够比Snapchat的拥有更好的脸部追踪渲染和速度。
    在Caffe2Go开发的同时,Facebook的产品部门也在MSQRD的帮助下试验着各种不同的AR工具。在2016年8月,在夏季奥林匹克运动会开幕之前,公司选在巴西和加拿大测试直接在自己的主应用中打开全屏的相机(和Snapchat一样),同时也发布了奥运会主题的相机边框和可以添加在已有照片上的彩色面具。同一个月,公司也为Instagram打好了AR效果的基础,发布了自己的首个“阅后即焚”功能。
    
    那年的秋天,Facebook完成了Caffe2Go的研发,实现了在手机上直接处理AI的系统,能够实时捕捉和分析像素。在2016年的秋天,公司通过“风格转换”这一功能(可以把你的照片或者视频变成毕加索或者梵高的风格)进一步测试了Caffe2Go,随后这一系统就开始正式在所有Facebook旗下的app上来驱动AR功能。这一功能的一个应用地是Messenger,很快,它看上去和Snapchat看上去惊人的相似,在同样的“阅后即焚”的功能“我的一天”中,充满了可以用来修饰照片和视频的面具、滤镜和镜框。去年3月,Facebook把AR效果进一步扩展到了主app上,用户只需轻轻的一划就可以开启全屏的相机,屏幕中央有可以开启滤镜和动画覆盖层的按键。
    
    在一个月之后的F8开发者大会上,扎克伯格宣布的最重要的消息之一,就是发布首个“相机平台”,这一平台可以让开发者基于社交网络来打造AR特效。依然是灰色的T恤和简单的牛仔裤,小扎在台上阐述了这一功能能够给未来的世界带来什么。他表示,最终,科技能够解放人们用于社交的时间,更加的具有创造性和制作更多的艺术。
    “在未来,我们对于文化和社会的贡献的方式,将会更难以用传统的经济学或者GDP来衡量,”在展示公司的10年产品路线图时,他这么说到。“我们将会创造更多的艺术品,这将会是我们社区的基础。”
    “这也是我对于AR感到如此兴奋的原因。AR能够让我们打造出此前只能在虚拟世界中做出来的东西,而且我们能够和它们进行互动,并且一起探索。”
    这是第一次,扎克伯格将Facebook的内置相机作为沟通交流的核心来展示,这也是对Snapchat将自己称为“相机公司”的直面回应。扎克伯格还预测,AR眼镜和AR隐形眼镜很可能成为未来首个AR可穿戴设备,而从现在开始,人们正在从自己的手机上开始享受AR。
    从Facebook在2016年晚些时候发布AR特效以来,Snapchat的增长就陷入了停滞。Facebook旗下最受欢迎的AR平台,Instagram Stories的用户增长和Snapchat的用户下滑存在着相关性。目前Snapchat的日活仅有1.9亿,而Instagram的日活达到了5亿。
    更加广泛的AR竞赛
    尽管普通消费者对于AR最大的用处是在社交网络上,但几乎每个科技巨头都在竞相将AR功能融入到自己的产品和生态中,然而大部分开发者还不知道应该怎样开发AR。就在Facebook发布自己的AR相机平台的两个月之后,苹果发布了自己的开发者工具ARKit,能够让开发者和营销人员为已有的app加入AR元素。调研公司Forrester预测,已经有4亿台设备可以兼容ARKit。在去年9月,苹果还为iMessage推出了“Animoji”,通过iPhone X上的面部识别技术来为用户定制自己的动态emoji。
    

    但是谷歌可能是所有科技巨头之中研究AR时间最长的,早在2013年就发布了自己的智能眼镜Google Glass。但是这款产品的失败也是史诗级的——尽管在科技爱好者之中取得了不错的口碑,但是却因为隐私和社交可接受性的问题,让普通消费者难以接受。谷歌随后在2016年发布了一个AR平台Tango,使用深度传感器来绘制室内的空间地图,但是这一平台只可以和很少的几款设备相兼容。为了让更多的手机在无需额外相机和传感器的情况下就能够使用AR功能,谷歌在去年八月推出了和ARKit对标的ARCore。这一开发者套件针对现有的和未来的安卓设备,包括三星的旗舰机型。
    
    谷歌发言人表示,在冬季结束之前,ARCore预计可以在1亿台安卓设备上运行。和Facebook一样,谷歌很自然的也对将AR用于搜索非常感兴趣。在5月份,谷歌发布了“Lens”功能,这是一个计算机视觉工具,可以自动整理谷歌照片中的图像,而且Pixel和Pixel 2的用户可以直接将手机镜头对准某件物品,就可以实时获得相关信息。苹果和谷歌的优势不仅仅在于拥有自己的操作系统,这让开发者可以打造很多的AR应用;而且这两家公司也有着打造硬件的经验,这些都是Facebook无法比拟的。
    “Facebook的相机平台能够让开发者和市场营销人员在未来更多的达到更加广泛的人群,但是Facebook的局限性在于,无法控制硬件,”Forrester分析师Thomas Husson说。“如果想要实现真正惊艳的AR体验的话,需要软件和硬件的结合。”
    就在Facebook、苹果和谷歌都专注于智能手机的时候,微软则一直专注于企业用户的可穿戴硬件。公司在2016年发布了价值3000美元的HoloLens。HoloLens基于微软的Mixed Reality平台运行,同时也可以驱动其他的VR和AR硬件。但是对于AR设备来说,想要让普通消费者负担得起,或许还需要很多年的时间。
    Facebook或许最终都不会拥有自己的操作系统或者下一代的AR设备,但是他也有着自己的关键资产:首先,Facebook可触及的用户要比其他所有的社交app还有即时通讯软件的用户都要多,包括Snap、Kakao、Line和微信。第二,Facebook有着世界上最大的计算机视觉团队之一,这有助于打造更好的AR效果。就算Facebook始终无法让自己的AR硬件流行开来,公司可能也会在很多年之中保持最大的AR内容生态系统的地位。
    广告的下一个趋势
    在去年7月《权利的游戏》第七季最终集放映的周末,世界上所有的权游粉丝们都按惯例在社交媒体上分享着自己的对于电视剧的看法和期待。但是除了普通的贴子之外,还出现了这样一种更加吸引眼球的帖子:超过100万人在Facebook上制作了自己的权游主题AR视频,可以将自己的脸转换为吓人的“夜王”的模样,连声音效果和雪花的掉落效果都有。这一特效能够实时根据脸部的位置进行调试,就算用户大声喊叫和唱歌也没有问题。很快,这些片段就开始在新闻和社交网络上流传开来。
    这款特效实际上由HBO打造,而非Facebook。它很快成为了Facebook上最成功的AR营销案例之一,表现出高质量的AR效果会让人们乐于和朋友们分享,就算是广告也无妨。对于营销人员来说,AR具有很大的诱惑力,就像“夜王”特效所展现出的那样,因为AR可以让手机用户在上面停留更长的时间。Facebook对自己的定位是成为AR营销活动的首选平台,围绕着鼓励大家和朋友一起游戏或者po动态的自拍。
    
    “《权利的游戏》粉丝每天都希望能够有新的活动,”HBO数字媒体和市场总监Emily Giannusa这样跟福布斯说。“Facebook相机平台对我们来说如此有吸引力,是因为在使用简单的同时,也给粉丝们提供了一个可以把自己传送到权游宇宙中去的机会。而他们所需要的仅仅是一台手机而已。”
    仅有大概5%的市场营销人员正在使用AR技术。但根据Forrester 最近的调查,有17%的人正打算在今年使用这个技术,而且相比VR,在至少3年的时间内,AR将会和营销者产生更多的关系。
    “探索时期”
    随着AR从手机拓展到可穿戴设备,这项技术能够成为人们全天候的感官提升器,同时也能够根据我们所在的地点、我们的兴趣点和社交网络来定制搜索功能。但是普通消费者对于AR的使用仍然处于早期。在接下来的几年中,科技巨头们将会忙着提升自己的核心技术,同时为手机打造AR,比如Facebook就会专注于自己的长处。随着时间推移,AR很可能会让Facebook和它的新闻功能完全大变样——更加具有沉浸感、更加聚焦视频和互动性。
    同时,公司需要持续提升自己的AI技术,来变得更快和更加精确。比如,在识别视频中的物体时,能够理解从不同的角度来看,一个场景应该发生怎样的变化,更好的映射虚拟物体和环境之间的关系。为了到达更加广泛的长期用户,包括那些正在发展中的市场,Facebook需要让自己的AR功能能够和性能比较弱的手机以及老款的手机兼容。
    “我们还处在基础的探索时期,我们也还在打造基础的技术,”Facebook的Candela说。“所以我现在的重点会放在执行上。同时,在一些次要的时候,我们会做一些疯狂的探索性项目。”
    与此同时,Facebook正在“大力投资”硬件来支持AR,也正在打造更多的社交工具。除了让公司保持竞争力之外,提升底层AI技术还有其他的好处,比如通过更好的视觉识别以及语言理解,帮助对抗垃圾信息和问题内容,同时还可以提升游戏效果和机器人的效果。
    “很多人以为,AR仅仅是用来打造好玩的滤镜,这是错误的,”Candela说。“我们正在推动的技术,很难让普通人想象能够有什么样的应用。但是我很确定,它们会解锁我们现在从未想过的未来——有意义的AR体验将会非常具有社交性,你将会成为你自己。”