Facebook 疯狂投资 AR 技术！

Facebook的首席技术官Mike Schroepfer在接受“福布斯”采访时说：“扎克伯格是当时真正推动我们研究AR的人。AR与VR一起构成了Facebook的三大重点发展技术之一，另两项是连通性与人工智能。”在Facebook内部，数百名工程师正在研究计算机视觉等基础技术，这些技术可以实现在手机上实时跟踪面部表情，从而识别咖啡杯或推荐上下文特定的图像效果。人工智能是增强AR的基础，所以Facebook的员工经常将应用的内置相机称之为“AI相机”。从公司整体看来，“我们在这方面投入了大量资金，”Schroepfer说。

目前，Facebook正在与技术实力超强的苹果和Google竞争，并在一定程度上展开了一场高风险的战斗，努力打造AR开发人员的首选平台。这项技术本身虽然还处于起步阶段，但是大受用户的好评。这证实了扎克伯格的直觉——VR仍然是一项尴尬的技术，它的吸引力仅限于骨灰级游戏玩家，但是AR技术却可以被广泛接受。AR的关键优势在于，它不像VR那样依赖昂贵、笨重的眼镜从而限制了用户群。而全球超过四分之一人口手中的设备都可以运行AR的应用。

Facebook应用机器学习（这个小组为Facebook的AR项目建立AI的基础）负责人Joaquin Candela表示：“可以在手机上使用AR是一次非常重要的转变，我们有13亿的用户在手机上使用Facebook。手机的用户大约是VR眼镜的一百多倍。因此AR看上去更有趣，且容易引人关注。”

很明显，早期的数据证明AR有能力吸引消费者，有时甚至可以从根本上改变他们与手机的互动方式。我们见证了AR应用程序先驱者的火爆程度，例如Snapchat上的小狗动态贴纸以及虚拟的寻宝游戏PokémonGo等。这些游戏表明混合现实的未来世界中，AR将是主要目标，而并非VR。支持AR的智能手机互动，例如使用动态贴纸变身歌唱摇滚明星，或用手机捕捉Pokémon，已经是被广泛接受的社交行为。

但是，技术力强大的公司在AR上注入大量投资的原因远远不止这些社交媒体、游戏以及搞笑的特效。这项技术可以从导航到电子商务等领域发挥实际的应用，其中虚拟试衣间可以促进在线的服装销售。宜家已经开发了一种应用，可以帮助用户在家中模拟摆设家具。制药公司可以使用AR来显示有关药物的实时信息。现代汽车使用AR应用向客户展示汽车的功能。AR还可以通过与聊天机器人集成提供客服支持教程。Facebook智能手机团队工程经理Tom Meyer表示：“智能手机基本上可以成为观察世界的魔幻镜头。”

在Facebook内部，工程师和高管承认投资AR的风险很高。如果不能正确地推行AR，那么有可能导致Facebook应用使用率的下降。在与Snapchat的竞争中，他们发现年轻的用户对于社交应用的忠诚度可能稍纵即逝。用户会很快转向最具诱惑力的工具，以及可以将沟通（尤其是通过图片和视频）转化为引人入胜，且不断演变的体验的工具。

Facebook在Snapchat之后几年才推出了AR效果，这对于互联网时代来说历时太长了。不过，Facebook很快就后来者居上，这要归功于这家社交媒体巨头强大的内部人工智能可以支持更大规模的先进效果，以及强大的产品设计。借助这些优势Facebook很快实现了与Snapchat并驾齐驱的功能，且遏制了这家年轻的竞争对手的发展，从而将Facebook从其他科技巨头的命运中拯救了出来，比如Google的Google Plus，产品上市的延误断送了这家搜索巨头在社交媒体播放领域的发展。

AR的成功为Facebook带来丰厚的回报。Facebook应用程序上用户的活动与访问时间极大地推进了公司的广告业务，2016年为公司带来了269亿美元的收入。AR效果鼓励用户更加频繁地发送消息并花费更多时间观看朋友的帖子和制作自己的帖子，从而使得人们花费在社交网络上的时间越来越长。Facebook的用户平均每天要在其主要应用Instagram和Messenger上花费大约50分钟的时间，而Facebook则需要不断推出新的产品功能，吸引更多眼球，并促进形象密集型通信的发展，从而保持领先水平，并避免竞争 ，特别是需要尽量避免骗点击量和假新闻的新闻来源。

图：2016年Facebook的CEO扎克伯格在一次大会上演示了Oculus的虚拟现实眼镜。

Facebook应用中动态贴纸和滤镜的流行标志着该公司向着转型迈出了第一步，从静态图像和相册的“旧式照相机”转变为Meyer口中的“未来相机”，这个相机拥有AI的支持，可以提供非常有趣的效果，而且可以在朋友和家人的社交网络中共享。动态贴纸本身看似很无聊，但是它证明了Facebook应用AR的方式是正确的。Facebook的首席产品官Chris Cox说，社交网络不断朝着侧重图像的方向发展，这对公司的未来以及从桌面到移动设备的过度都有非常重要的影响。

Schroepfer说：“总的来说，如果Facebook想在接下来的10或20年内在AR上有所发展，那么我们就必须把它做好。”

从“旧式相机”到未来相机”

去年五月的一个早晨，扎克伯格出现在社交网络上的时候，戴着一副贴了胶布的眼镜，一个数学方程在他头上旋转。在发布Instagram Stories的第一个“脸部滤镜”（Snapchat称之为“动态贴纸”）的时候，扎克伯格就选了这些书呆子的装饰。“到目前为止，这是我最喜欢的装扮，”扎克伯格一边笑着说，一边睁大眼睛看着镜头。

彩色纸屑、水下泡沫的场景，抽动的考拉的鼻子和兔子耳朵等效果吸引了3亿人的尝试，从女演员瑞茜·威瑟斯彭和模特卡莉·克洛斯等名人，到普通的青少年，每个人都在使用Instagram的AR-heavy Stories功能。通过Instagram上的Stories（一系列照片和视频剪辑，会在24小时后消失）和其他在WhatsApp和Facebook主应用上类似的功能，Facebook发展成为全世界最大的社交AR生态环境，而这一切距离扎克伯格在Oculus上做演示仅仅用了4年的时间，距离Facebook采用核心AI技术仅6年的时间。

数百名开发人员正在使用名为“AR Studio”的软件，在Facebook的AR相机平台上开发应用程序，该软件于12月对外开放。现在，任何拥有Facebook帐户的人都可以为社交网络创建AR效果，包括动态贴纸、动画和3D对象。

尽管Facebook攻克了社交AR，但它并不是第一个推广社交AR的人。此项技术属于Facebook最强劲的对手——Snapchat，最初被许多人视为约炮工具。是Snapchat第一个推出了“Stories”的功能——AR效果最核心的功能，3年之后的2016年Facebook才发布了近乎复制的版本。在一年之前，Snapchat的AR功能远远领先于Facebook。然而，由于扎克伯格早早预感到AR有朝一日会成为主流沟通工具，所以多年以来Facebook一直专注地在幕后准备核心技术。

Snapchat的第一个AR效果是在照片和视频上进行全屏叠加；其次是2014年的“geofilters”地理位置相关的滤镜；2015年发布的是“滤镜”，比如著名的彩虹动态贴纸；以及2016年推出的名为“Bitmojis”定制头像。Snapchat的这些效果轰动一时，为该应用带来了1.5亿的日常用户。青少年也许是最有价值，但也是最难以捉摸的人口群体，然而他们把Snapchat视为每天聊天必不可少的工具。现在，Facebook高管避免在访问中讨论这个年轻的竞争对手，但在当时，整个社交网络都在焦急而又专心地关注Snapchat的发展。

Facebook时刻关注新的竞争对手，同时它很清楚自己的应用程序的趋势。社交网络上的帖子越来越多地转向照片，GIF和视频，而离文本越来越远。更为引人注目的是2016年4月Facebook发布了实时视频。包括扎克伯格在内的高管人员对实时视频（比如冰球球棒）所震撼，很明显人们希望通过Facebook的图像和动画表达自己，而且他们希望可以实时地做到这一点。

针对基于图像的共享加大投资是不可避免的。当Facebook推出实时视频，并注意到名为Masquerade（MSQRD）的白俄罗斯自拍动态贴纸应用程序时，Facebook的产品策略发生了重大转折。它已经在东欧取得了成功，并在美国收获了1600万的用户。多亏了MSQRD的联合创始人Eugen Zatepyakin花了近三年的时间建立了3D图形渲染技术，Facebook的动态贴纸工具看起来与Snapchat滤镜几乎完全相同。 Facebook的设计副总裁Julie Zhou回忆说，当初亲眼看到Facebook的高管在加利福尼亚州门洛帕克的总部试用该应用的时候，很快就被迷住了。

图：MSQRD滤镜功能概览。

“你会瞬间有一种转变自己的表现欲望——想成为某个人，想尝试别的衣服，”Zhou说，“好像回到了童年，但它又不仅仅是个玩具。”

Facebook在2016年3月收购了MSQRD（金额未公开）后，开始疯狂地努力追赶失去的时间。不久之后，扎克伯格使用MSQRD的钢铁侠动态贴纸在社交网络上发了一个自己的视频，并悄悄地启动了一个内部项目，为更复杂的应用内相机提供技术支持。

AI的突破

Facebook从2015年就开始研究诸如计算摄影学等AI技术，以实现对AR的支持。但是，直到2016年夏天扎克伯格宣布成立独立的“相机小组”，Facebook在AR上的研究才正式浮出水面。最初该小组由一群来自Facebook应用机器学习小组的AI工程师和研究人员组成，他们坐在Building 20的开放式工作间，离扎克伯格的玻璃墙工作间非常近。

接下来的一年半，相机小组扩展到了100多人，其中包括从好莱坞和游戏公司挖来的设计师，他们与Facebook的其他独立应用（如Messenger、Instagram等）的相机产品负责人协同工作，帮助他们更快地开发并迭代。相机小组的工作内容很繁杂，从改进底层的视觉识别技术，到深度学习技术，还在Facebook之外运营专门的小组用于试验AR的工具。

图：Facebook的“Style Transfer”技术，由Caffe2go提供。

据应用机器学习小组的负责人Dantley Davis（之前负责Netflix的移动应用设计）回忆，在一次相机小组的研究活动中，他们与用户讨论如何为关心的人送去“生日快乐”的祝福。他们给每个参与研究的人一系列工具，以便发送各种特效和信息。Dantley提到，研究小组中的一个人觉得用动画效果给妻子发送生日祝福要比使用词汇或句子更容易、更快捷。

“他根据他与妻子的交流，用我们提供的工具创建了一种非常亲近、与众不同的特效，”Dantley说，“AR工具带给他一种便捷的表现自己的方式，他认为这种方式非常有价值。这种工具可以让羞于表达感情的人们更自信地表达自己。”

相机小组成立后不久，游戏开发公司Niantic的一个应用获得了巨大的成功，证明了AR技术可以被消费者广泛地接受。2016年7月，在发布仅仅19天以后，Niantic的游戏Pokemon Go就拥有了5000万玩家，他们不惜在城市和体育馆里走上几里路，用智能手机去捉AR宠物。扎克伯格在那个月的Facebook季报里提到，他本身就是Pokemon Go的粉丝，喜欢与“其他人”互动的感觉。Pokemon Go向Facebook的高管们证明了AR并不仅限于Snapchat等聊天应用。

同时，Facebook相机小组的工程师们正在埋头构建自己的AI处理软件，希望可以作为未来AR特效的基础。当时Snapchat等竞争者们还依赖于外部提供的AR功能，这导致了他们的速度下降、复杂度上升，而Facebook已开始尝试创造一个系统在智能手机上直接处理AI。这项技术最终被命名为Caffe2Go。Facebook直到基础设施完善之后才发布了AR效果，以保证特效能无缝地扩展，并实现比Snapchat更好的渲染效果、面部追踪以及更快的速度。

在Caffe2Go研发期间，Facebook的产品团队同时在MSQRD的帮助下试验各种AR工具。例如，2016年8月奥运会开幕之前，Facebook在巴西和加拿大做了一项测试，在它的旗舰应用中直接打开全屏相机（与Snapchat相同的风格），并为个人头像提供了奥运会主题的效果框和动态贴纸。那个月Facebook还在Instagram上发布了“Stories”功能，为AR特效打好了基础。这个功能几乎是Snapchat的标志性功能的复制品。

同年秋天，Facebook完成了Caffe2Go，建立了第一个能够在智能手机上直接利用AI实时捕获并分析像素的系统。2016年秋天，Facebook利用“style transfer”（一项能把照片或视频变换成毕加索或梵高等艺术家的风格的功能）完成了该技术的测试，准备利用Caffe2Go在他们的所有应用中提供AR，而首当其冲的就是2016年12月发布的Messsenger。不久，Messenger拥有了Snapchat几乎所有功能，能够通过一项名为“My Day”的类似于“Stories”的功能，为照片和视频提供动态贴纸、滤镜、效果框等。2017年3月，Facebook将AR效果扩展到了它的旗舰应用，用户只需轻轻滑动屏幕，就可以启动全屏相机，中间有个特效按钮可以创建动态贴纸。

图：Stories功能在Facebook主应用的概览。

2017年4月，在Facebook的年度F8开发者大会上，扎克伯格正式公布了“相机平台”，允许开发者在社交网络的平台上建立AR特效。扎克伯格站在讲台上，身着灰色T恤衫和牛仔裤，以对未来的设计理念开始了他的演讲。最终，扎克伯格提出，技术将提供更多创意和更多艺术，解放人们社交的时间。

“在未来，我们对文化和社会的贡献将不再通过传统的经济或GDP的方式来衡量。”扎克伯格站在展示了公司十年规划蓝图的大屏幕上前说，“我们中的大部分人将从事现今的艺术工作，而这将是未来社区的常态。”

“这就是我对AR感到兴奋的原因。”扎克伯格挥舞着手臂，“有了它，我们就能做到现在只能在虚拟世界中完成的事情，我们还能与之交互，并一起探索。”

这是扎克伯格第一次将Facebook的应用内置相机作为Facebook的交流核心，打破了Snapchat“做一个相机公司”的格言。他预言，尽管第一个可穿戴AR设备将是AR眼镜和接触式设备，但是现在人们可以在智能手机上抢先体验AR。

自从2016年末Facebook开始公布AR特效之后，Snapchat的增长就停止了。Facebook最流行的AR平台Instagram Stories的崛起直接导致了Snapchat用户数量的下降。现在只有1亿9千万用户每天使用Snapchat，而每天使用Instagram的用户有5亿之多。

更广泛的AR竞赛

即使AR最大的消费者是社交网络，各个科技巨头依然竞相在产品和生态环境中集成AR功能，即使大部分人都不知道如何建立AR。在Facebook发布AR相机平台两个月后，苹果为iOS 11发布了自己的开发工具ARKit，从而使得开发者和市场人员可以更方便地在已有应用中集成AR功能。据研究公司Forrester估计，已有4亿设备可以兼容苹果的ARKit。9月，苹果还公布了iMessage上的“Animoji”功能，通过iPhone X的面部识别功能让用户用自己的面部表情自定义表情图。

图：Facebook的CEO扎克伯格去年预示了公司在打造的产品。

Google也许是研究AR时间最长的科技公司，在2013年就启动了智能眼镜（Google Glass）项目。该产品极其有趣，也是颠覆性的，但最终却由于隐私和社会接纳性的问题而失败了。之后Google在2016年启动了名为Tango的AR平台，通过深度感应器来映射室内空间，但只能与少数设备兼容。为了在不增加相机和感应器的前提下让Tango与更多智能手机兼容，Google在8月发布了自己的ARKit，称为ARCore。这个开发者工具可以在现有和未来的Android设备上运行，包括三星的Galaxy 8。

据Google发言人称，预计今年年末ARCore在Android设备上的运行量将达到1亿台。与Facebook一样，Google自然也对AR在搜索中的应用非常感兴趣。五月，Google发布了计算机视觉工具“Lens”，可以在Google Photos中整理相册，现在只要Pixel和Pixel 2的用户将相机指向物品（如店面）就可以实时获取信息。苹果和Google的优势不仅在于他们拥有自己的操作系统，从而开发者可以建立大量的AR应用，他们还有Facebook无可比拟的制造硬件产品的成功经验。Facebook没有任何制造设备的经验，因此在硬件方面还需要更多的努力。

“Facebook的相机平台将在长期内给开发者和市场人员带来更广泛的用户，但Facebook的限制在于它无法控制硬件。”Forrester的分析师Thomas Husson说，“真正完美的AR体验要求软件和硬件的结合。”

当Facebook、Google和苹果在智能手机上奋战时，微软已将焦点放在了商务用户的可穿戴的设备上。2016年，微软启动了Hololens，一款价值3000美元的类似于护目镜的设备。Hololens运行的操作系统名为Windows Mixed Reality，可供其他VR和AR硬件厂商使用。但是，距离AR设备真正被大众市场广泛接受可能还需要很多年。

尽管Facebook自己没有操作系统或下一代AR设备（尽管他们也在努力尝试），但他们拥有得天独厚的优势。首先，在众多社交媒体或聊天软件（如Snap、Kakao、Line、微信）中Facebook的用户群最大。（数据表示人们自定义AR效果的兴趣很大。）其次，Facebook拥有全世界最大的计算机视觉团队，能够创造比后来者更强大的功能。即使Facebook自己的AR硬件不被广泛接受，未来几年内Facebook依然是最大的AR生态环境之一。

广告业的发展趋势

去年7月，迄今为止最热门的HBO电视剧“权力的游戏”第七季结束的那个周末，世界各地的粉丝纷纷在社交媒体上分享对人物命运的反响与不平。除了以往的状态更新外，这次出现了一种更加令人瞩目的帖子，这种帖子迅速蔓延，最后超过100万人在Facebook上创建了自己的视频剪辑，随着号角声、变声器和雪花飘落的背景，视频中的角色逐渐变成一个可怕的，冰冷的蓝眼睛的夜王。随着角色咆哮或歌唱，面部跟踪动态贴纸根据人脸进行实时调整，这种视频剪辑通过新闻和短信发送到朋友圈。

这种动态贴纸的变革力量并不是唯一的转折点。这个动态贴纸是由HBO制作的，而不是Facebook（并在左上角标注了“GOT”的标志）。它很快成为Facebook上最成功的AR广告活动之一，这也表明了高质量的AR效果可以成为人们选择发送给朋友的广告。正如夜王动态贴纸一样，对许多营销者来说AR是一种引人注目的方式，因为它提供的新方法可以让用户花更长时间在智能手机上。Facebook正在努力通过鼓励用户与朋友玩游戏或发动画自拍为基础，构建AR营销活动的默认平台。

图：HBO权力的游戏的动态贴纸，超过100万的用户曾在Facebook上使用。

HBO数字媒体和营销总监Emily Giannusa告诉福布斯：“权力的游戏的粉丝每天都渴望能够参与其中。而Facebook相机的平台吸引了我们，因为它是一个简单而又非常成熟的途径，所有影迷所只需一部手机，就可以融入权力的游戏的世界。”

现在大约只有5％的营销人员在使用AR技术。然而，根据Forrester最近的一项研究，17％的营销人员计划在今年使用该技术，且在未来三年内与相比VR，AR更能赢得营销人员的关注。

Forrester的Husson指出，虽然对于高端品牌来说VR体验更加合理，但是目前更多的市场营销可以通过尝试AR获益。

“探索的阶段”

随着AR从智能手机扩展到可穿戴设备，它可能成为一项永不停机的技术，增强人类的感觉，并成为日常必备的搜索框的替代品，根据人们的位置、兴趣和社交网络提供定制的服务。但消费者对AR的应用才刚刚开始。在接下来的几年内，科技巨头会忙于改进核心技术并为智能手机建立AR，就像Facebook专注于自己的强项——聊天软件和个人体验——。不久，AR很可能会让Facebook和新闻源呈现完全不同的形式——更加投入，更多视频，更多交互，尽管目前还不清楚具体会怎样。

Facebook需要继续改善其AI，使其更快、更精确。例如，在识别视频中的物体时要能理解不同角度观察时物体的像素化方式，以便映射场景中物体的关系。为了在长期内获得包括开发者在内的更广泛的用户，Facebook需要让AR功能兼容于更弱的手机网络和更老的手机。

“我们依然处于最原始的探索阶段，我们还在建立最基础的技术。”Facebook的Candela说，“所以我更注重执行力。同时，我们需要做好准备探索更疯狂的项目。”

据Schroepfer说，Facebook同时在硬件方面“大量投资”以支持AR并建立更多的社交工具。除了保证Facebook的领先地位之外，改善底层AI还有其他的好处，例如通过更好的视觉识别和语言识别工具打击垃圾信息和有问题的内容，还可以改进游戏和机器人等。

Candela说，“AR存在的意义很容易被误解成就是创建太空猫贴纸。根据我们的社交基础设施和技术，很难想象它还能有什么其他应用。但我很确信，这会打开一扇我们完全没有想过的门。AR将带来完全不同的社交体验，人们可以在里面找到自我。”

原文：https://www.forbes.com/sites/kathleenchaykowski/2018/03/08/inside-facebooks-bet-on-an-augmented-reality-future/#53b1cb344d56

作者：Kathleen Chaykowski

译者：马晶慧

责编：言则