2019 Google 开发者大会上的这些 ARCore 更新，让 AR 技术更接地气

现在，越来越多的人致力于研究增强现实技术（Augmented Reality，AR）的现实应用。Google 在 2018 年 3 月推出的 ARCore 正是一个帮助开发者以更简单的方法和更强大的工具构建增强现实体验的平台。这一平台在过去一年中得到了飞速的发展，在刚刚过去的谷歌开发者大会上，ARCore 带着强大升级的新功能和全新应用案例亮相，成为大会上闪亮的明星。

△ 2019 年谷歌开发者大会

在2019年谷歌开发者大会开幕式的 Keynote 环节，Google 沉浸式计算领域发行与国际伙伴关系主管 Lucy Jin 介绍了 ARCore 在过去一年取得的进步。首先，ARCore 支持的设备数量实现了大跃迁：由 2018 年的 1.75 亿增加到了2019年的 4 亿多，已有数千个应用程序运用 ARCore 为用户提供 AR 体验，在中国市场也实现了蓬勃的发展。

△ Google ARCore 分会场演讲

在谷歌开发者大会的分会场，Google 中国 AR / VR 负责人熊子青介绍了 ARCore 的新近更新和应用实例，Google 技术布道师 Kai Zhou 则为开发者们带来了 ARCore 全新功能和开发技术的深度解析。错过现场没关系，下面来回顾一下大会当天的所有技术精华：

增强图像（Augmented Images）
开启虚拟场景

利用增强图像技术，ARCore 可以监测移动设备拍摄到的图像信息，并与预先设置的图像数据库中的 2D 图像匹配，在匹配成功之后，返回一个增强图像的可跟踪对象，由此获取该图像在现实空间中的大小，相对于相机的位置和角度等信息，进而触发一个预设的虚拟场景。

△ ARCore 增强图像功能

ARCore 提供的可跟踪对象的独特之处在于，当被检测图像与相机之间形成一个非常小的角度，甚至完全移动出相机视野外的时候仍然保持有效。此外，和2018年相比，增强图像的准确度增加了 30%，检测召回率加快了 15%，并能追踪多个图像和移动中的图像。

增强图像功能可加载丰富的虚拟层内容，由此，开发者可以构建能够响应特定 2D 图像（如产品包装或者电影海报）的 AR 应用，解锁许多图像互动的新玩法。例如，京东 AR 就运用 ARCore 制作了一款英文字卡游戏，通过手机相机，用户能看到每一个英文字母都有相对应的立体字型，用户通过滑动这些字母组成单词，来触发特定的 AR 场景。如下图所示，在拼出“CAR”后，这些字母便会变成一辆奔驰中的小汽车。

增强脸部（Augmented Faces）
带来手机镜头的无限可能

ARCore 的增强脸部 API 提供高精度的由 468 个点组成的密集 3D 脸部网格，可以用来进行细致的渲染，并跟踪人脸部的各种动作细节。运用这一功能，可以实现各种独特的面部 AR 效果，这些效果甚至可以随人脸的移动而移动。

△ ARCore 增强脸部功能

ARCore 成功运用机器学习实现了 3D 脸部的精准识别，摆脱了深度传感器的硬件限制，大幅提高了在低端设备上的兼容性。这让更多的开发者能最大化地利用手机摄像头的功能，带来更多有趣的应用。例如，作为 ARCore 增强脸部功能的第一个合作伙伴，美图将其应用于 BeautyPlus 和潮自拍这两款应用上，允许用户将各种 AR 特效应用于人脸，并开发出了足可乱真的虚拟脸妆功能。

HDR 环境光（Enviromental HDR Light）

为虚拟物体营造现实感

若想令虚拟物体显得更真实，一个很关键的地方就在于正确呈现其表面的光照和阴影。ARCore 新推出的 HDR 环境光功能，能直接提供 360 度全景的光照信息，并支持动态的光照变化，使得 AR 物体的光影能随光照而移动。

△ 不使用光照和反射与 HDR 光照下 AR 小火箭的对比

我们知道，手机摄像头的局限在于，拍照的动态范围有限，不足以模拟自然光照的范围；此外，其视角大约只能包括 360 全景环境 6% 的区域。那么 Google 是如何实现从小视角的 LDR 画面得到环境光 HDR 的呢？答案就在于下图所示的镜面小球。Google 的工作人员利用 3 个不同反射度的镜面小球制作了一个环境光支架，能反射出手机摄像头看不到的区域，根据 3 个小球呈现出来的图像，便可以获得高动态范围的光照信息。

△ 镜面小球支架

这里就产生了另一个问题——手机用户不可能随身携带这么一个支架，那么有没有办法不用实际的环境光支架，也能知道某一特定场景下的高动态范围光照信息呢？答案就是——人工智能！Google 利用在不同地方不同时间拍摄的 5 千万张（这一数量还在增加中）照片训练出了一个可以从普通手机相机拍摄的图片推测全 360 度 HRD 光照信息的神经网络模型，并且利用 TensorFlow Lite 将这一网络模型存储在移动平台，以实现手机上的实时计算。

为了让 HDR 环境光更好地为开发者所用，Google 提供了多个 API：

主平行光的光照方向和强度，适合模拟室外阳光光照、室内整体光照和投射阴影；
27 个球谐光照参数，实现对自然光的全局光照模拟；
16bit 浮点精确度的立方体贴图，能提供很好的移动光照和反射效果。

通过综合运用这些 API，开发者们可以得到真实的光照效果。这一技术现在已得到了广泛应用。

除这些新功能外，ARCore 的一些核心功能也得到了全面升级和更广泛的应用：在运动跟踪（Motion Tracking）方面，Google 改进了算法，令跟踪的稳定性增加了 30%，并增加错误反馈功能，开发者可以直接看到明确的错误原因；在平面检测（Plane Finding）方面，将第一次找到平面所需的时间，减少了 50%；相机现在则支持 AR 照片自动对焦，共享摄像头权限，以及前置相机镜头。

番外篇：在谷歌开发者大会现场体验

ARCore 的“魔力”

最后，让我们来重新游览一下谷歌开发者大会现场的 ARCore 展台，零距离感受 ARCore 的魔力。喝一杯最体现 AR 的技术路线咖啡，欣赏下潮流模特的时尚风，试玩一下 ARCore 的明星应用，开发者在展台上玩得不亦乐乎，也获取了更多开发灵感。

AR 教你打咖啡

摆在咖啡机上边的照片，可不止是个装饰。你只要对着这张照片“扫一扫”，便会触发一个 AR 场景。在增强图像技术的帮助下，这一 AR 场景能让你看到这台咖啡机的内部架构和工作流程，解锁美味咖啡诞生的奥妙。