AR在公共安全及应急指挥中的应用

点击观看大咖分享

抗击疫情，腾讯云在行动。AR（增强现实）技术正在成为新一代基础设施建设中的重要组成部分。营销、教育、娱乐、会展等行业已大量使用AR技术提升用户体验，获得更好的传播效果。制造业也正陆续采用AR技术应用于设备巡检、操作指导和远程协助等场景，提升效率、降低出错率。美军一直重视AR技术在军事上的应用。计算机视觉技术+移动互联网通讯技术+人机交互，在公共安全领域也有着广泛的应用场景。

本次腾讯云大学大咖分享课程邀请 腾讯云最具价值专家TVP 韩磊 分享关于“AR在公共安全及应急指挥中的应用”课程的内容。

作者简介：韩磊 腾讯云最具价值专家（TVP）广州亮风台信息科技有限公司总经理。新媒体和社区运营专家，技术图书作、译者。 2001年创办CoDelphi.com网站。 2003年加入CSDN，历任网络总监、副总经理、总编辑等职。 2010年加入广东21世纪传媒集团，历任信息中心CTO、新媒体事业部总经理、新媒体中心CTO等职。 2017年起担任亮风台广州公司总经理。 拥有美国Borland公司“Delphi产品专家”称号。和刘韧合著有《网络媒体教程》，与戴飞合译有《Beginning C# Objects：对象到代码》，译有《梦断代码》、《C#编程风格》、《代码整洁之道》等。

本次分享内容：

1、AR的历史与概念
2、AR在工业、营销等领域的应用
3、AR在公共安全方面的应用
4、从事AR研发所需能力模型

一、AR的历史与概念

1、AR的概念

简单的看看什么是AR，增强现实。我们来看一个视频（点击观看大咖分享）。这段视频来自蜘蛛侠衍生电影里的一幕。故事说年轻的蜘蛛侠带上了钢铁侠给他的衣服眼镜这个眼镜上头装载了一套叫伊迪丝的系统。该系统可以调用全球的属于这个大集团的军事力量来进行共析。这算是一部科幻片，但这一幕场景很正确的讲清楚了AR的概念。可以看到场景里蜘蛛侠带上眼镜后，可以透过眼镜看到人的身份，可以看到人们在通讯网络里面的交流。甚至到后面的场景，可以调用无人机的攻击手段去作战。这看起来很科幻，但其实它真的是切实了AR本质的东西。

AR的本质原理和VR是不一样，VR是完全制造一个沉浸式的虚拟的世界，AR是在真实世界里叠加虚拟的数字化的内容。那么在AR的生成过程中，首先有一个摄像机获取真实世界的视频画面，通过计算机的运算识别它，再做一些叠加的操作。最后通过渲染引擎重新呈现出来。实际上，在我们眼前看到的AR这个非常科幻的画面，它是一个合成的视频画面。

整个流程里有输入、输出、计算三个环节，有很多可用的设备。

在输入的部分，可以用手机摄像头、AR眼镜摄像头、其他PC摄像头等，以及非视觉的采集工具，如红外摄像头、深度摄像头、超声波摄像头。

所有这些视频或非视频的视觉画面，获取后通过一些计算，主要包括两大部分：

第一部分是识别人脸、识别手势、识别人的动作，比方说一个人从A点到B站中间的轨迹，或者识别整个空间是怎样构成的。经过运算之后，可以说某种意义上，理解了要计算的对象，他的形象、动作、意图。

第二部分计算是在识别对象的画面上叠加什么样的数字信息，包括了渲染的环节在内。

渲染完成后是输出，是我们可以用手机屏幕、眼镜屏幕、其他屏幕看得到的。在刚才的视频片段里，我们可以明确的看到蜘蛛侠在钢铁侠的眼镜里看见了输出的画面。但在其他的场景里，可以用其他的设备，比方说用手机有摄像头，有计算能力，也有输出。我们常常看到的一个超链接使用手机QQ的AR扫一扫，扫描某个图像可以添加视频出来或者叠加一个3D模型，微信现在也支持AR，可以用手机尝试。

看看下图眼镜形态，手机的形态，大家都很熟悉了，眼镜可能不见得每一个朋友都亲自体验过。大家不用看具体指标，我们就简单看一看指标的类型，最重要看，在左边有一个系统上面看到是安卓7.0，那么综合Cpu和综合他的系统以及包括其他的参数，可以那么说，AR眼镜几乎就是一台安卓手机。只不过它把输入输出这部分，做了一些分解。

那么大家在屏幕上看到的这框眼镜的，它是属于分体式的眼镜，AR眼镜有两个形态，一个是一体式的就是把Cpu内存电池所有的运算单元和其他的操作单元都集成在眼镜端，特点是比较酷，但是会比较重。另一个是分体式，把电池cpu内存等硬盘单元放到一个手持端，通过一条线，和眼镜端连接。

那么常常有一些合作伙伴问我们就说买你们眼镜或者说打算在眼镜上做开发要具备什么样的能力，给什么样的SDK或开发文档。我们常常会告诉它其实在没有调用我们特有的一些接口情况下，你如果想在AR眼镜上做开发，很多时候你只需要具备一个安卓手机开发的能力就可以。

综上所述，我们认为的是增强现实，这个技术，是由计算机视觉和人机交互两个大的部分组成的。往往我们在谈论增强现实的时候会过多的重视计算机视觉，而忽略了人机交互。没有人机交互，其实增强现实就不成立，为什么呢。 因为我们对现实的增强是要给人来用的，是为了提供人更多的能力，看得见更多东西的能力和做更多操作的能力而存在。

所以你判断一个增强现实产品到底好不好，除了说我们在例如这个识别人脸上面，很强大的算法外。还要看它和人的交互有没有达到一个比较好的标准。

2、AR的历史

回顾增强现实的历史，来看看硬件方面。在1960年左右的世界上已经出现了第一台增强现实的设备叫sensorama。它是实验室的一个设备。它可以让使用者透过屏幕看到一个立体几何的图形。

在1960年出现这个设备之后的几十年里，一直有不同的一些设备出来，有很多人在不同领域做尝试，比方在艺术、传媒、电视直播等做尝试。

但要到1992年，才有人真正把增强现实这个词带到世界上，这就是波音公司的工程师托马斯考戴尔，他和他的同事发表的一篇论文，就是讨论增强现实技术是如何应用在飞机的装备过程。

那为什么会有这个话题呢，因为一台波音飞机或者民用客机的装备都是非常复杂的，有成千上万条线束要对接，对错一个飞机是要出问题的。不管是用纸质或者电子的说明书，进行装配操作的指引，往往还是会导致错误。

托马斯就设想如果让工程师带上一个头戴式的眼镜，透过眼镜去看要装备的对象，跟着眼镜上头出现的指引，这让工程师是可以正确的装配飞机的线束，这就变得非常的高效率和准确。他把这样一种技术叫Augmented Reality就是增强现实，要到1992年这个词才真正的出现。

下图是大家比较熟悉的一个东西，2014年谷歌推出一款智能眼镜，或者说是一台智能眼镜的早期的形态。他是现在术语叫单幕的，也就是单个镜片，还有一个摄像头，它的整个机体主要的部分就是这两个东西，当然里头还有一个运算单元、电池。除了这两个东西之外，大家看到的墨镜部分，其实没有起太大的实质作用。

这样一个产品，在2015年就被谷歌放弃了。当然它涉及到的研究的很多技术用在了谷歌其他的一些产品上，到现在也有类似这种形态的产品，但主要不是面向消费者的，而是面向工业市场的。

当时，Google Glasses出来之后确实也在业界引起了一阵热潮。2015年，我们亮风台也发布了一款眼镜，为什么特别讲这件事儿呢，不是说亮风台有多么先进，是拿亮风台眼镜来做例子来说明，其实中国在AR眼镜上没有落后于世界多大的距离，包括亮风台在内的一系列的国产厂商在大概一五年到现在，有在推出不同的头戴式的AR设备，和国外的伙伴友商一样，大概是在一个水平线上，这一点还是挺让我们AR从业者自豪的。

反而我们看到国外的一些厂商吹牛吹得太大，大家可能有所印象，曾经放过一个视频是可以让人裸眼看到真实体育馆里一条鲸鱼从地面上飞起来，但最后证实视频是后期制作。现在业界技术并没有达到那么高的一个水准。

在软件方面的发展情况。把AR软件，简单分成两部分，一个是应用，一个是SDK。

应用部分不多说，市面上有很多，大家可能最有印象的是一款游戏叫Pokemon go精灵宝可梦。面向消费者市场的这个应用软件，先抛开不说。接下来讲SDK方面，也就是我们开发者能够拿来做自己应用的一些软件。

最早的AR SDK是1999年一个日本人和他同事一块推出的叫ARToolKit。这一套套件目前仍然是有很多人在使用，它是开放源代码的。如果大家上网去搜的话可以下载到和使用它。这是一个划时代的产品，因为开发者不用从头去做一切事情，可以用一个套件集成到自己的应用就可以。让你的应用具备比方说识别二维图像的能力，并在上面去叠加数字内容的能力。

1999年有一个套件是以Inter为首的一个联盟做的OpenCV。CV是computer verion计算机视觉，OpenCV顾名思义，它是一个开放性的套间库。迄今为止，它已经成为某种意义上的业界的一个小的标准。很多开发者也在用它做自己的应用，也包括了很多研究者也在用它做一些科研方面工作。

2015年，我们亮风台也发布了一个HIAR SDK，在网上我们官网上可以下得到，如果大家有兴趣的话可以下载试一试。我就不多介绍了，这个和其他的一些SDK也没太大区别。

对业界来说具有一个标志性意义的是2017年苹果发布Apple ARKit，和18年谷歌发布ARCore，这两个AR SDK为什么说有一个大的意义呢，因为这两个套件的发布意味着巨头进入到这个市场。也就是说，这个市场开始从最早期的探索阶段，进入到一个市场化的阶段，一个规模市场的阶段，因为我认为这件事具有一个标志性的意义。

而的确，在18年之后，Facebook包括国内的很多平台厂商也进入到AR市场，整个市场的规模在扩大，但就整个从市场的发展趋势来讲的话，目前AR市场还是处于一个非常早期的阶段。

曾经有一个风口在16年吧，但是在1819年呢，又经历一个下降，是大家认为好像AR的实用性不是很强。这是很正常的，任何一个技术他都有从人们不了解到追捧，到后来在实实在在的去看待他，最后跟自己的行业去结合，然后找到他的实际的应用方式。这是有个过程。当然这个过程说起来一句话就讲完了，对于我们的AR这个行业的厂商是非常不容易的。

亮风台从2012年开始创立这家公司，到现在为止，中间九死一生，如果大家有兴趣可以去看一看我们的这个发展过程。中间的确有那么两三个关口，差点熬不过去，但是我们在那时候用肯尼迪这句话来鼓励自己，这是在当年美国人第一次登月的时候，他发表的公开演讲，他说我们选择在这个十年去登月，还有一些其他的事情，不是因为这些事简单，是因为他们很难。

我觉得it的从业者或者说任何一个行业的从业者，要有这样的一个挑战的精神。人活着不就得吵架，为了折腾，尤其是我们干软件行业干程序员的，不折腾，实在是太没意义了。

我们再来看一段视频（点击观看大咖分享）刚才看了两个视频，一个科幻的一个现实的。

3、AR的核心价值是什么。

AR到底给我们带来什么，是单纯好玩儿还是真的有些价值呢，我们认为AR的核心的价值，还是要赋能于人，像刚才讲到的一样，AR是关注人机交互的，而我们认为人和机器在未来的这个世界里头一定是共同进化。而不是说无人的一些先进设备，机器人能完全替代人，我们认为这是这是一个遥远的未来，也许永远不可能实现，人的创造性和机器或计算机的智能性结合起来，能够获得更大的一些能力。具体来说就是让人看见原本看不见的，比方说深度学习，那深度信息人脸是模拟出来的，不是真正的是精确的信息，那么看懂原来看不懂的，对方说给某件事物一个说明贴在上面说明书数字化的，能够做一个原来做不到的东西。当然这句话讲起来的点抽象来往下去看一些行业的例子就可以理解。

二、AR在工业、营销等领域的应用

1、AR在工业上面的一些典型应用

工业这个概念很大，但是我们可以聚焦在制造业吧，制造业会比较精确一点，那么在AR行业里头对这个问题有一些统一的认识，那么AR在制造业主要用在哪几个场景呢

第一个是操作指导。就像刚才我们提到的波音公司使用AR眼镜帮助工程师做线束的，这个对接或者说做一些装配的工作，那么基于一些识别技术，然后让工人能够按图索骥得做维修操作或者装备的操作。

第二个是远程协作。在通过AR眼镜，一线的工程师和远端专家可以实时的沟通，获得一些指引。

第三个是设备的巡检，是当你在巡检某些设备或者产生的过程中，通过物联网的传感器或者计算机视觉的检测结果。那么在AR眼镜上直接可以看得到某个机器，他是怎么坏法，他的哪个地方可能出问题了，刚才那个视频里面可能有朋友会会比较留意一下，有一个下水道的那么几个镜头。那是我们做的一个跟物联网结合的应用，就是城市的管理人员戴上眼镜在路上巡查的时候好像能够看到地面下管道的运行状况，比方水的状况，那么他怎么会看得到呢，好像能看得到一样的。就是因为我们从物联网的传感器获得了很多的信息，通过AR眼镜上的一些技术能够呈现出来。就像给地面装上了一个X光机一样。

刚才讲了一些抽象的描述，来看看这个事情，这是使用者佩戴一个AR眼镜去看一台飞机发动机模型。在眼镜里头看到的画面，可以看到中间的飞机发动机是真实的是一个3D打印出来的模型。那么上面的飞机涡轮风扇发动机旁边有一些产品介绍等都是数字化的内容。我可以点击任何一个位置，可以看到比方说某一个配件的装配方法。这些都是通过数字化的手段叠加创造的。那么大家可以看到就是所有的这些视频内容、文字类东西、图片，它是相对于这个飞机发动机模型位置固定的，这说明什么呢，这说明我们的AR眼镜已经识别到了该发动机以及在一个数字空间里头建立了坐标系，虚拟坐标系和现实的坐标系，能够融合到一起。那么就可以实现对实物进行标注。

一个具体应用的例子。在广州有一个厂商叫做施耐德是外资公司，施耐德的母线工厂。那么它每年不断地为国内外的客户生产非标准的设备就是每一台的生产出来的产品都是这都是定制的。那因为每一个产品都是定制的，那客户常常需要在远端，需要飞到这个生产的母线工厂过来看一看生产线有没有按照他的要求来进行生产。那这个过程是非常耗费时间和金钱的。施耐德使用的AR眼镜和远程协作的工具。那这边的工程师戴上眼镜。远端的客户，不管他在欧洲、美国也好，就能够看到工程师看到的画面也通过标注等等这样的一些手段让一线的工程师了解客户需要他做什么，比方说凑近看某一个零件的制造，或者对一些参数进行更改。那么这个方案实施后，这个客户就不再需要飞到中国飞到广州来，这是一个远程协作的具体的应用。

那么可能有的朋友会问你这就是一个视频通话吗，跟AR有什么关系，还就大家回顾一下刚才看到的那个飞机发动机的视频。在工程师佩戴眼镜去看母线设备生产过程中，一些辅助性的信息也会实时的标在视野当中帮助客户去理解，目前正在运行的生产过程。也帮助工程师去做装备的操作、巡检的操作。

2、AR在营销领域的一个应用

这个可能也是比较贴近大家生活的。

1. 包装识别。如果各位留意过一些市场营销案例的话，就可以看到比方说用某一个手机的应用， QQ、微信扫描商品包装。那么在扫描的界面上就会看到说叠加的一些视频动画。然后你可以领券，可以跳到一个网店链接，那么完成营销的闭环，这是最常见大家最常见最能够用的到的应用。
2. 使用说明书。就像刚才我们用眼睛去观察一个飞机发动机一样，也有使用手机的应用去观察汽车的中控仪表盘或使用说明。我常常在外面跟人交流的时候就问了，现场有多少朋友开车的。第二个问题，在所有开车的朋友里头有多少人懂得怎么去换轮胎。往往答案都是很有趣的，就是大多数的司机是不懂换轮胎或者没有换过轮胎的，那么当他需要换轮胎的时候怎么办，甚至很多人找不到千斤顶，应该放在什么位置。而如果你使用说明书AR说明书的一种应用的方法，用手机打开应用去看车身就可以在车上的某一个具体位置去标出来，告诉你应该在什么地方塞上千斤顶。那么我还有一个新生的体验，有一年我出去玩，在当地租了一个车，突然就进了一个隧道，在高速公路上，然后我找不到那个车的大灯怎么开。其实可能有朋友会笑话，但是确实是，如果你没有开过足够多的车型的话，不同厂商的不同的车型，那个大灯的开关是不一样的，在比方说有一些中控仪表上的图标，我们也常常一头雾水，如果用这个AR的手段可以帮助使用者去了解汽车的使用方法。
3. 物联网体验。

第一个是所谓的扫描商品包装。 那么这个游戏玩法的就是用某一个移动的应用工具打开摄像头去扫描奥利奥饼干的包装或者扫描奥利奥饼干本身，那么就会在奥利奥上头去叠加一些这个小游戏玩完之后呢，可以得到一些奖品。

第二个就是刚才提到的汽车说明书，这个画面是手机的截屏，其实用手机去看汽车的仪表盘的时候我们去看到近光灯已开启冷却液温度表 这两个是叠加的心理信息，而当地移动手机时，这个信息是相对固定在该在的位置那么就帮助人们更好地去使用汽车。

第三个本来是一个视频，但是我截了个图。在这个画面的稍微靠左一点是一台空调。那么大家可以看到在空调外头好像有一些淡蓝色的半透明的东西，这个是虚拟叠加在上头的表示空调的范围。那么在这个应用里面，们可以通过一个手机的应用，看到空调的风是怎么样流动的，当然风我们可以感受到，但平常人肯定看不到，通过这个应用可以看到风的流动。同时我们通过在空调上面装一个小的摄像头和一些芯片模组。那么就可以实现风不吹到人的身上，或者说你要求风一定要吹到人身上，当人移动的时候风避开你或者吹到你。这都是在营销上的这些应用。

三、AR在公共安全方面的应用

公共安全是一个大的话题，不光指公安局也包括了其他一些跟安全有关的行业。那么在公安这个部分的话常见的有几类的应用，

1、是跟识别有关的，就是人的识别和车牌的识别，对身份进行核查。那么这个基于对人脸的检测和识别，图像处理了文字识别等技术。那么采集到信息后，跟一些信息库中预置的数据来做比对分析反馈结果。这是大家应该都很熟悉的了，人脸识别，现在也被说的神乎其神。

2、指挥调度，方便指挥中心和前线人员可以实现一个基于数字地图和实景相结合的双向沟通，那么掌握现场的情况来部署作战方针。

3、跟无人机结合的应用。这个我们还没有见到很多，但是亮风台现在做了很深入的一些合作，把无人机和AR结合。那么将无人机录制回来的画面来做一些计算机视觉的处理也是用在指挥调度的方面。

应用的案例：

1、第一个应用就是在昆明机场，如果你们去到昆明长水机场可以留意一下。有的时候你会看到一些巡逻的民警佩戴了一个很酷的眼镜，那么他在机场范围之内巡逻。那么这套系统在公安那边叫云眼智识，它用来干什么的呢

• 有前线的警员配AR眼镜去获取现场的这个人员或者车牌的信息，那么同时调用云南数千万的人脸库来进行这个嫌疑人或者防控人员的具体的信息来指导公安现场做一些措施。
• 实时的画面可以回传到。指挥中心，指挥中心可以就一些突发事件做立刻的指挥而不再需要对讲机这样一个异步的手段。

这个系统上线后，在去年的四月份到七月份三个月的时间里头，这个数据是公安在内部总结的时候讲的，这三个月里就是通过AR去帮助公安人员抓到冒用伪造证件的200多人。有一些在逃的通缉人员，也抓到涉毒26个人、黑恶势力7人。在交通枢纽我们常常看到一些卖假货或者拉客的人。这些人其实他们都是有在一个重点处置库里的。但不是说每一个民警都认识这些人，那么我们用AR眼镜也帮助民警去。处置了这个卖假表、假香水、乞讨的400多人次。一些非法的拉客人员有800多人也得到现场的合适的处置。

2、第二个应用是在广州天河公安的一个无人机的指挥调度系统。画面上的图呢，是我们从这个现场应用上面截下来的，但是因为分辨率不是很够就是我放大之后分辨率降低了，可能看的不是很清楚，这是在广州天河区如果熟悉广州的朋友可以看到中间是中信广场。左边是另外的一些这个地标建筑。那么这个画面说明什么呢，当无人机飞在空中的时候，它的摄像头画面被实施的去做识别和处理，那么叠加了一些信息，比方说中信广场。如果你是对广州特别熟的人，要到非常熟的一个程度，你才有可能，当你的视角到了空中，你还能够看得出来什么地方是什么地方，就算特别熟的人也要经过一段时间的思考，但是如果是用计算机视觉的手段，无人机飞上去画面有出现中信广场，他就直接把中信广场标出来了，这是一条什么路，这是体育中心、林和西、林和东全都给你标得一清二楚，那么这个的好处呢，就是帮助后端的指挥人员，也包括飞鼠在内去立刻知道无人机的位置和朝向以及下头的一些需要重点关注的目标物、目标建筑。

下图是无人机的第二个应用场景，大家可以看到在画面上有一些拱形的红褐色的标志。这是什么标志呢，这个是在指挥中心的指挥人员在无人机常规的画面上头去绘制路线，那么这路线就是指挥现场警员你要按这条路线去巡逻或者说按这条路线你能够更快地接近目标，现场的警员检验佩戴AR眼镜也可以看到无人机的画面以及画面上的指引。

下图大家看到有一些小的红的圆圈带一个小箭头，有两个是在画面的中间和稍微偏右一点。这是什么意思呢，就无人机在天上往下看的时候，指挥中心的领导可以知道警力部署是怎样的，下面的小红圈，其实就是那个警员所在的位置。这个的好处是说如果领导不在现场，你是很难知道每个人的位置，可能通过对讲机告诉你，我在某个地方，但是你还得去跟地图做一个对应，但是有了无人机上一种自动识别的手段之后，随身佩戴VR眼镜或者其他的设备的警员，它的位置信息，可以和合适无人机的捕获画面很好的结合在一起，你立刻就知道坐哪里有几个警员。实现更高效的调用警力去处置突发事件的目的。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-flljOkHs-1583487144855)(https://ask.qcloudimg.com/dra...)]

下图是后台的这个指挥中的画面，看到中间和旁边都是无人机的画面，一个是比较大视野的另外一个是特写画面。泰和湾区利用这个天地一体的无人机防控系统能够更好地进行警员的指挥调度处置突发事件以及包括对一些大型群众活动的现场的安全防控都起了很大的一个作用。

这套系统目前在其他的一些地方也有应用，公共安全的一个领域是比方说消防前阵我们去和某地的这个公安消防系统的交流。他们就告诉我们说刚刚这里发生过一场大的森林山火，要很多扑救人员过去做扑救的操作。但即便领导在现场你也很难知道哪一个小队的人在哪一个位置，而且你也不容易实时的了解到整个山火的范围是怎样的。以往的做法会派一个直升机或者无人机，然后把画面传过来，大家再去辨别这是哪儿，然后范围多大，我的人都是哪些，他们在什么位置。而上了这一套无人机的系统之后，因为每一个扑救人的位置，我们都是确定知道的看得到的。可以帮助指挥员做更好的调度指挥第一个是高效扑灭，第二个能够帮助指挥员指挥现场人员避开危险。

3、还有一个是更加有趣了，这个偏民用，但是实际上让我们也把它归到一个公共安全的一个领域。我们大家都坐过飞机，但可能不太留意得到，我们的行李是怎么装上去怎么卸下来的，但是我相信大家一定遇到过就是行旅被野蛮装卸摔坏了的情况，还有在某一些机场也常常发生旅客的行李被偷窃的情况，他不是说整个包拎走，而是从包里偷走了一个小的东西。这个投诉率特别高。那么在贵阳机场呢，他们就很有探索意识，就和我们商量能不能用一套系统来避免这些问题 那我们就给他装备了一套叫做透明装卸的监管系统。

这个系统就是机场搬运工在工作的时候，就会用一个头戴式的摄像头，大家可以在画面上看到这个朋友他的这个耳朵上有一个设备，这是一个头戴式的具备通信能力的摄像头。会把搬运工的操作全程以第一人称的视角记录下来，实时的回传到后端指挥中心。那么当每个人的操作都被记录的时候就没有人敢乱来了很简单的一个小应用。但是确实也给当地的机场带了很大的帮助，那么它和AR的关系是什么呢，同样我们使用的AR远程通讯技术，那么在现场除了佩戴摄像头的搬运工，还有佩戴AR眼镜的监装监卸人员也是航空公司的人，那他也可以实时的接收后台的指引，告诉他某一些货物应该让现场怎么装，怎么卸，那么有效的减少的暴力作业、行李丢失的情况。

应急管理中的AR应用

可能大家平时接触不多，但实际上是我们保障社会硬性的一个很重要的一个部门体系。应急管理分作两个场景一个是平时，第二个就是战时，不是战争的战，是应急管理方很多突发事件的处置对他们来说是一场战斗。

1、在平时很多的时候也是防区的巡查、安全监管、安全培训，比方说消防，我们在公司都有消防设备隔一段时间会有消防系统或者应急系统的人来做检查，那个消防栓在不在安全门有没有堵住，这都是巡查，这个过程当中，如果使用AR眼镜或者说头戴式的一些设备，再加上随身的手机。那么就可以帮助巡查人员自动的识别检查，监管的场景，那么在做安全培训的时候也可以通过我们刚才讲的远程协作系统，帮助这个受限人员去理解一件事应该怎么做什么操作应该做。

2、在发生突发事件的时，也说战时，也像刚才一样就可以把指挥调度系统用在应急管理的场景里面去，像消防就是应急管理。再比方说现在我们的肺炎疫情，这是一个应急管理里头很重要的场景就是当发生突发的重大公共安全卫生事件的时候。社区、卫生系统、公安系统的人全都到每一个地方去，你怎么知道每一个终端是怎么样工作的呢。我们看到在一些事件里也有工作人员或管理人员因为处置不力，甚至说你根本就没有在那个岗位就上报在这个岗位，导致了很多悲剧，而这些管理人员的也受到处罚。那如果我们把指挥调度这样的AR应用给他们装备上后就不会有人在偷懒，整个过程能够得到一个取证，那么在后端的指挥人也能看到每一个末端发生的事情来辅助他们进行决策。

应急管理尤其是在疫情发生的情况下，AR还有一个特别AR的应用就是和大家熟悉的计算机视觉有关的，就是AR眼镜测温。测温这件事我相信现在每个人都很熟悉了，你到一个出入口就会有人拿一个测温枪，对着你的头去测一下，但是用测温枪是一个很危险的，为什么呢，因为检测人员和受测人员离得太近了。这个本身有感染的风险，但是如果带上AR眼镜和一个红外的模块装上之后呢，那么离这个受测人员三米开外你又一眼就看得出来谁的额头的温度大概达到一个什么样这危险程度是不是超出允许的范围。

当然如果熟悉测温技术的伙伴会说这个东西到底精不精确呢，可以这么说，在相对固定环境下相对固定的位置下，经过调教之后还是能够达到一个正负0.3度的范畴。相对于近距离测温的风险来讲，这个误差度还是可以接受的，或者说可以起码帮助管理人员或者检测人员，做一个初步的筛查。这个我们和医生也做过一些咨询，这是一个目前简单的AR的应急管理的应用吧，

除了测温之外，在园区管控也会用到，比方说我们现在公司现在所在园区，就会对出入口进行测温管控，基本上不允许外面的人进去，但是园区都有成千上万人，那么巡逻人员怎么知道谁是园区的人呢，当然也是通过AR眼镜在巡逻过程中就可以对人脸做识别。

四、从事AR研发所需能力模型

我们来看一看，如果你想从事AR行业那作为一个软件技术人员，你需要具备哪些能力呢。

首先我们要了解AR这个技术。它是由哪些部分的构成的，有哪些层面，当然最下面的IaaS的平台，包括这个在网上面点通信基础平台可能。大多数AR的从业人员不会太接触到，基本上我们也是用运营商或平台厂商的一些基础设施，咱们需要往上面看通讯数据包括引擎和应用。也就是从DaaS到PaaS的层面都是需要各个方面的软件技术人员来参与的。咱们先不说硬件的问题硬件它又是相对专业的一个行了，需要这个结构工程师、工业设计。包括很多的其他的一些行当，我们先不说，单说软件。

（1） 算法

如果你是一个有对算法有兴趣，或者本身专业是做算法的，那么大概你就能知道下图中这一行的什么意思。不是专业做算法的这个朋友，我觉得也可以去了解一下，起码知道说计算机是怎么去对物体进行检测和识别的，常常在AR里用到的算法，当然没有完全列出来，常见的像人脸识别肢体的识别、运动跟踪、目标的检测、语义识别、交互理解、图形渲染、空间标志等，这是个跟算法有关的。我相信今天几百个在座的朋友里真正做算法的，不会是多数就包括在我们公司最将近200个人里头也不过是十来号人是专门做算法的，更多的是做应用开发的伙伴。

（2）移动端开发

如果你想做AR的移动端开发的，基础就是有安卓和ios的开发基本上就够了。在这基础上，因为AR是有关于在真实世界的场景上头叠加虚拟内容的一个技术，而这个虚拟内容实现一个虚实结合的人机体验。那么常常我们会用到3D模型，最常见的业界最广泛使用的3D的套件就是Unity，各个厂商都有服务Unity的SDK， SDK整合Unity就可以方便地进行3D应用的API开发。再深入一点，你就得需要对这个开发工具进行改进，比方说，我们用Unreal或者用其他的一些这个有源代码的工具的时候你就会改进他的一些渲染的能力，或者说让它的渲染引擎更加小，一个套件的渲染部分3D渲染部分不算原来有几十兆，如果你有对源代码进行改造的能力的话，有可能把它缩成几兆大装到大脚装在移动应用里头就会是非常大的一个差距。

（3）Web AR

现在很新的一个东西是Web AR，就是基于网页的AR，那么在微信新的版本里也开始支持了。当然，微信没有提供这个关于识别和渲染的这方面的完整SDK，还是需要调用第三方的AR能力，具体来说是AR的云的能力他把一个通过微信的小程序里面获取到摄像机的画面之后呢，上传到云端，从云端得到一个识别结果再叠加你需要的效果。你要从事Web AR的话，脚本语言肯定是要知道的了，还有关于通信一些知识等，学习也是需要的。总的来说，在应用端做AR开发不是一件特别高精尖的技术。但里头有很多的小的坑，只有在长期的开发过程中也才可以发现，在当然这种情况的和任何一个其他的技术也都一样了，你开发东西都是会遇到这样的情况。

(4)云平台与网络通讯。

因为现在AR的识别能力，有的在客户端做，有的是在云端做，就会出现一个云端应用的开发能力的问题，那如果你要想从事这方面的工作的话，当然你要做一些具备企业级云端应用开发能力的准备工作。所谓企业级指的还不是QQ这样的一个面向数亿人的在线使用这样一种企业，而是指的面向企业的2B的应用的企业级，比方说同时有数万的访问就已经很多手机已经够用了，第二个是企业级的通讯软件的开发能力，这个要求会比较高，因为它涉及到一些基础的通讯的技术，这个就不展开讲了。

​

五、Q&A

Q：我经常要给一些数据中心做BCM方案，里面会有巡查环节，是否能在巡查和事件初步评估和紧急应急措施的时候用一些AR技术？老师有什么建议？

A：这个就是非常典型的一个技术应用的场景，那刚才讲过在在这个工业的场景里头。设备的巡检会是特别重要的一种使用的方法，那么在这个过程里面，我们往往会用。有可能用三种手段来做。

第一种手段的用AR眼镜就是佩戴眼镜进行巡查，然后你眼镜当中出现的机器的运行的状况，可能通过这个视觉识别的方法，或者通过物联网传感器的方法来获得它运行的状况。那么在眼镜的视野里做一个标注告诉你。比方说这个设备的温度是多少，他是不是运行有问题了等等，这个是AR眼镜。

第二个你还可以用手机来做，刚才有朋友说AR眼镜是很贵，对，很多时候，我手机都是每个人都有的，这个眼镜能做到的手机也能做到，只是没有那么科幻而已，但是他的实用性能更强。

第三个，是用PC的摄像头加屏幕再加一个电脑也可以做。很像我们曾经给一个变电站做过的东西就变电站里头有很多叫做压板开关柜就很多的开关。那么这个开关柜里头呢，一个开关柜有数十个开关，一个机房有上百个开关柜。每一个开关柜都要在正确的位置上。这就是一个典型的巡查的场景。那么以往的他需要人去逐个开关，看是不是在正确的位置上。那么我们给他们开发了一个小推车，说白了就是摄像头加电脑在家屏幕是一体式的。那么小推车顺着走廊推过去摄像头看到所有的压板开关柜之后就可以通过计算机识别告诉你哪一个开关是错误的，放在错误的位置，这个就是典型的应用。另外一个跟这个技术就是远程协助就是你在巡检的过程中一线的人员不一定具备很高级的技术的能力是吧，那么这个时候呢，可能需要远程专家或者厂商的专家的知识，及时通过一个通讯的实时通讯的能力，让专家看到你看到的画面以及在画面上做标注帮助你去解决线下的问题。

---

【本周直播日历】

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-guLuH4x5-1583487144875)(https://ask.qcloudimg.com/dra...)]

问卷

为了给广大开发者提供最实用、最热门前沿、最干货的视频教程，请让我们听到你的需要，感谢您的时间！点击填写 问卷

添加学习君TcloudM加入交流群

腾讯云大学是腾讯云旗下面向云生态用户的一站式学习成长平台。腾讯云大学大咖分享每周邀请内部技术大咖，为你提供免费、专业、行业最新技术动态分享。