【月度文章集锦】2020年11-12月亚马逊云科技人工智能精华内容一文速览

欢天喜地迎来2021年，你的各种大目标、小目标都该开始实施了吧。今年你打算学习哪些新知识？又打算在项目中应用哪些新技术呢？大步前进的同时，别忘了回顾一下之前的干货知识点，没准也能带给你一些启发。

2020年11月和12月，我们照惯例与大家分享了大量有关Amazon AI、机器学习、深度学习等内容的技术文章，现在就一起来回顾一下吧。

机器学习

众多亚马逊云科技 (Amazon Web Services）客户已经开始利用Amazon Lex机器人在电话及其他多种渠道上增强Amazon Connect自助服务的对话体验。借助Amazon Lex，呼叫方能够快速获取问题的答案，几乎不需要人工客服的介入。但这同时也给服务可用性提出了更高的要求，因此引发了新的问题：我们该使用哪种架构模式提升机器人可用性？其实我们可以通过一种跨区域方法，在多个区域中部署Amazon Lex机器人以提高服务可用性。详细方法请参阅：机器人客服你见得多了，不过高可用的机器人你会造吗？

在使用机器学习技术进行预测时，最麻烦的问题莫过于数据缺失导致的预测结果不准确。但如果你的预测系统使用了Amazon Forecast，那就简单了，利用该服务自带的缺失补全功能，数据问题迎刃而解。本文将使用Forecast GitHub repo中的Notebook示例，向大家展示为相关及目标时间序列（TTS）数据集进行缺失值补全的功能。敬请阅读：数值缺失的情况下如何进行机器学习预测？Amazon Forecast帮你来补全。

Amazon SageMaker提供了一套全托管式解决方案，可用于构建、训练以及部署各种机器学习（ML）模型。在本文中，我们将演示如何使用 Amazon SageMaker Processing Jobs配合开源项目Papermill执行Jupyter Notebook。Amazon SageMaker与Amazon CloudWatch、Amazon Lambda以及整个亚马逊云科技栈的结合，向我们提供了实时和按计划扩展作业所需模块化骨干。欢迎阅读：「工具人」何必彻夜守候，SageMaker帮你灵活调度Notebook。

欺诈用户与恶意账户每年可能给企业造成数十亿美元的营收损失。尽管不少企业已经在使用基于规则的筛选器防止系统中存在的各类恶意活动，但这类筛选器往往相当脆弱，而且无法捕捉到全部恶意行为。本文介绍了如何使用Amazon SageMaker与Deep Graph Library（DGL）训练GNN模型，进而检测恶意用户或欺诈事务。详见：面对「不讲武德」的骗子，我们这样对付Ta。

一般来说，开发出来的ML模型还需要不断地完善才能提供让人满意的结果。然而在很多场景，例如在电子商务应用等多种实际环境中，单靠离线评估并不足以保证模型质量，我们需要在生产期间对模型进行A/B测试，并据此做出模型更新决策。借助Amazon SageMaker，大家可以在端点之上运行多个生产模型变体，轻松对ML模型执行A/B测试。这些生产模型变体可以分别对应由不同训练数据集、算法以及ML框架训练而成的ML模型，再配合不同的云实例类型，即可建立起多种测试因素组合。具体做法请参阅：软件开发领域常用的A/B测试，也能用给ML模型啦。

Amazon SageMaker已经在全球各服务区域预装R内核。此项功能开箱即用，同时预安装有reticulate库。该库负责为Amazon SageMaker Python SDK提供R接口，允许大家直接从R脚本中调用Python模块。本文将介绍如何在Amazon SageMaker内置的R内核之上创建自定义R环境（内核），以及如何在会话之间实现环境持久化。此外还将介绍如何在R环境中安装新的软件包，如何在Amazon Simple Storage Service（Amazon S3）上保存这套新环境，以及如何使用它通过Amazon SageMaker生命周期配置创建新的Amazon SageMaker实例。详见：在SageMaker上玩转R环境，这些必会技巧你知道几个？

深度学习

尝试过的童鞋都知道，要想玩转深度学习，尤其是模型的训练，可得准备好性能足够强的电脑。CPU倒是无所谓，但GPU，越多越好，越快越好。可就算你不差钱，装备了最高端的AI专用GPU计算卡，面对复杂的模型，训练起来依然要花大量时间等等等等……老板和客户都等着你快点出结果，怎么提高训练速度？多找几台电脑，进行分布式训练吧，效果杠杠滴！具体怎么做？多征用几台电脑，今天我们一起玩玩多GPU分布式训练的深度学习。

GPU能够显著加快深度学习的训练速度，有望将训练周期由几个星期缩短至数小时。但要全面发挥GPU资源的强大性能，还需要考量很多问题。本文将重点介绍在Amazon SageMaker上进行训练时，能够切实提高I/O以优化GPU性能的通用型技术。这些技术方法具有良好的普适性，不对基础设施或深度学习框架本身做出任何要求。通过优化I/O处理例程，整个GPU训练中的性能提升最多可提升至10倍水平。敬请阅读：深度学习训练如何更快些？GPU性能的I/O优化你试过吗？

人工智能

有时候我们可能很难找到合适的词汇来描述自己想要寻找的东西。而正如俗语所言：「一图抵千言」，一般来说，展示真实示例或者图像，对于目标的表达效果确实要比纯文字描述好上不少。这一点，在使用搜索引擎查找所需内容时显得尤其突出。其实类似的能力在很多应用中都有，不过你是否想过自己该如何实现？如何快速上手从零开始构建一款视觉图像搜索应用程序，并且让其中包含用于提供视觉搜索结果的全栈Web应用程序？敬请阅读：「视觉搜索」，看似神奇，亲自试试其实没那么难。

卷积神经网络（CNN）的运作机制如同黑匣子，如果无法理解预测的推理过程，我们很可能在使用时遭遇问题。同样的，在模型部署完成之后，与专门用于模型训练的数据相比，用于推理的数据可能遵循完全不同的数据分布。这种现象通常被称为数据漂移（Data drift），有可能导致模型预测错误。在这种情况下，理解并解释导致模型预测错误的原因就成了冲出迷雾的唯一希望。本文将部署一套用于交通标志分类的模型，并设置Amazon SageMaker Model Monitor以自动检测与预期不符的模型行为，例如始终较低的预测得分或者对某些图像类别的过度预测。详见：SageMaker Model Monitor与Debugger神助攻，理解卷积神经网络这个「黑匣子」。

数据科学家们试图使用监督学习技术解决问题时，通常需要在着手建模之前整理出高质量的标记数据集。这可是个辛苦活。好在Amazon SageMaker Ground Truth的出现让每个人都能针对多种不同的任务（例如文本分类与对象检测），轻松地获得自己需要的数据集。Ground Truth还能帮助大家为用户自定义的任务构建自定义数据集，对其中的任意内容做出标注。具体做法可参阅：Angular x Ground Truth，数据集标记作业从未能如此简单。

对数据科学家来说，R语言无异于一个利器，可以非常方便直观地解决大量与数据分析有关的挑战。这样一个神器与SageMaker的机器学习能力相结合又能产生多大的威力？目前，已经有不少亚马逊云科技客户开始将流行的开源统计计算与图形软件R全面引入大数据分析与数据科学领域。本文我们将了解如何在Amazon SageMaker notebook实例上使用R实现机器学习模型的训练、部署与预测结果检索。欢迎阅读：SageMaker支持R编程，数据科学家们，欢呼吧！

各行各业的组织都需要处理大量纸质文件，其中又以发票类票据居多。以往，对于包含表格、表单、段落以及复选框的各类扫描文档，我们往往很难从中提取出有效信息。虽然目前不少组织已经通过人工、自定义代码或者光学字符识别（OCR）等技术解决了信息提取难题，但其中仍然需要借助完善的表单提取与自定义工作流模板。此外，在从文档中提取到文本或其他形式的内容之后，用户还希望从收据或发票中帮助最终用户整理出更多深层洞见。但这又需要构建起复杂的自然语言处理（NLP）模型，模型的训练又要占用大量训练数据与计算资源。机器学习模型的构建与训练往往既昂贵、又极为耗时。本文将向大家介绍如何使用Amazon AI服务自动实现文本数据处理与洞见发现。借助Amazon AI服务，我们可以设置自动化无服务器解决方案以满足上述要求。详见：年底忙着整发票的财务人员，这个好东西你可一定要试试。

亚马逊云科技提供了一个名为Amazon Translate的机器翻译服务，支持全球各大主要语言的双向互译。除了把一种语言的文字内容复制粘贴到Amazon Translate中并翻译为指定的语言外，最近更新之后的Amazon Translate也开始支持对DOCX、PPTX以及XLSX格式的Office Open XML文档进行翻译。本文将介绍如何在亚马逊云科技管理控制台上翻译文档。详见：海外客户发来的文档到底在说啥？不懂就问，Amazon Translate告诉你答案。

案例分享

作为一家大型企业，思科旗下多个业务部门都在应用机器学习（ML）与人工智能（AI）技术。该公司中向CTO直接报告的思科AI团队主要负责在公司内部各业务部门中推广开源AI/ML最佳实践，同时也是Kubeflow开源项目与MLPerf/MLCommons的主要贡献者。该部门希望在机器学习领域开发出要同时供思科业务部门与客户使用的工件与最佳实践，并以参考架构的形式共享这些解决方案。那么他们是怎么做的？欢迎阅读：思科结合SageMaker与Kubeflow打造的混合机器学习工作流。

在机器学习领域，生成对抗网络（GAN）算法已经成为构建Deepfake的最流行算法。Deepfake算法所使用的底层技术，与电影及主机游戏中为我们带来逼真动画效果的方法完全相同。遗憾的是，恶意人士使用这些无辜的算法模糊了现实与虚假之间的区别。Deepfake视频的本质，在于使用人工智能操纵音频与视频，导致最终结果呈现出人物做出或说出了客观上并不存在的行为或语言。2019年10月，亚马逊云科技与Facebook、微软以及Patnership on AI共同组织了首届Deepfake检测挑战赛。他们是如何运用亚马逊云科技服务顺利举行本次活动的？敬请阅读：Amazon EC2助力Deepfake检测挑战赛。

面对激烈竞争，几乎每个零售商都在努力为客户提供量身定制的个性化体验。但在恰当的时间，通过恰当的渠道，将恰当的产品，以恰当的方式，推荐给恰当的客户…… 这真想做好谈何容易！来自美国底特律的初创公司StockX主要围绕运动鞋和街头潮牌服饰开展自己的业务，他们致力于通过独特的买卖双向报价革新现有电商销售模式。为了用更加个性化的体验吸引客户，他们经过广泛对比和评估，决定基于Amazon Personalize服务来打造自己的个性化推荐引擎。他们是如何实现这一切的？欢迎阅读：如何借助个性化推荐将客户整体参与度提高50%。