2021 年要寻找的 6 种现代数据堆栈趋势

来源：TechRepublic
作者：乔纳森·格雷格

---

TechRepublic 与数十位专家进行了交谈，他们说，有兴趣对自己的数据做更多工作的公司的数量正不断增加。

随着公司和组织寻找更多的方法来保持领先，并识别过去的错误，数据几乎已经成为每个企业的主战场。

TechRepublic采访了行业领袖和专家，他们讨论了关于2021年将出现的与现代数据堆栈相关的六个话题和想法。

谷歌云数据分析副总裁Debanjan Saha回忆说："当互联网大革命发生时，我是一名网络工程师，我觉得自己真的很幸运，能够身处这场云和数据革命之中。"

萨哈补充道："我认为明年和未来五年将看到由数据革命推动的数字化转型。" 他提出，财富500强或标普500强公司的平均寿命越来越短，因为企业的发展和更新速度比以往任何时候都快。"适应和改变的唯一方法是使用数据，并利用预测模型和AI/ML观察周围的角落。这些因素区分了新数字经济中的赢家和输家。"

Forrester副总裁兼首席分析师Michele Goetz表示，数据管理正在从分析第一的战略向基于结果的战略转变，这意味着数据现在是动态的、流式的，并通过流程和机器学习模型进行编排。

"Forrester认为，数据堆栈将超越数据结构延伸到数据网络。数据管理将是集中化和超本地化的，以创造当下的智能和体验，"Goetz说。"解决方案架构越来越依赖于跨生态系统和功能集合的消息传递、网关、API和微服务。蜂群智能和智慧城市用例就是这样的例子。网络架构成为明天的数据架构。"

数据栈的民主化

数据整合公司Fivetran的首席执行官George Fraser表示，最近的数据管理简化浪潮是一个非常重要的趋势，将持续到2021年。

他解释说，就在五年前，像Netflix这样有兴趣更好地管理大量数据的公司必须做大量的繁重工作，雇佣数据工程师军团，并投资数百万美元用于令人印象深刻的开源技术。

如今，很多事情都可以通过订阅某个高端数据仓库来完成。

"数据管理越来越容易了。技术往往会反其道而行之，变得更加复杂。但我们看到的是一种优胜劣汰，我认为这很重要，是一件好事。基础组件的成本已经下降了很多，但人们利用数据做得更多也是事实。"他说。

"几个分析师就能完成五年前Netflix需要投资1000万美元的事情，这很酷。这让那些不那么复杂的公司和那些不在沿海地区，也不在雇佣最狂热的团队和最好的LinkedIn资料的公司都能获得。更像是凡人也能做这些事情，这是件好事。"

公司迁移到云并拥抱多云

数据集成公司Xplenty的首席执行官Donal Tobin表示，越来越多的大公司对云计算表现出兴趣，尤其是分析等方面。

"我们看到的是，公司们对多种云也有兴趣。拥有在任何一个大型云玩家内旋转你的平台的能力，正在成为越来越多的要求，"Tobin说。"客户希望这样，他们不喜欢被捆绑在任何一个解决方案中的那个或一个平台的想法。"

EnterpriseDB首席技术官Marc Linster解释说，全行业都在向云计算转变，因为云计算可以快速灵活地调整容量，并减少冗长的供应周期以及前期的许可证投资。作为数字化转型战略的一部分，灵活调整容量以适应需求的能力是快速响应的关键。

来自谷歌云的Saha表示，初创企业和数字原生公司是最早采用Cloud的，但随着进入2021年，更多的传统企业正在采用云平台。

"人们已经开始讨厌数据中心，因为很烧钱，他们觉得云在安全、隐私和数据治理上有更多的投资"他说

不幸的是，冠状病毒大流行使每个行业的企业别无选择，只能使用数字系统和云平台来满足需求。

萨哈说：“它从根本上加快了这一数字化转型的挑战，我认为，不管人们有什么犹豫，我们都远远超过了这一点。”

谷歌支持的数据分析公司Looker的首席分析官Colin Zima说，许多客户要求公司能够使用许多不同类型的数据集和云提供商。

但是，除了地区法规之外，大多数公司只是对将数据保存在多个地方感兴趣。

“您不能将所有内容都放在一个地方，因为您需要备份并且需要冗余。因此，即使在Looker上，在被Google收购之前，我们在Amazon、Google和Microsoft拥有其他备份，一种互连正在变得正常，” Zima说。

Netdata的高级机器学习工程师Andy Maguire说，真正需要的是一个可以跨越多个云的联合数据湖。

“例如，如果您将点击流数据存储在Google BigQuery之类的文件中，并且您的核心生产应用和日志都存储在Amazon Web Services（AWS）中，那么就网络入口和出口而言，集中所有数据可能过于昂贵。无论是Google Cloud Platform（GCP）还是AWS或在某些供应商的平台上。取而代之的是，我们需要学习承受多云的复杂性以及如何最佳地进行导航。”

探索数据的预测价值

没有数据背景的企业越来越意识到，它对于预测性行动很有用。

Gartner 的高级研究总监Joe Maguire表示，到2020年以及肯定会在2021年，没有内部AI / ML技能组的企业将从供应商产品中嵌入的AI / ML功能中受益。

“在应用程序部署过程中，将数据，数据科学和ML管道保持一致，对于在基于AI的解决方案中持续交付和持续集成定期增强的ML模型至关重要。这需要利用DataOps，MLOps和Platform Ops for AI来扩展AI架构。因此，用于AI的AI编排平台正在兴起。”

Google Cloud的Saha表示，这不只是查看上一季度或上周的数据，并试图找出过去发生的情况。

他说：“这是关于查看即将到来的事件流并实时采取行动的。” “拥有实时分析将非常重要。人们对转角处和预测将要发生的事情非常感兴趣。如果您能比其他人更快地从数据中获得价值并创造出真正的差异化价值，那就是人们的原因。对预测分析和预测模型非常感兴趣。”

越来越多地使用人工智能和机器学习

BMC Software的首席产品官Ali Siddiqui指出，现代数据堆栈未来的关键要素将是包含AI / ML驱动的智能和预测分析功能，这些功能将利用广泛的历史和实时数据。

他说，在IT运营管理领域，这涉及到分析数据，包括指标，事件，日志，拓扑，事件和更改，并且需要开放的平台并且可以集成来自众多工具和技术的数据。还需要使用本地数据中心基础架构和应用程序中的数据以及多种云资产来支持混合客户。

Siddiqui说：“随着企业发展成为自主的数字企业，它不仅仅是从数据分析中获得更多见解，而且还越来越涉及可操作性，并能够采取自动化措施。”

“面对一年的不可预测性，企业在使技术堆栈可靠无误和主动性方面必须期望出乎意料。我们将看到对AIOps的需求持续增长，因为它可以使用AI解决和预测这些意想不到的情况， ML和预测分析。”

Saha谈到Google Cloud时说，注入AI和机器学习已成为一切的一部分。这些工具通过执行自动扩展，自动修复，自动优化等功能而广泛用于管理基础结构。

他说：“普通企业用户，人们使用AI / ML做非凡的事情的方式，将改变企业未来的运营方式。”他补充说，谷歌正在寻找进一步使人工智能和机器学习民主化的方法，以便那些没有数据背景的人可以通过简单的电子表格进行访问。

“明年还将有更多的增强分析，您将看到越来越多的AI和机器学习被集成到人们自然的业务工作流程中。现代的BI是关于在数据资产之上创建数据API，然后进行集成您的仪表板，您的工作就会流入业务应用程序。”

Zima表示，对AI和机器学习的兴趣已经显示出希望，并将在2021年变得更加广泛。

“我们开始看到人们实际上在构建这些数据产品以供内部使用。我们与几个流服务一起工作，其中一个构建了数据产品，而我之所以使用这种产品，通常是因为它实际上是工作表下面的仪表板，但是您实际上，就像在流服务中一样，浏览标题。因此，它具有产品所有徽标的图标，并且具有触摸功能，但是您可以单击并钻取以获取有关其的指标。”

“他们正在提供类似产品的体验，并且我看到它的发生越来越多。构建这类东西的成本更高。但是我认为，越来越多的人会看到为内部使用而构建的数据产品。”

有关锁定数据的担忧

一些专家表示担心，到2021年，数据中的一些知名人士将开始将其数据锁定在竞争对手平台之外。

“我一直以来最担心的是人们正在使用越来越多的这些SaaS工具。一般的公司都有大量的SaaS工具，并且所有这些工具都已锁定了数据。因此Salesforce拥有一些销售数据，但是Slack拥有聊天数据，您就会拥有所有持有数据集的系统。” Zima说。

“我最大的担心是，这些服务将开始尝试更多地锁定其数据。Salesforce刚刚购买了Slack，而他们拥有了Tableau。而且我始终害怕数据将无法用于其他产品或服务。 ”

OutSystems的首席营销官罗布森·格里夫（Robson Grieve）回应了这些担忧，并表示，因为SaaS应用程序适合所有人，并且不允许任何形式的差异化或定制化，所以我们可能会看到一波具有前瞻性的公司，它们正在采用更现代的应用程序平台方法-将这个过时的模型抛在后面，以构建自己的应用程序，从而真正实现差异化并在此过程中节省大量资金。

但是尽管这种担心是真实的，但其他专家表示，客户担心被某些供应商所困，将迫使他们保持数据公开程度。

Actian产品营销高级总监Lewis Carr表示：“试图成为所有基础数​​据和云数据仓库需求的一站式商店的分析工具也将迎接挑战，因为客户将对供应商锁定保持警惕。” “要使现代数据堆栈正常工作，必须对所有原始源，分析和可视化目标位置开放。”

数据堆栈的安全需求

几乎每个行业都有网络安全评估，数据管理也不例外。来自Google Cloud的Saha表示，越来越多的客户要求后期在数据的各个不同部分建立统一的端到端数据治理结构。

数据集成公司Xplenty的首席执行官Donal Tobin说，公司“实质上是在您的数据仓库中制造一个定时炸弹。” 他说，客户正在寻求有关数据安全性的更多信息，以至于像Xplenty这样的公司现在都在强调其加密功能，以确保客户的数据安全。

他说：“我认为，这是人们看到的最大变化之一，就是人们才刚刚意识到这一点，就像过去的三，三个月到六个月一样。”

原文：https://www.techrepublic.com/article/6-modern-data-stack-trends-to-look-for-in-2021/