行业专家就DataOps在2024年将如何发展以及对IT和业务的影响进行了预测,本文为预测的第二部分,第一部分内容请参考《2024年DataOps趋势预测: AI不会取代数据工程师》

预测性分析

基于直觉做出决策已经成为过去,因为组织充分意识到分析的力量可以做出数据驱动的决策,这一点在嵌入式分析的软件平台数量上得到了验证。2024年,分析将无所不在,因为我们对数据的依赖性已经延伸到了一切,从日常业务研究,如库存和采购,到能够让企业预见未来的预测性分析。预测性分析将通过帮助企业做出知情、数据驱动的决策,提高生产力,增加销售/收入,推动企业向前发展,而不仅仅是对已经发生的事件做出反应。

Casey Ciniello

Infragistics公司Reveal和Slingshot高级产品经理

边缘分析

当行业尝试克服由互联设备数据爆炸性增长和人工智能进步所带来的挑战,边缘分析将成为一种变革性的力量。数据创建的方式不同,因此处理的方式不能千篇一律。边缘分析在本地(在边缘)处理数据,以便快速过滤和保留关键信息,获得实时的更深入的决策。在未来几年,这个解决方案将成为所有行业的一个必不可少的部分。该行业已经在迅速增长,根据Allied Market Research的预测,边缘分析市场将在2030年达到474亿美元,因此企业要想保存竞争优势,采用边缘分析至关重要。医疗保健、制造业和运输业等行业已经从边缘分析中受益,很快它对于所有希望获得预测性维护、降低成本、提高运营改进和实时见解的行业来说都是必需的。边缘分析市场也将随之蓬勃发展,推出许多兼容的解决方案,为所有企业的独特需求和用例提供量身定制的选择。

Dia Ali

Hitachi Vantara数据智能全球解决方案负责人

决策智能

2024年,企业面临的最大挑战之一将是把大量的原始数据转化为能够指导决策的有意义的见解,这些决策可能会导致公司成功或失败。从见解到决策智能的转变标志着组织利用数据原始力量的方式将进入一个新时代。随着企业获得技能、采用新工具,最重要的是,拥抱数据驱动的思维方式,我们逐渐看到了向决策智能的转变。通过决策智能的帮助,组织将能够通过整合数据、技术和人类专业知识做出更有效、高效和负责任的决策。随着数据继续塑造未来,决策智能仍然是成功的关键。

Casey Ciniello

Infragistics公司Reveal和Slingshot高级产品经理

第一方数据

2024年,无论你是试图将数据输入到LLM中,还是仅仅想在第三方Cookie折旧之前,能够提前安全地访问和利用第一方数据,这将对企业如何接触其客户以及构建智能功能和自动化工作流程至关重要。事实上,组织正坐拥着用户收件箱中的大量非结构化客户数据。与其把钱花在不稳定的第三方或外包机器学习模型上,公司可以简单地转向内部数据,试着把第一方数据分析并转化为正向的业务成果。

Christine Spang

Nylas公司联合创始人兼CTO

数据布局

数据的爆炸和复杂性促进了ML和AI驱动的数据布局。数据布局将在未来4.0行业中至关重要,预计在2024年及以后将用于进行数据复杂性、管理和自动化。数据布局将让推进GDPR合规性、数据掩码和其他措施更加容易。到2024年,预计25%的数据管理供应商将提供完整的数据布局框架,而今天这个比例为5%(Gartner)。

Avishai Sharlin

Amdocs Technology总经理

数据湖

尽管一些公司可能选择收集更少的数据,但不断增加的监管要求意味着大多数团队别无选择,只能用更少的数据做更多事情。由于大家都在寻找效益更高的手段来存储价值并不确定的数据,越来越多的公司正在重新思考数据湖。数据湖一度被认为是非结构化数据的最终归宿,我预计到2024年数据湖的迁移将加速,这得益于不断增加的存储成本,数据湖和对象存储中的查询能力的提高,以及数据导入难度的降低。随着能够快速且具低成本地搜索大型数据存储,公司将开始将数据湖作为其数据的第一站,而不是最终目的地。这将导致大量数据从分析平台和热存储中转移到数据湖。

Nick Heudecker

Cribl公司市场战略和竞品情报高级总监

数据溯源

2024年,数字领域的处理能力和AI能力将呈现指数级增长。为建立数据溯源,对不可变审计跟踪和长期数据完整性的需求将大幅增加。在过去的12个月里,我们看到了通用AI的爆发,最终暴露了一个巨大的数据溯源问题。2024年将是数据溯源变得比以往任何时候都更重要的一年,这对于AI的安全性至关重要。由于信任是数字世界的燃料,企业必须优先考虑透明度、安全性、溯源和责任。不可变的审计跟踪不仅为数据提供了一个缺失的保护措施,而且为其流程中的每一个事件和交易提供了可验证的历史记录,确保在日益相互连接和数据驱动的环境中的信任和可靠性。随着通用AI的兴起,对溯源的需求只会随着AI能力的加速而增加。数据溯源是每个人都需要的关键技术。但我们不需要提供1000种不同的长期完整性以提供溯源元数据的方法。明年我们将看到支持互联网所需的开放和可互操作方法的标准出现。在IETF(互联网工程任务组)和ISO(国际标准化组织)等组织以及内容真实性倡议等正在为提供这些功能奠定基础,预计将在公司得到广泛采用和应用。

Rusty Cumpston

DataTrails CEO

数据治理左移

随着企业为生成性人工智能收集更多的数据,数据治理将“向左移动”。当企业为其人工智能计划收集更多的数据时,他们必须增加一个治理层,让数据变得有用。在收集数据时添加治理会让事情变得更简单、更有效率,明年我们将看到数据治理向左移动,以适应这种需求。治理投资至关重要,因为它们确保数据可靠性,并可以快速用于应用程序中。这种治理包括记录数据的来源,确保其准确性,添加元数据以便更容易处理,并将其包含在目录中,让团队知道它是可用的。将非结构化和无治理的数据存储在数据湖中使得保存所有数据变得更加容易,但随着这些数据的使用,成本也在逐步增加。公司必须更聪明地运作,并尽可能向左移动。这会带来几个好处。较早添加治理意味着数据可以更快地可用,因此开发人员可以使用更新及时的数据。这也让组织及早抛弃未来没有价值的数据,从而减少存储成本和责任。到2024年,更多公司将认识到这些好处,并更早地应用数据治理。

Andrew Sellers

Confluent技术战略负责人
本文由 白鲸开源科技 提供发布支持!


SeaTunnel
65 声望15 粉丝

Apache SeaTunnel是下一代高性能、分布式、海量数据集成框架。通过我们的努力让数据同步更简单,更高效,大幅减少学习成本,加快分布式数据处理能力在生产环境落地。