Alluxio 与金山云达成合作,携手优化存算分离与湖仓一体架构

image.png

image.png
近日,全球首创的超大规模分布式数据编排软件开发商 Alluxio 与金山云达成合作,双方将共同探索数据编排技术在存算分离与湖仓一体等大数据应用趋势下的产品集成方案和实践场景,助力企业客户开展更为灵活及高效的大数据业务,以实现数据收益最大化。

image.png
在大数据生态系统中,Alluxio 数据编排技术产品基于存储、计算分离架构,通过提供新的数据抽象层,将上层大数据计算框架 (如 Presto、Spark、TensorFlow )与各种底层存储系统(如对象存储、HDFS、Ceph)连接起来,可支持金山云中湖仓数据的访问,从而使得所有上层数据应用的性能得到极大提升。Alluxio 的核心功能主要包括:分布式缓存(用来将数据本地化)、主流 API 兼容(能够兼容大数据分析和 AI/ML 框架)、全局命名空间(实现统一数据孤岛),支持金山云中湖仓数据的访问,从而使得所有上层数据应用的性能得到极大提升。

image.png
当前企业的数据分散在湖和仓中,而湖仓一体方案可以打通湖与仓,尤其是在需要融合数据湖中的数据与数据仓库中的数据进行分析的场景中,进而提升数据流动能力。金山云湖仓一体产品解决方案,提供数据湖底座、湖仓统一元数据管理、流批一体低代码开发、湖仓统一查询分析等全方面的湖仓开发管控服务,支持云原生、存算分离、 DataOps 等先进的技术特性,具有统一、可靠、高效、开放等产品优势,结合 Alluxio 的数据编排平台,将能更好地帮助客户实现数据湖、离线数仓、实时数仓、一站式数据开发等湖仓一体细分场景。

image.png

“很高兴看到 Alluxio 与金山云大数据领域进行的深度技术合作和探索,Alluxio 与金山云在湖仓一体、存算分离等技术领域的共同解决方案具备行业前瞻性。此次 Alluxio 与金山云的合作,将共同帮助企业能够更为灵活、高效、经济地访问在各种存储系统中被孤立的数据,从而让数据业务释放更多价值。希望双方在将来相应的细分场景,例如:金融、医疗、政府、泛互联网等领域中,携手共进,持续打造行业标杆案例。”

image.png

“进入大数据时代,Alluxio 作为全球首创且备受青睐的云原生数据编排平台,一直致力于为企业构建数据与计算之间的快速通道,让数据资源得到更加充分和高效的利用。很高兴 Alluxio 能与金山云携手,结合双方在数据编排和湖仓一体等领域的技术创新与落地方案,共同助力企业充分释放其在数据分析、人工智能/机器学习等业务上的潜能,为加速数字化转型,获得市场领先保驾护航。”


存算分离、湖仓一体等技术已成为大数据市场关注度较高并且开始逐步采用的热点技术。Alluxio 将携手金山云将各自的产品和技术特点,进行优势互补,持续探索在创新架构下,如何统一编排 HDFS、对象存储等湖仓存储系统中的数据,如何提升离线计算、流计算、统一查询分析、数据挖掘等应用场景的数据访问性能。目前我们已经在一些行业展开深度合作,并逐步应用到湖仓一体和存算分离的实际场景中。

image.png


Alluxio
Alluxio系统(原名Tachyon)是全球首个分布式超大规模数据编排系统,孵化于加州大学伯克利分校AMP实验室...

Alluxio系统(原名Tachyon)是全球首个分布式超大规模数据编排系统,孵化于加州大学伯克利分校AMP实验室...

36 声望
10 粉丝
0 条评论
推荐阅读
Alluxio跨集群同步机制的设计与实现
Alluxio 位于存储和计算层之间,在不同的底层文件系统(UFS)上层提供高性能缓存和统一的命名空间。虽然通过 Alluxio 对 UFS 进行更新可使 Alluxio 与 UFS 保持一致,但在某些情况下, 例如在运行多个共享某一个或...

Alluxio阅读 130

封面图
SegmentFault 思否宣布将接入百度「文心一言」,提升开发者获取知识的效率
作为中国领先的新一代开发者社区,我们以「凝聚集体智慧,推动技术进步」为使命,长期关注前沿技术发展及产业应用。2023 年 2 月 11 日,ChatGPT for SegmentFault 浏览器插件上线,SegmentFault 成为了国内首个...

SegmentFault思否11阅读 3.1k评论 1

对 ChatGPT 做一次技术面试(ChatGPT 没能通过)
问:对一个系统的描述如下:系统中有大量注册用户,用户可以关注其他用户。用户可以发布消息,消息包含发布者、发布时间和可见性。消息的可见性可以是公开、不公开或仅对关注自己的用户可见。请设计这个系统的数...

捏造的信仰7阅读 1.6k评论 1

封面图
超详细的ChatGPT注册教程来了
最近一周,大家都在讨论ChatGPT,一些主流的技术社区更是将ChatGPT吹的神乎其技,那ChatGPT是什么呢?又能给我们带来哪些变化呢?。带着这些问题,我打算先注册并使用 ChatGPT,供想要体验 ChatGPT 的小伙伴们参考。

xiangzhihong3阅读 2.8k评论 3

使用 🧨 Diffusers 实现 ControlNet 高速推理
自从 Stable Diffusion 风靡全球以来,人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法,能够允许用户在很大程度上自定义生成过程。通过 ControlNet,用户可以轻松地使用...

HuggingFace3阅读 1.2k

封面图
Light·技术公益创造营,开营了!
第三届腾讯Light·技术公益创造营(简称“腾讯Light”),围绕数字时代下“未成年人心理健康”、“老年人用网安全”、“生物多样性保护”三大议题,号召社会各界人士打造技术公益多元解决方案,以共同解决更多的社会公共议...

SegmentFault思否3阅读 11.3k

搭个ChatGPT算法模型,从哪开始?
最近 ChatGPT 很火,火到了各行各业。记得去年更多的还是码农最新体验后拿它搜代码,现在各行各业都进来体验,问它咋理财、怎么写报告和给小孩起名。😂 也因此让小傅哥在头条的一篇关于 ChatGPT 的文章都有了26万...

小傅哥6阅读 1.2k

封面图

Alluxio系统(原名Tachyon)是全球首个分布式超大规模数据编排系统,孵化于加州大学伯克利分校AMP实验室...

36 声望
10 粉丝
宣传栏