image.png

image.png
近日,全球首创的超大规模分布式数据编排软件开发商 Alluxio 与金山云达成合作,双方将共同探索数据编排技术在存算分离与湖仓一体等大数据应用趋势下的产品集成方案和实践场景,助力企业客户开展更为灵活及高效的大数据业务,以实现数据收益最大化。

image.png
在大数据生态系统中,Alluxio 数据编排技术产品基于存储、计算分离架构,通过提供新的数据抽象层,将上层大数据计算框架 (如 Presto、Spark、TensorFlow )与各种底层存储系统(如对象存储、HDFS、Ceph)连接起来,可支持金山云中湖仓数据的访问,从而使得所有上层数据应用的性能得到极大提升。Alluxio 的核心功能主要包括:分布式缓存(用来将数据本地化)、主流 API 兼容(能够兼容大数据分析和 AI/ML 框架)、全局命名空间(实现统一数据孤岛),支持金山云中湖仓数据的访问,从而使得所有上层数据应用的性能得到极大提升。

image.png
当前企业的数据分散在湖和仓中,而湖仓一体方案可以打通湖与仓,尤其是在需要融合数据湖中的数据与数据仓库中的数据进行分析的场景中,进而提升数据流动能力。金山云湖仓一体产品解决方案,提供数据湖底座、湖仓统一元数据管理、流批一体低代码开发、湖仓统一查询分析等全方面的湖仓开发管控服务,支持云原生、存算分离、 DataOps 等先进的技术特性,具有统一、可靠、高效、开放等产品优势,结合 Alluxio 的数据编排平台,将能更好地帮助客户实现数据湖、离线数仓、实时数仓、一站式数据开发等湖仓一体细分场景。

image.png

“很高兴看到 Alluxio 与金山云大数据领域进行的深度技术合作和探索,Alluxio 与金山云在湖仓一体、存算分离等技术领域的共同解决方案具备行业前瞻性。此次 Alluxio 与金山云的合作,将共同帮助企业能够更为灵活、高效、经济地访问在各种存储系统中被孤立的数据,从而让数据业务释放更多价值。希望双方在将来相应的细分场景,例如:金融、医疗、政府、泛互联网等领域中,携手共进,持续打造行业标杆案例。”

image.png

“进入大数据时代,Alluxio 作为全球首创且备受青睐的云原生数据编排平台,一直致力于为企业构建数据与计算之间的快速通道,让数据资源得到更加充分和高效的利用。很高兴 Alluxio 能与金山云携手,结合双方在数据编排和湖仓一体等领域的技术创新与落地方案,共同助力企业充分释放其在数据分析、人工智能/机器学习等业务上的潜能,为加速数字化转型,获得市场领先保驾护航。”


存算分离、湖仓一体等技术已成为大数据市场关注度较高并且开始逐步采用的热点技术。Alluxio 将携手金山云将各自的产品和技术特点,进行优势互补,持续探索在创新架构下,如何统一编排 HDFS、对象存储等湖仓存储系统中的数据,如何提升离线计算、流计算、统一查询分析、数据挖掘等应用场景的数据访问性能。目前我们已经在一些行业展开深度合作,并逐步应用到湖仓一体和存算分离的实际场景中。

image.png


Alluxio
34 声望14 粉丝

Alluxio系统(原名Tachyon)是全球首个分布式超大规模数据编排系统,孵化于加州大学伯克利分校AMP实验室。自项目开源以来,已有超过来自300多个组织机构的1200多位贡献者参与开发。Alluxio能够在跨集群、跨区域、...