image.png
为了满足当下和未来的需求,很多公司不断升级数据平台并开发可扩展的解决方案。从现有的实践来看,虽然Presto具有处理海量数据的能力,但其在跨工作流的数据访问方面优化不足。因此,数据平台工程师还需要寻找其他的方案来解决数据冗余、易出错、性能缓慢、不稳定和高成本的问题。

为了解决这些挑战,我们提出了一个创新架构,建议搭配部署Presto和Alluxio。
image.png
Alluxio是一个数据编排平台,连接计算框架和底层存储系统的。Presto和Alluxio的协同工作可实现统一、强大、高性能、低延迟和低成本的分析架构。该架构不仅有利于分析,而且有利于数据工作流各阶段的工作,包括数据导入、分析和建模。这个架构支持跨本地、公有云、混合云和多云环境中的多个存储系统进行快速 SQL 查询。

全球众多公司已经利用Alluxio来升级其当前的Presto平台,包括Facebook、TikTok、美国艺电(Electronic Arts)、沃尔玛、腾讯、康卡斯特(Comcast)等。他们把Alluxio 集成到Presto技术栈中,实现了很多益处。以下将介绍为何以及如何搭配使用Presto+Alluxio。

image.png
image.png

image.png

image.png


Alluxio
34 声望14 粉丝

Alluxio系统(原名Tachyon)是全球首个分布式超大规模数据编排系统,孵化于加州大学伯克利分校AMP实验室。自项目开源以来,已有超过来自300多个组织机构的1200多位贡献者参与开发。Alluxio能够在跨集群、跨区域、...