从“少林寺”毕业后,我当上了开源社区“区长”

2023-01-04
阅读 3 分钟
935
本期名人堂我们有幸邀请到了Alluxio创始成员兼开源社区副总裁范斌先生。范斌先生讲述了自己的求学、工作、加入开源社区的经历,以及对未来十年数据编排发展的展望,和对开发贡献者的一些建议。
封面图

从博士论文到被各大厂应用,Alluxio 如何走过 7 年创业路

2022-12-06
阅读 3 分钟
1.2k
今年 2 月,Alluxio 宣布以实现收入同比增长 3 倍的成绩结束了 2022 财年。“这个财年的业绩进一步表明了市场需要更好的方法来访问大规模分析和 AI/ML 应用程序中的数据,尤其是在分布式混合云和多云环境中。”Alluxio 创始人兼 CEO 李浩源表示。 
封面图

Alluxio 2.9新版发布 | 重塑架构,支持大规模多租户环境

2022-11-18
阅读 2 分钟
733
Alluxio 2.9 版本的主要新增功能包括:新增跨环境集群同步功能、增强Alluxio在Kubernetes上的可管理性、提高S3 API 安全性和用户体验。
封面图

Alluxio 源码完整解析 | 你不知道的开源数据编排系统(下篇)

2022-10-26
阅读 16 分钟
1.3k
本篇将在上篇的基础上,继续为大家讲述Alluxio中重点类详解,Alluxio中Block底层读写流程,Alluxio Client调用流程和 Alluxio内置的轻量级调度框架。
封面图

Alluxio 源码完整解析 | 你不知道的开源数据编排系统 (上篇)

2022-10-26
阅读 9 分钟
1.5k
目前数据湖已成为大数据领域的最新热门话题之一,而什么是数据湖,每家数据平台和云厂商都有自己的解读。整体来看,数据湖主要的能力优势是:集中式存储原始的、海量的、多来源的、多类型的数据,支持数据的快速加工及计算。相比于传统的数据仓库,数据湖对数据有更大的包容性,支持结构化/半结构化/非结构化数据,能快...
封面图

一站式全覆盖数据 I/O 平台 - Alluxio 与 Aunalytics 的完美结合

2022-10-26
阅读 2 分钟
1k
“Aunalytics云原生数据分析平台与Alluxio 的开源数据编排软件相结合,使客户能够进行跨所有数据源的统一访问,并驱动人工智能分析,产出更好的答案,获得竞争优势。”Aunalytics分析云首席技术官汤姆·帕诺佐
封面图

技术分享 | Presto性能对比测试:Kubernetes部署 VS 物理机部署

2022-10-11
阅读 7 分钟
1.7k
Presto是开源分布式SQL查询引擎,可以对从GB到PB级大小的数据源进行交互式分析查询。Presto支持Hive、Cassandra、关系型数据库甚至专有数据存储等多种数据源,允许跨源查询。(详见参考[1] )
封面图

Alluxio与北京大学计算机学院签署合作框架协议,推动产学研深度融合

2022-09-30
阅读 2 分钟
1.2k
此次Alluxio与北京大学计算机学院达成合作框架协议,双方将在学术研究、人才培养、联合实验室、开源社区共建等方面展开深入合作,并将成立“云原生数据编排服务系统联合实验室”。
封面图

Presto on Alluxio By Alluxio SDS 单节点搭建

2022-09-27
阅读 6 分钟
1.1k
急性子,想直接实操的,先绕过这个章节,直接看后边的实操步骤。把环境运行起来再看原理。Presto 的架构如下图所示,client 的请求,会递交给 Coordinator 进行处理,而元数据信息由 HiveMetaStore(HMS) 进行管理。那么表或分区的 location 信息,也在 HMS 中存放,因此,如果想把表或分区的数据放到其它存储系统里,则...
封面图

Alluxio Local Cache 监控指南 Alluxio Alluxio ​

2022-09-27
阅读 3 分钟
1.1k
随着云计算在基础设施领域的市场份额持续上升,主流数据分析引擎纷纷选择独立扩展存储、计算来适配云基础设施,并以此为云提供商降低成本。但是,存储计算分离也为查询延迟带来了新的挑战,因为当网络饱和时,通过网络扫描大量数据将受到 IO 限制。此外,元数据也面临远程网络来检索的性能问题。
封面图

技能速成!教你10分钟内在电脑上配置运行Hive Metastore和Presto

2022-09-27
阅读 4 分钟
1.3k
本教程将指导初学者在本地服务器上通过搭建Presto和Hive Metastore来查询S3上的数据。Presto是用于计划和执行查询的SQL引擎,S3为表分区文件提供存储服务,而Hive Metastore是为Presto访问表模式和位置信息提供catalog服务。本教程将展示如何一步一步安装并配置Presto和Hive MetaStore,从而查询存储在公有S3 bucket中的...
封面图

帮助 Meta 解决 Presto 中的数据孤岛问题

2022-09-27
阅读 6 分钟
897
Raptor 是用来支持 Meta(以前的 Facebook)中的一些关键交互式查询工作负载的 Presto 连接器(presto-raptor)。尽管 ICDE 2019 的论文 Presto:SQL on Everything([链接])中提到过这一特性,但它对于许多 Presto 用户来说仍然有些神秘,因为目前还没有关于此特性的可用文档。本文将介绍 Raptor 的历史,以及为什么 M...
封面图

InfoWorld文章丨将数据编排技术用于AI模型训练

2022-08-26
阅读 5 分钟
1.2k
This article was originally published on InfoWorld on March 22, 2022.Reprinted with permission. IDG Communications, Inc., 2022. All rights reserved. Orchestrating data for machine learning pipelines.
封面图

Meta公司新探索 | 利用Alluxio数据缓存降低Presto延迟

2022-06-10
阅读 5 分钟
1.2k
Meta公司(前“Facebook公司”,下文统称“Meta”)的Presto团队一直在与Alluxio 合作为Presto提供开源数据缓存方案。该方案被用于Meta的多个用例,来降低从诸如HDFS等远端数据源扫描数据产生的查询延迟。实验证明,使用Alluxio数据缓存后,查询延迟和IO扫描都得到了显著优化。
封面图

【Alluxio&大厂】原来BOSS直聘是这样应用的

2022-02-17
阅读 7 分钟
1.3k
Hello大家好,我是来自BOSS直聘的基础架构工程师周佩洁。主要负责BOSS直聘算法平台的数据流链路的架构和设计。下面由我介绍Alluxio+Fluid在BOSS直聘算法平台的落地实践,我们本期的分享主要分为以下几个内容:

解决方案概览丨如何使用 Alluxio 进行机器学习模型训练

2022-02-16
阅读 5 分钟
1.8k
随着人工智能(AI)和机器学习(ML)的广泛应用以及在业务上的重要性不断增强,企业也在大力发展 AI/ML 的应用,这些应用要求数据平台满足以下要求:

甲子光年专访丨一家开源公司,要做大数据时代的“滴滴打车”

2022-02-16
阅读 4 分钟
1.1k
在中国,大型科技企业加入开源阵营。阿里云发布全新操作系统“龙蜥”并宣布开源,蚂蚁金服开源OceanBase数据库,华为发布“开源雨林”计划。