越来越多的数据处理使用NVIDIA 计算来实现大规模并行。加速计算的发展意味着无论是在分析、人工智能 (AI) 还是机器学习 (ML) 过程中，对存储的访问也需要更快。

上篇中提到了很多Alluxio为了加速读取数据做的各种各样的优化，那么对于用户来说还有一个非常重要的问题——在机器学习训练中使用Alluxio读数据到底有多快？

相信很多人都非常熟悉, Alluxio是可以对各种不同的数据源，包括阿里云、腾讯云的数据进行缓存，以提升各种训练的性能，它上面包括了像PyTorch, Tensorflow等一系列训练的软件。而Alluxio与很多的缓存解决方案的不同点就在于我们其实是一个分布式缓存，数据如果在一台机子上放不下，我们把它分到多台机子上，共同为大家提...

“Alluxio 2.7版本进一步巩固了Alluxio在云上人工智能（AI）、机器学习和深度学习方面的重要地位，”Alluxio创始人兼首席执行官李浩源表示。“随着数据集的增长以及CPU和GPU计算能力的增强，机器学习和深度学习已成为AI主流技术。这些技术的兴起推动了AI的发展，但也凸显了数据和存储系统访问中存在的一些挑战。”

Hello大家好，我是来自BOSS直聘的基础架构工程师周佩洁。主要负责BOSS直聘算法平台的数据流链路的架构和设计。下面由我介绍Alluxio+Fluid在BOSS直聘算法平台的落地实践，我们本期的分享主要分为以下几个内容:

Facebook Presto是一个以SQL语言作为接口的分布式实时查询引擎，可以对PB级的数据进行快速的交互式查询。它支持标准的ANSI SQL.包含查询、聚合、JOIN以及窗口函数等。

如上图所示，在Uber，所有的决策都与数据有关。Presto以及其他各种查询引擎在Uber是被广泛使用的。例如，运营团队在Dashboard等服务中大量使用了Presto，而UberEats和市场团队也依赖于这些查询结果来确定价格。此外，Presto也在Uber的合规部、增长营销部门、ad-hoc数据分析等场景下使用。上图展示了Uber内部的一些重要数...

为了满足当下和未来的需求，很多公司不断升级数据平台并开发可扩展的解决方案。从现有的实践来看，虽然Presto具有处理海量数据的能力，但其在跨工作流的数据访问方面优化不足。因此，数据平台工程师还需要寻找其他的方案来解决数据冗余、易出错、性能缓慢、不稳定和高成本的问题。

关于银保监会对银行业，包括保险业在金融科技方面提出的一些要求。我们后续会有几方面的重点建设方向：第一个就是大力推进云化转型，包括云原生的转型和大数据云等一系列云化的转型，对于我们的要求也是越来越高。第二也是比较重要的，持续优化科技与业务融合，用数字化支持企业数字化转型，通过为业务赋能为业务展开提...

可能很多人用Presto只用 Hive Connector，其实Iceberg connector跟Hive差不多，不管从实现，还是从功能上都有互相的参照，尤其是在实现方面使用了非常多的Hive connector底层的代码。它创建table也是一样，我们可以从一个 TPC-DS数据的 customer表里抽几列再创建一个table，你可以指定这个数据的格式，可以是Parquet也可...

Alluxio是2014年在伯克利 AMPLab孵化的一个项目，那时候名叫Tachyon，是跟Spark同一期孵化的分布式存储项目。截止到今天为止，我们这个社区里已经有超过1000名的contributor参与搭建了社区代码和各种活动，在Slack committee里面已经有5000以上的 member进行互动，大家也把技术广泛应用在各种开源场景里面。在去年的时候...

元数据同步（metadata sync）是Alluxio的一个核心功能，它能使文件和目录与底层存储系统中的数据源保持一致，便于用户通过Alluxio获取最新数据。同时，了解内部进程对于性能调优也十分重要。本文介绍了Alluxio元数据同步功能的设计和实现。在Alluxio中，元数据是指Alluxio文件系统中的文件和目录信息，包括所有者、组、...

随着人工智能（AI）和机器学习（ML）的广泛应用以及在业务上的重要性不断增强，企业也在大力发展 AI/ML 的应用，这些应用要求数据平台满足以下要求：

在中国，大型科技企业加入开源阵营。阿里云发布全新操作系统“龙蜥”并宣布开源，蚂蚁金服开源OceanBase数据库，华为发布“开源雨林”计划。

近日，全球首创的超大规模分布式数据编排软件开发商 Alluxio 与金山云达成合作，双方将共同探索数据编排技术在存算分离与湖仓一体等大数据应用趋势下的产品集成方案和实践场景，助力企业客户开展更为灵活及高效的大数据业务，以实现数据收益最大化。

近日，全球首创的超大规模分布式数据编排软件开发商 Alluxio 宣布，其在刚刚过去的 2022 财年（2021年2月1日至2022年1月31日）业务发展势头迅猛，财年营收同比增长3倍，并获得战略头部客户认可，完成新一轮融资，开启全球业务拓展并加速产品迭代。全球市场趋势表明，随着企业转向混合云和多云的工作负载，对 Alluxio 数...

近日，开源云数据编排软件开发商 Alluxio 与阿里云达成技术合作，其核心产品 Alluxio 数据编排平台将与阿里云云原生数据仓库 AnalyticDB 集成，有效解决存储计算分离场景下从异构数据源读取数据带来的性能损耗。相较存储和计算耦合的架构，Alluxio 数据编排技术产品基于存储计算分离架构。存储计算分离可以带来诸多好处...