此次Alluxio与北京大学计算机学院达成合作框架协议，双方将在学术研究、人才培养、联合实验室、开源社区共建等方面展开深入合作，并将成立“云原生数据编排服务系统联合实验室”。

急性子，想直接实操的，先绕过这个章节，直接看后边的实操步骤。把环境运行起来再看原理。Presto 的架构如下图所示，client 的请求，会递交给 Coordinator 进行处理，而元数据信息由 HiveMetaStore(HMS) 进行管理。那么表或分区的 location 信息，也在 HMS 中存放，因此，如果想把表或分区的数据放到其它存储系统里，则...

随着云计算在基础设施领域的市场份额持续上升，主流数据分析引擎纷纷选择独立扩展存储、计算来适配云基础设施，并以此为云提供商降低成本。但是，存储计算分离也为查询延迟带来了新的挑战，因为当网络饱和时，通过网络扫描大量数据将受到 IO 限制。此外，元数据也面临远程网络来检索的性能问题。

本教程将指导初学者在本地服务器上通过搭建Presto和Hive Metastore来查询S3上的数据。Presto是用于计划和执行查询的SQL引擎，S3为表分区文件提供存储服务，而Hive Metastore是为Presto访问表模式和位置信息提供catalog服务。本教程将展示如何一步一步安装并配置Presto和Hive MetaStore，从而查询存储在公有S3 bucket中的...

Raptor 是用来支持 Meta（以前的 Facebook）中的一些关键交互式查询工作负载的 Presto 连接器（presto-raptor）。尽管 ICDE 2019 的论文 Presto：SQL on Everything（[链接]）中提到过这一特性，但它对于许多 Presto 用户来说仍然有些神秘，因为目前还没有关于此特性的可用文档。本文将介绍 Raptor 的历史，以及为什么 M...

RaptorX是Meta（前“Facebook公司”，下文统称“Meta”）公司的一个内部项目名称，目的是为了降低查询延迟，让Presto的查询性能大大超越原生（vanilla） Presto，这篇文章介绍了RaptorX的关键模块——分层缓存。

欢迎来到【微直播间】，2min纵览大咖观点，本期分享的题目是数据编排技术在联通的应用。本次分享内容将围绕四个方面讲述Alluxio数据编排技术在联通的应用，主要围绕缓存加速、存算分离、混合负载以及轻量级分析四个不同的使用场景进行分享：

[链接]

This article was originally published on InfoWorld on March 22, 2022.Reprinted with permission. IDG Communications, Inc., 2022. All rights reserved. Orchestrating data for machine learning pipelines.

Alluxio让计算引擎实现在任何云环境中的数据编排。Alluxio统一了本地和跨云环境下的数据孤岛，实现数据本地性、可访问性和弹性，从而降低大数据和人工智能/机器学习（AI/ML）工作负载的管理数据和访问数据的难度。

本期分享主题：《Alluxio块分配策略详解》全文主要围绕3个部分进行介绍：【策略详解概述】、【块分配策略介绍】、【代码层面解读】话不多说，直接上干货↓

随着大数据应用的不断发展，数据仓库、数据湖的大数据实践层出不穷；无论是电信、金融、政府，各个行业的大数据热潮蓬勃发展。在过去的4-5年中，我们不断看到企业用户大数据膨胀问题日益加剧，大数据创新下数据存储成本呈现线性增长，使得企业对于大数据的应用开始变得谨慎、变向放缓了企业内部数据化转型的速度。

美国艺电 (EA) 是游戏行业的翘楚，每年为全球几十亿用户提供数十款游戏。能否针对EA的在线服务做出近实时决策对于业务发展至关重要。本文介绍了在AWS上搭建的基于Presto和Alluxio的数据平台，如何为游戏产业提供即时响应的在线服务。

内容速览：本期分享的题目是Alluxio元数据和数据的同步，从设计实现和优化的角度进行讨论，包括以下6个方面内容：01. Alluxio简介Alluxio是云原生的数据编排平台，通过解耦计算和存储层，在中间产生了一个数据编排层，负责对上层计算应用隐藏底层的时间细节。02. Alluxio的数据挂载挂载操作有一个进阶版操作，所做的事情...

为了响应国家“十四五”数字经济发展规划的号召，中国企业推动创新资源共建共享，促进创新模式开放化演进，在信息化、数字化、智能化的强烈需求下，中国龙头企业统筹全渠道的技术能力，逐渐形成了一套覆盖集团业务发展、经营管理等核心发展战略需要的战略方向。

作者介绍范斌 Alluxio VP Open Source and Founding MemberAdit Madan Alluxio Senior Product ManagerJasmine Wang Alluxio Community Manager

PrestoDB的Aria项目曾于2020年发布过一组实验性功能，用来提高对表（通过Hive连接器连接并以ORC格式存储数据）的扫描性能。在本文中，我们将在基于Docker的PrestoDB测试环境中对这些新功能进行基础性的测试。[1]

近期，腾讯 Alluxio 团队与 CDG 金融数据团队、TEG supersql 团队、konajdk 团队进行通力协作，解决了金融场景落地腾讯 Alluxio(DOP=Data Orchestration Platform 数据编排平台) 过程中遇到的各种问题，最终达到了性能和稳定性都大幅提升的效果。

这30场分享中，我们每1期都会精心规划、定向邀请嘉宾，其中有来自一线大厂的实战者，有来自Alluxio的嘉宾。内容涵盖【金融】【互联网&科技】【电信】【电商】【出行】【人工智能】等热门行业。

金山云-企业云团队（赵侃、李金辉）在交互查询场景下对Presto与Alluxio相结合进行了一系列测试，并总结了一些Presto搭配Alluxio使用的建议。本次测试未使用对象存储，计算引擎与存储间的网络延时也比较低。如果存储IO耗时和网络耗时较大时，Alluxio加速收益应会更明显。

将Alluxio与Presto结合运行在社区中越来越流行，使用固态硬盘或内存来缓存热数据集，能够实现近Presto worker的数据本地行，从而避免了远程读取数据导致的高延迟。Presto支持基于哈希的软亲和调度（soft affinity scheduling），这样整个集群中相同数据只缓存一、两个副本，更多的热数据能被缓存到本地，提高缓存效率。...

To 初学者：本教程将指导初学者在本地服务器上通过搭建Presto和Hive Metastore来查询S3上的数据。Presto是用于计划和执行查询的SQL引擎，S3为表分区文件提供存储服务，而Hive Metastore是为Presto访问表模式和位置信息提供catalog服务。本教程将展示如何一步一步安装并配置Presto和Hive MetaStore，从而查询存储在公有S3...

如果你还在犹豫不决，为选择哪个Offer而苦恼，亦或是等待一个上岸的机会，别担心，这些烦恼从来都不孤单，我们安排了岗位导师，与你分享他们对岗位的认识

Meta公司（前“Facebook公司”，下文统称“Meta”）的Presto团队一直在与Alluxio 合作为Presto提供开源数据缓存方案。该方案被用于Meta的多个用例，来降低从诸如HDFS等远端数据源扫描数据产生的查询延迟。实验证明，使用Alluxio数据缓存后，查询延迟和IO扫描都得到了显著优化。

开源之夏（英文简称 OSPP）是由“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，今年是第三届，由中国科学院软件研究所与 openEuler 社区共同举办，旨在鼓励在校学生积极参与开源软件的开发维护，促进优秀开源软件社区的蓬勃发展，培养和发掘更多优秀的开发者。

2.8版本增强了对AWS S3 REST API的接口支持；增加了数据安全功能，对需要满足合规性和监管要求的敏感应用数据实现加密；提升了异构存储系统之间的自动数据迁移功能，用户无需手动迁移或拷贝数据。

其实它就是能查询大量、海量数据的一个SQL数据库，SQL数据库大家已经见了很多了，MySQL、oracle这些都是SQL数据库。很多人可能也有体会，SQL是个很方便的查询数据的语言。那为什么要有Presto呢？首先如果你使用MySQL，oracle的话，你会发现它查一些小规模的数据,如果可以很容易命中的话，它是很快的。但如果说你要查海量...

开源云数据编排软件开发商Alluxio近日宣布，全球领先的L4级自动驾驶技术智能出行公司文远知行WeRide已将Alluxio数据编排软件作为混合云存储网关，用于本地应用程序对AWS S3等公共云存储的访问。这一新的数据架构为每个位置都提供了本地化缓存，消除了对S3的冗余请求。除了解决手动数据同步的复杂性问题之外，Alluxio还直...

Fluid + Alluxio 为集群引入了全新的架构，但是在具体场景适配方面我们还是遇到了一些问题，这些问题我们第一时间与社区反馈，社区都第一时间解决了我们的需求，这里主要讲下几个比较重要的特性支持：hostpath 与 nonroot 的支持

云知声，是一家专注物联网人工智能服务公司。云知声的 AI 技术栈涵盖了信号、语音、图像、文本的感知和表达能力，知识、理解、分析、决策等认知技术，并朝着多模态人工智能系统方向发展。云知声 Atlas 超算平台作为底层基础架构，支持着公司在 AI 各个领域的模型训练与推理服务的开展。云知声很早就开始布局建设业界领先...