头图

请查收 Alluxio 开源社区的年终总结

2021 年见证了 Alluxio 开源项目的快速发展,Alluxio 社区在这一年中取得的成绩离不开所有人的共同努力,对此我们十分感激。在 2022 年春节到来之际,让我们一起来回顾 Alluxio 社区在过去一年里的成长历程。


✔8 场 Alluxio Day 活动

✔84 场线上开发者活动和 Office Hour 活动

✔27 场线上研讨会

✔发布 62 篇文章(中英文)

✔新增 5 名 PMC member 和 1 名 PMC maintainer

✔新晋 2 名 committer

✔在 Github 中合并了 983 条 pull requests(拉取请求), 其中 308 条来自社区贡献者

✔Slack 频道新增 3144 名成员,互动信息 24531 条

✔在 GitHub 中创建了 512 个 issues

✔共计 11 次大小版本迭代/发布


2021 年依然是疫情形势严峻的一年,但 Alluxio 社区通过线上活动与大家保持着紧密联系。2021 年我们启动了全新的线上系列活动—— Alluxio Day,将用户聚在一起,分享各自的故事和经验,同时也为社区贡献者和用户提供了建立联系和开展技术合作的平台。

在这一年中,我们惊喜地看到新活动受到了社区用户的广泛欢迎和大力支持。Alluxio Day 社区线上活动共推出了 37 场高质量的技术讲座,邀请到来自世界各地的 51 位演讲者,活动主题除 Alluxio 外,也涵盖了包括 Presto、Apache Hudi、Apache Iceberg、Apache Spark 在内的其他流行开源项目,以及阿里云、微软 Azure 和腾讯云等公有云厂商。


2021 年,Alluxio 在大数据分析应用中的人气持续攀升。我们的开源社区正在与 Facebook 和 Uber 等公司密切合作,将 Alluxio 作为数据缓存层,用于 Presto 工作负载的优化。如果想了解更多相关信息,请点击此处查看白皮书《Alluxio+Presto 概览——交互式查询的架构演变》。

此外我们还观察到一个趋势,那就是在数据密集型的 AI/ML(人工智能/机器学习)场景下,Alluxio 被用于提供跨用户和云厂商的分布式高性能 I/O 和数据管理。针对这种新兴的应用场景,我们一直在与阿里云、微软 Azure、南京大学、腾讯云等贡献者密切合作,创建和优化基于 JNI 的 Alluxio POSIX 客户端。如果想了解更多信息,请点击此处查看白皮书《加速云端机器学习/深度学习:架构和性能测试》。

随着用户逐步扩大 Alluxio 的部署规模,将其用于更复杂的应用场景,Alluxio 系统也面临更大的挑战。为了满足这些需求,Alluxio 在 2021 年大幅优化了 Alluxio 系统集群的可扩展性,优化方向从支持运行数千节点的集群的部署和管理,到支持加载包含十亿文件的数据集。例如,我们的用户腾讯目前正在运行拥有 1000 多个节点的 Alluxio 集群,为其 AI 应用提速。

2021年,我们欣喜地看到 Alluxio 用户数量迅速增长,也收获了大量宝贵的社区用户反馈。这一年里有超过 500 个 issues 在 Github 上创建,其中大部分来自社区用户。为了能够快速地响应社区反馈,尤其是 Bug 报告,我们尝试加快新版本的发布节奏。一年中,我们共计发布了 11 个大小版本,及时向用户提供最新的漏洞修复和优化。


Alluxio 开源项目自成立以来一直遵循着 “Contributor-Committer-Member ”(贡献者-提交者-项目管理委员会委员)的择优选拔管理流程。2021 年,Alluxio 开源项目迎来了五位新的 PMC member ,他们都为项目的发展做出了卓越的贡献。两名 contributor 晋升为committer。新增的 60 多名 contributors,不仅在代码和文档方面,也在项目推广、技术分享、Q&A 支持、用户文章、新版本测试等方面做出了贡献。大家的共同努力促进了 Alluxio 的成长,提升了 Alluxio 的全球知名度。如果你也有兴趣成为 contributor ,committer 或者 PMC member,请查看我们的 github 指南(https://github.com/Alluxio/al...(PMC)#how-can-i-become-a-pmc-member)。

Alluxio开源社区要特别感谢项目 PMC maintainer 毛宝龙带领的腾讯 Alluxio OTeam 团队。2021 年,腾讯 Alluxio OTeam 在创建和优化 JNI-fuse、动态更新配置以及用于 cephfs-hadoop 和 ozone 的 UFS 模块等功能方面做出了巨大贡献。此外,OTeam 的两位 contributor 也晋升为 committer,仅这两位就为 Alluxio 的代码库贡献了 3000 多行代码。


我们还要感谢社区的铁杆粉丝,是他们给予了宝贵的反馈,帮助 Alluxio 项目更好地适配不同的环境并稳定运行。这些用户包括 Facebook(演讲)、 Uber(演讲)、Tiktok(演讲)、微软(演讲)、腾讯(演讲)、阿里巴巴(文章)、Robinhood、Boss直聘(演讲)、Bilibili、陌陌(演讲)、京东、Shopee、英特尔(演讲)、英伟达(文章)、文远知行(文章)、T3 出行(文章)、云知声(文章) 等(以上排名不分先后)。


Alluxio 开源社区注重多元化。社区为拥有周佩洁和邱璐这样的女性工程师加入并作出杰出的社区贡献而感到骄傲。

周佩洁是 Boss 直聘的架构工程师,也是 Alluxio 开源项目的社区顶级 contributor。目前,佩洁带领一个数名工程师的团队,致力于提高 Alluxio 在机器学习和深度学习训练中的稳定性和性能。点击此处查看周佩洁的文章。

邱璐是 Alluxio 的 PMC maintainer 和机器学习工程师,目前负责两周一次的人工智能和机器学习工作负载专项兴趣小组讨论。点击此处查看邱璐的演讲。


2021 年初,Alluxio 宣布拓展亚太地区业务,将北京设为中国区总部,以便更好地服务中文开发者社区。


在 2022 年农历新年到来之际,Alluxio 团队也设定了更高的目标,在新的一年里将加快发展步伐,在扩大现有用户业务量的基础上,与其他开源社区一道开拓更多新的应用场景。


我们相信,在新的一年里 Alluxio 社区将继续迎来新的用户、推出更多强大功能,并收获大量宝贵的用户反馈。2021 年的 Alluxio 之旅异常精彩,感谢大家的参与,陪伴和支持!祝愿大家在 2022 年一切顺利,再创辉煌 !



Alluxio系统(原名Tachyon)是全球首个分布式超大规模数据编排系统,孵化于加州大学伯克利分校AMP实验室...

36 声望
10 粉丝
0 条评论
推荐阅读
Alluxio跨集群同步机制的设计与实现
Alluxio 位于存储和计算层之间,在不同的底层文件系统(UFS)上层提供高性能缓存和统一的命名空间。虽然通过 Alluxio 对 UFS 进行更新可使 Alluxio 与 UFS 保持一致,但在某些情况下, 例如在运行多个共享某一个或...

Alluxio阅读 144

封面图
SegmentFault 思否宣布将接入百度「文心一言」,提升开发者获取知识的效率
作为中国领先的新一代开发者社区,我们以「凝聚集体智慧,推动技术进步」为使命,长期关注前沿技术发展及产业应用。2023 年 2 月 11 日,ChatGPT for SegmentFault 浏览器插件上线,SegmentFault 成为了国内首个...

SegmentFault思否11阅读 3.1k评论 1

对 ChatGPT 做一次技术面试(ChatGPT 没能通过)
问:对一个系统的描述如下:系统中有大量注册用户,用户可以关注其他用户。用户可以发布消息,消息包含发布者、发布时间和可见性。消息的可见性可以是公开、不公开或仅对关注自己的用户可见。请设计这个系统的数...

捏造的信仰8阅读 1.6k评论 1

封面图
超详细的ChatGPT注册教程来了
最近一周,大家都在讨论ChatGPT,一些主流的技术社区更是将ChatGPT吹的神乎其技,那ChatGPT是什么呢?又能给我们带来哪些变化呢?。带着这些问题,我打算先注册并使用 ChatGPT,供想要体验 ChatGPT 的小伙伴们参考。

xiangzhihong4阅读 3k评论 3

使用 🧨 Diffusers 实现 ControlNet 高速推理
自从 Stable Diffusion 风靡全球以来,人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法,能够允许用户在很大程度上自定义生成过程。通过 ControlNet,用户可以轻松地使用...

HuggingFace3阅读 1.3k

封面图
搭个ChatGPT算法模型,从哪开始?
最近 ChatGPT 很火,火到了各行各业。记得去年更多的还是码农最新体验后拿它搜代码,现在各行各业都进来体验,问它咋理财、怎么写报告和给小孩起名。😂 也因此让小傅哥在头条的一篇关于 ChatGPT 的文章都有了26万...

小傅哥6阅读 1.3k

封面图
Light·技术公益创造营,开营了!
第三届腾讯Light·技术公益创造营(简称“腾讯Light”),围绕数字时代下“未成年人心理健康”、“老年人用网安全”、“生物多样性保护”三大议题,号召社会各界人士打造技术公益多元解决方案,以共同解决更多的社会公共议...

SegmentFault思否3阅读 11.3k

Alluxio系统(原名Tachyon)是全球首个分布式超大规模数据编排系统,孵化于加州大学伯克利分校AMP实验室...

36 声望
10 粉丝
宣传栏