Alluxio Enterprise AI 3.6加速模型分发、优化checkpoint写入并增强多租户支持

5 月 30 日
阅读 2 分钟
203
近日,AI 与数据加速平台 Alluxio 正式推出 Alluxio Enterprise AI 3.6 版本,该版本在模型分发、checkpoint 写入优化及多租户支持方面实现突破性创新。此次升级将帮助企业显著缩短AI模型部署周期、减少训练时间,并确保在多云环境中的数据无缝访问。

架构分享|三层存储架构加速云端大模型推理

5 月 30 日
阅读 5 分钟
271
Inferless :无服务器 GPU 推理无需管理服务器即可扩展机器学习推理,轻松部署复杂的自定义模型。获得Sequoia、Antler 和 Blume Ventures 的支持。

韩国电商巨头Coupang如何利用分布式缓存加速机器学习模型训练

5 月 27 日
阅读 4 分钟
252
在Alluxio近期举办的线上技术讲座中,Coupang资深后端工程师Hyun Jun Baek 分享了Coupang如何利用分布式缓存加速机器学习模型训练。本文提炼了Hyun分享的核心观点,重点介绍了Coupang的分布式缓存方案如何重塑其跨区域混合云机器学习平台。

Alluxio 携手 vLLM Production Stack 加速大语言模型推理

3 月 27 日
阅读 2 分钟
551
近日,Alluxio 宣布与芝加哥大学 LMCache 实验室开发的 vLLM Production Stack 项目达成战略合作。作为大语言模型(LLM)推理领域的开源项目,vLLM Production Stack 旨在为 LLM 推理提供高效的集群级全栈解决方案。此次合作将深度融合双方技术优势,共同推动新一代 AI 基础设施在 LLM 推理场景中的创新突破。

后DeepSeek时代,Alluxio重塑企业AI存储基础设施

3 月 27 日
阅读 2 分钟
544
随着 2025 年 DeepSeek 等大语言和多模态大模型的技术边界持续突破,全球 AI 训练集群规模已迈入百万卡级别,单次训练任务的数据吞吐需求突破 PB / 小时的级别。这场由算法创新驱动的 “AI 风暴” 正深刻重塑着基础设施架构的核心规则,其中,存储侧的性能、扩展性、成本效率与数据主权控制,已成为决定企业 AI 成败的关键...

全球跨境电商构建高性能数据访问平台实战宝典

3 月 27 日
阅读 2 分钟
463
在数字化时代,电商已成为全球商业最具活力的领域之一。Alluxio 作为数据管理与存储领域的先锋,为电商行业的快速发展提供了重要支持,尤其在全球跨境电商的崛起中,成为企业高效运营和创新的关键力量。

Alluxio Enterprise AI 3.5 发布,全面提升AI模型训练性能

2 月 18 日
阅读 2 分钟
615
近日,Alluxio 发布 Alluxio Enterprise AI 3.5 版本。该版本凭借仅缓存写入模式 ( Cache Only Write Mode )、高级缓存管理策略以及 Python 的深度集成等创新功能,大幅加速 AI 模型训练并简化基础设施运维,助力企业高效处理海量数据集、优化 AI 工作负载性能。

案例分享|Alluxio在媒体融合领域的应用

1 月 23 日
阅读 7 分钟
659
桂静,就读于中国传媒大学计算机与网络空间安全学院,媒体融合与传播国家重点实验室,导师为王永滨教授。已发表论文三篇。其中 SCI 论文1篇。参与多项国家级以及省部级子课题项目。致力于媒体融合领域数据存储与处理关键技术研究。

东南亚电商巨头 Shopee 加速 AI 训练的实践与探索

1 月 7 日
阅读 6 分钟
818
分享嘉宾孙颢宁Shopee Data Infra  分布式存储开发工程师分享大纲AI 平台面临的挑战Alluxio 加速AI 训练的实践Alluxio 的性能探索Alluxio 的大版本滚动升级未来规划观看完整回放视频AI 平台面临的挑战在打造 AI 平台前,不同部门的算法团队都需要自己去申请购买云服务,资源利用率低。公司决定搭建训练机房,构建 AI 平...
封面图

南科大分享|大数据技术如何赋能大模型训练及开发

2024-12-20
阅读 11 分钟
766
分享嘉宾张松昕,南方科技大学统计与数据科学系研究学者,UCloud 顾问资深算法专家,曾任粤港澳大湾区数字经济研究院访问学者,主导大模型高效分布式训练框架的开发,设计了 SUS-Chat-34B 的微调流程,登顶 Open LLM Leaderboard、Opencompass 同参数量级模型榜首。

选择Alluxio来解决AI模型训练场景数据访问的五大理由

2024-12-19
阅读 3 分钟
642
在AI模型训练尤其是大模型领域,存储系统的性能和稳定性直接决定了模型训练、推理、部署任务的效率和成本。随着全球AI行业的爆发带来的数据规模的快速增长,如何高效管理和利用这些数据成为AI模型训练中的一大挑战。

Alluxio 在B站AI训练场景的应用

2024-11-18
阅读 5 分钟
444
分享嘉宾刘礼铭 bilibili 人工智能资深工程师分享提纲B站 AI 训练场景介绍;Alluxio 如何提升 AI 训练效率;未来规划观看完整视频分享B站AI的训练场景机器学习平台介绍首先,简单介绍一下B站 AI 的训练场景,整个机器学习平台的架构如下图所示:它具备了一个常规机器学习平台的能力,比如交互式建模、数据集管理、模型训...

小红书多云统一数据加速层介绍

2024-11-18
阅读 9 分钟
495
嘉宾介绍:李亚斌小红书大数据技术专家负责小红书多云统一数据加速层的建设关于小红书小红书是年轻人的生活记录、分享平台,用户可以通过短视频、图文等形式记录生活点滴,分享生活方式。分享提纲本文主要介绍小红书多云统一数据加速层的内容,主要内容包括以下几个部分:小红书在复杂的多云环境下面临的挑战;如何通过...

Alluxio AI助力知乎千卡模型训练

2024-11-18
阅读 6 分钟
318
离线机房: 专为满足大数据相关业务方需求而设计的离线计算服务中心。其主要职能是部署离线调度、离线存储以及调度平台等服务。这些服务的目标是提供高效的离线数据处理和计算能力。在离线机房中,大数据业务方可以安心进行批量数据处理和计算任务,从而满足他们对数据处理、存储和调度的要求。
封面图

Alluxio Enterprise AI on K8s 部署教程

2024-09-23
阅读 21 分钟
536
Alluxio Enterprise AI on K8s 部署视频视频为Alluxio Enterprise AI on K8s 部署教程。下面内容将通过文字方式主要介绍如何通过 Operator(Kubernetes 管理应用程序的扩展)在 Kubernetes 上安装 Alluxio。
封面图

对比速览 | Alluxio 企业版 v.s. 社区版

2024-08-06
阅读 2 分钟
477
当前诸多企业面临着日益增长的数据量和复杂的数据管理挑战。特别是在模型训练的过程中,诸如GPU短缺、GPU利用率不高等问题已经成为许多企业在技术实施中面临的挑战。同时,大数据分析中跨云数据访问速度慢、成本高等问题也给企业带来了痛点。为了应对这些挑战,企业们积极寻求更便捷的数据管理和模型训练加速解决方案。

案例分享|Alluxio在自动驾驶数据闭环中的应用

2024-08-02
阅读 9 分钟
769
中汽创智科技有限公司(以下简称“中汽创智”)由中国一汽、东风公司、南方工业集团、长安汽车和南京江宁经开科技共同出资设立。聚焦智能底盘、新能动力、智能网联三大业务领域,围绕“车端+云端+通信端”生态体系,开展前瞻、共性、平台、核心技术和产品研发及产业孵化。
封面图

案例分享|Alluxio在自动驾驶模型训练中的应用与部署

2024-05-21
阅读 7 分钟
698
关于辉羲智能辉羲智能是一家做自动驾驶芯片的初创公司,成立于2022年。致力打造创新车载智能计算平台,提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案,助力车企实现优质高效的自动驾驶量产交付,构建低成本、大规模和自动化迭代能力,引领数据驱动时代的高阶智慧出行。
封面图

OPPO案例 | Alluxio在Data&AI湖仓一体的实践

2024-03-22
阅读 5 分钟
498
在OPPO的实际应用中,我们将自研的Shuttle与Alluxio完美结合,使得整个Shuttle Service的性能得到显著提升,基本上实现了性能翻倍的效果。通过这一优化,我们成功降低了约一半的系统压力,同时吞吐量也直接翻倍。这样的结合不仅解决了性能问题,更为OPPO的服务体系注入了新的活力。
封面图

数据本地性如何助力企业在云上实现高效机器学习

2024-03-22
阅读 4 分钟
562
分享嘉宾:Lu Qiu, Shawn Sun本文将讨论数据本地性对于在云上进行高效机器学习的重要性。首先对比现有解决方案的利弊,并综合考虑如何通过数据本地性来降低成本和实现性能最大化。其次会介绍新一代的Alluxio设计与实现,详细说明其在模型训练和部署中的价值。最后会分享从基准测试和实际案例研究中得出的结论。
封面图

Alluxio AI 全新产品发布:无缝对接低成本对象存储 AI 训练解决方案

2023-10-20
阅读 4 分钟
738
(2023 年 10 月 19 日,北京)Alluxio 作为一家承载各类数据驱动型工作负载的数据平台公司,现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨在满足人工智能 (AI) 和机器学习 (ML) 负载对于企业数据基础设施不断增长的需求。 Alluxio Enterprise AI 平台可综合优化企业 AI 和分析基础设施的性能、数据可访问性、...
封面图

如何用Alluxio加速云上深度学习训练?

2022-12-29
阅读 6 分钟
940
随着企业数据量的不断增加,为了提高深度学习训练的准确性、加快速度并且降低成本,许多企业开始逐步在云上实施分布式训练的方案,本期内容将结合阿里、微软等实际应用案例,分享如何通过Alluxio加速云上深度学习。
封面图

InfoWorld文章丨将数据编排技术用于AI模型训练

2022-08-26
阅读 5 分钟
1.2k
This article was originally published on InfoWorld on March 22, 2022.Reprinted with permission. IDG Communications, Inc., 2022. All rights reserved. Orchestrating data for machine learning pipelines.
封面图

Apache顶级项目Ranger和Alluxio的最佳实践(附教程)

2022-08-23
阅读 8 分钟
1.6k
Alluxio让计算引擎实现在任何云环境中的数据编排。Alluxio统一了本地和跨云环境下的数据孤岛,实现数据本地性、可访问性和弹性,从而降低大数据和人工智能/机器学习(AI/ML)工作负载的管理数据和访问数据的难度。
封面图

Alluxio+WeRide|加速L4级自动驾驶技术开发进程

2022-02-18
阅读 3 分钟
928
开源云数据编排软件开发商Alluxio近日宣布,全球领先的L4级自动驾驶技术智能出行公司文远知行WeRide已将Alluxio数据编排软件作为混合云存储网关,用于本地应用程序对AWS S3等公共云存储的访问。这一新的数据架构为每个位置都提供了本地化缓存,消除了对S3的冗余请求。除了解决手动数据同步的复杂性问题之外,Alluxio还直...

新生代工程师手把手教你玩转Alluxio+ML(下篇)

2022-02-18
阅读 7 分钟
1.4k
上篇中提到了很多Alluxio为了加速读取数据做的各种各样的优化,那么对于用户来说还有一个非常重要的问题——在机器学习训练中使用Alluxio读数据到底有多快?

新生代工程师手把手教你玩转Alluxio+ML(上篇)

2022-02-17
阅读 7 分钟
995
相信很多人都非常熟悉, Alluxio是可以对各种不同的数据源,包括阿里云、腾讯云的数据进行缓存,以提升各种训练的性能,它上面包括了像PyTorch, Tensorflow等一系列训练的软件。而Alluxio与很多的缓存解决方案的不同点就在于我们其实是一个分布式缓存,数据如果在一台机子上放不下,我们把它分到多台机子上,共同为大家提...

2.7版本发布丨Alluxio数据编排平台进一步深化对人工智能和机器学习工作负载在混合云和多云上的支持

2022-02-17
阅读 3 分钟
983
“Alluxio 2.7版本进一步巩固了Alluxio在云上人工智能(AI)、机器学习和深度学习方面的重要地位,”Alluxio创始人兼首席执行官李浩源表示。“随着数据集的增长以及CPU和GPU计算能力的增强,机器学习和深度学习已成为AI主流技术。这些技术的兴起推动了AI的发展,但也凸显了数据和存储系统访问中存在的一些挑战。”

解决方案概览丨如何使用 Alluxio 进行机器学习模型训练

2022-02-16
阅读 5 分钟
1.8k
随着人工智能(AI)和机器学习(ML)的广泛应用以及在业务上的重要性不断增强,企业也在大力发展 AI/ML 的应用,这些应用要求数据平台满足以下要求: