SF
Alluxio
Alluxio
注册登录
关注博客
注册登录
主页
关于
RSS
南科大分享|大数据技术如何赋能大模型训练及开发
Alluxio
12 月 20 日
阅读 11 分钟
56
分享嘉宾张松昕,南方科技大学统计与数据科学系研究学者,UCloud 顾问资深算法专家,曾任粤港澳大湾区数字经济研究院访问学者,主导大模型高效分布式训练框架的开发,设计了 SUS-Chat-34B 的微调流程,登顶 Open LLM Leaderboard、Opencompass 同参数量级模型榜首。
Alluxio在数据索引和模型分发中的核心价值与应用
Alluxio
12 月 20 日
阅读 3 分钟
43
在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。在这样的背景下,A...
案例分享|企查查的数据降本增效之路
Alluxio
12 月 19 日
阅读 8 分钟
45
“企查查”是企查查科技股份有限公司旗下的一款企业信用查询工具。2023年5月20日,企查查正式发布全球首款商查大模型——“知彼阿尔法”,该模型基于企查查覆盖的全球企业信用数据进行训练,相较于当前 AIGC(生成式人工智能)领域其它模型,“知彼阿尔法”大模型的亮点在于用垂直领域的海量数据进行训练,保证信息的精准度,基...
选择Alluxio来解决AI模型训练场景数据访问的五大理由
Alluxio
12 月 19 日
阅读 3 分钟
32
在AI模型训练尤其是大模型领域,存储系统的性能和稳定性直接决定了模型训练、推理、部署任务的效率和成本。随着全球AI行业的爆发带来的数据规模的快速增长,如何高效管理和利用这些数据成为AI模型训练中的一大挑战。
Alluxio 在B站AI训练场景的应用
Alluxio
11 月 18 日
阅读 5 分钟
114
分享嘉宾刘礼铭 bilibili 人工智能资深工程师分享提纲B站 AI 训练场景介绍;Alluxio 如何提升 AI 训练效率;未来规划观看完整视频分享B站AI的训练场景机器学习平台介绍首先,简单介绍一下B站 AI 的训练场景,整个机器学习平台的架构如下图所示:它具备了一个常规机器学习平台的能力,比如交互式建模、数据集管理、模型训...
小红书多云统一数据加速层介绍
Alluxio
11 月 18 日
阅读 9 分钟
111
嘉宾介绍:李亚斌小红书大数据技术专家负责小红书多云统一数据加速层的建设关于小红书小红书是年轻人的生活记录、分享平台,用户可以通过短视频、图文等形式记录生活点滴,分享生活方式。分享提纲本文主要介绍小红书多云统一数据加速层的内容,主要内容包括以下几个部分:小红书在复杂的多云环境下面临的挑战;如何通过...
Alluxio AI助力知乎千卡模型训练
Alluxio
11 月 18 日
阅读 6 分钟
82
离线机房: 专为满足大数据相关业务方需求而设计的离线计算服务中心。其主要职能是部署离线调度、离线存储以及调度平台等服务。这些服务的目标是提供高效的离线数据处理和计算能力。在离线机房中,大数据业务方可以安心进行批量数据处理和计算任务,从而满足他们对数据处理、存储和调度的要求。
Alluxio Enterprise AI on K8s 部署教程
Alluxio
9 月 23 日
阅读 21 分钟
237
Alluxio Enterprise AI on K8s 部署视频视频为Alluxio Enterprise AI on K8s 部署教程。下面内容将通过文字方式主要介绍如何通过 Operator(Kubernetes 管理应用程序的扩展)在 Kubernetes 上安装 Alluxio。
对比速览 | Alluxio 企业版 v.s. 社区版
Alluxio
8 月 6 日
阅读 2 分钟
223
当前诸多企业面临着日益增长的数据量和复杂的数据管理挑战。特别是在模型训练的过程中,诸如GPU短缺、GPU利用率不高等问题已经成为许多企业在技术实施中面临的挑战。同时,大数据分析中跨云数据访问速度慢、成本高等问题也给企业带来了痛点。为了应对这些挑战,企业们积极寻求更便捷的数据管理和模型训练加速解决方案。
案例分享|Alluxio在自动驾驶数据闭环中的应用
Alluxio
8 月 2 日
阅读 9 分钟
421
中汽创智科技有限公司(以下简称“中汽创智”)由中国一汽、东风公司、南方工业集团、长安汽车和南京江宁经开科技共同出资设立。聚焦智能底盘、新能动力、智能网联三大业务领域,围绕“车端+云端+通信端”生态体系,开展前瞻、共性、平台、核心技术和产品研发及产业孵化。
案例分享|Alluxio在自动驾驶模型训练中的应用与部署
Alluxio
5 月 21 日
阅读 7 分钟
368
关于辉羲智能辉羲智能是一家做自动驾驶芯片的初创公司,成立于2022年。致力打造创新车载智能计算平台,提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案,助力车企实现优质高效的自动驾驶量产交付,构建低成本、大规模和自动化迭代能力,引领数据驱动时代的高阶智慧出行。
OPPO案例 | Alluxio在Data&AI湖仓一体的实践
Alluxio
3 月 22 日
阅读 5 分钟
263
在OPPO的实际应用中,我们将自研的Shuttle与Alluxio完美结合,使得整个Shuttle Service的性能得到显著提升,基本上实现了性能翻倍的效果。通过这一优化,我们成功降低了约一半的系统压力,同时吞吐量也直接翻倍。这样的结合不仅解决了性能问题,更为OPPO的服务体系注入了新的活力。
数据本地性如何助力企业在云上实现高效机器学习
Alluxio
3 月 22 日
阅读 4 分钟
284
分享嘉宾:Lu Qiu, Shawn Sun本文将讨论数据本地性对于在云上进行高效机器学习的重要性。首先对比现有解决方案的利弊,并综合考虑如何通过数据本地性来降低成本和实现性能最大化。其次会介绍新一代的Alluxio设计与实现,详细说明其在模型训练和部署中的价值。最后会分享从基准测试和实际案例研究中得出的结论。
超算互联网统一存储平台技术研究
Alluxio
3 月 8 日
阅读 6 分钟
309
大家好,我是来自山东省计算中心(国家超级计算济南中心)的王春晓,我从2022年开始参与超算互联网的项目,主要负责算网统一存储平台的研发,在存储基座方面也做了很多调研,最后选择了Alluxio平台,经过一年多的努力,也取得了一定的进展,非常感谢Alluxio公司提供的支持和帮助。接下来我们将围绕超算互联网的主题,从...
实录分享 | 央企大数据平台架构发展趋势与应用场景的介绍
Alluxio
1 月 12 日
阅读 7 分钟
417
分享嘉宾:孟子涵-中国华能集团信息中心平台架构师2021年华能就与Alluxio建立了合作,共同写了整个华能统一纳管的架构方案。这个方案我认为是现在我们在央企里边比较核心的一套体系,能让全集团所有我们认为重要的数字化资源实现真正的统一集中,让存储、计算、数据、应用、技术能力,能够在全集团范围内最大化的流动起...
Alluxio AI 全新产品发布:无缝对接低成本对象存储 AI 训练解决方案
Alluxio
2023-10-20
阅读 4 分钟
537
(2023 年 10 月 19 日,北京)Alluxio 作为一家承载各类数据驱动型工作负载的数据平台公司,现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨在满足人工智能 (AI) 和机器学习 (ML) 负载对于企业数据基础设施不断增长的需求。 Alluxio Enterprise AI 平台可综合优化企业 AI 和分析基础设施的性能、数据可访问性、...
实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况
Alluxio
2023-08-14
阅读 7 分钟
595
欢迎来到【微直播间】,2min纵览大咖观点本次分享主要包括三个方面:Prometheus&Grafana简介环境搭建手动调优一、 Prometheus&Grafana简介关于Prometheus:Prometheus 是一个开源的完整监控解决方案,其对传统监控系统的测试和告警模型进行了彻底的颠覆,形成了基于中央化的规则计算、统一分析和告警新模型。关于Grafana...
实录分享 | Alluxio Operator一体化部署方案
Alluxio
2023-06-25
阅读 10 分钟
963
首先,介绍 Kubernetes 容器化部署和当前所面临的挑战。然后,引入operator的概念,介绍当前业界关于Kubernetes 容器化部署问题的主流解决方案。接着,讲解如何针对应用服务去实现对应的operator。最后用Alluxio作为实际案例展示operator是如何实现的。
如何挖掘闲置硬件资源的潜力-PrestoDB缓存加速实践小结
Alluxio
2023-05-19
阅读 7 分钟
810
用户体验很重要,降本也很重要。做技术的都知道,加机器堆资源可以解决绝大多数的用户觉得慢的问题,但要加钱。没什么用户体验是开发不了的,但要排期,本质也要钱。在成本有限,包括机器资源和开发人力都有限的情况下,如何提升用户体验呢?
Alluxio跨集群同步机制的设计与实现
Alluxio
2023-03-23
阅读 8 分钟
689
Alluxio 位于存储和计算层之间,在不同的底层文件系统(UFS)上层提供高性能缓存和统一的命名空间。虽然通过 Alluxio 对 UFS 进行更新可使 Alluxio 与 UFS 保持一致,但在某些情况下, 例如在运行多个共享某一个或多个 UFS 命名空间的 Alluxio 集群时,结果可能并非如此。为了确保这种情况下的一致性,Alluxio 已经实现了...
ChatGPT:“Hello Alluxio,我为你写了一首诗!”
Alluxio
2023-02-13
阅读 2 分钟
921
新晋“网红”ChatGPT爆火网络,大家都很好奇ChatGPT究竟是什么?各种解读/研究的文章铺天盖地,但让小编更好奇的是:它眼中的Alluxio是怎样的?带着这份探知欲,我们聊了聊!
如何借力Alluxio推动大数据产品性能提升与成本优化?
Alluxio
2023-02-09
阅读 4 分钟
647
随着数字化不断发展,各行各业数据呈现海量增长的趋势。存算分离将存储系统和计算框架拆分为独立的模块,Alluxio作为如今主流云数据编排软件之一,为计算型应用(如 Apache Spark、Presto)和存储系统(如 Amazon S3、Alibaba OSS)的数据访问构建了桥梁。
2023年五大趋势预测 | 大数据分析、人工智能和云产业展望
Alluxio
2023-01-19
阅读 3 分钟
825
随着我们迈入2023年,大数据分析、人工智能和云产业将迎来蓬勃的创新和发展阶段以下是我们预测的,将对行业格局产生重大影响的五大趋势:世界在剧变,我们需要尽快寻找行业中的方向,迅速重回轨道2023年,全球经济层面的不确定性将持续存在。在云上部署数据密集型负载的企业需重新评估其云战略,更加关注成本优化,根据...
从“少林寺”毕业后,我当上了开源社区“区长”
Alluxio
2023-01-04
阅读 3 分钟
825
本期名人堂我们有幸邀请到了Alluxio创始成员兼开源社区副总裁范斌先生。范斌先生讲述了自己的求学、工作、加入开源社区的经历,以及对未来十年数据编排发展的展望,和对开发贡献者的一些建议。
如何用Alluxio加速云上深度学习训练?
Alluxio
2022-12-29
阅读 6 分钟
804
随着企业数据量的不断增加,为了提高深度学习训练的准确性、加快速度并且降低成本,许多企业开始逐步在云上实施分布式训练的方案,本期内容将结合阿里、微软等实际应用案例,分享如何通过Alluxio加速云上深度学习。
【蚂蚁】Alluxio在蚂蚁集团大规模训练中的应用
Alluxio
2022-12-28
阅读 7 分钟
1.4k
本期内容我们邀请到了来自蚂蚁集团的开发工程师陈传迎老师,给大家分享Alluxio在蚂蚁集团是如何支持大规模模型训练的。首先是关于引入Alluxio的背景:为什么要引入Alluxio?Alluxio到底解决了什么问题?带着这些问题,我们快速get陈老师分享的核心内容:第一部分:稳定性建设稳定性建设主要从两块进行:worker register ...
从博士论文到被各大厂应用,Alluxio 如何走过 7 年创业路
Alluxio
2022-12-06
阅读 3 分钟
943
今年 2 月,Alluxio 宣布以实现收入同比增长 3 倍的成绩结束了 2022 财年。“这个财年的业绩进一步表明了市场需要更好的方法来访问大规模分析和 AI/ML 应用程序中的数据,尤其是在分布式混合云和多云环境中。”Alluxio 创始人兼 CEO 李浩源表示。
Alluxio 2.9新版发布 | 重塑架构,支持大规模多租户环境
Alluxio
2022-11-18
阅读 2 分钟
537
Alluxio 2.9 版本的主要新增功能包括:新增跨环境集群同步功能、增强Alluxio在Kubernetes上的可管理性、提高S3 API 安全性和用户体验。
大咖分享 | 如何构建 Alluxio 审计日志分析系统
Alluxio
2022-11-10
阅读 7 分钟
972
大数据技术日新月异,数据湖、数据中台、逻辑数据湖、数据编织、数据编排等数据建设理念不断出现、深化,究其根本依然是如何能够将数据规整起来,以统一的规范对数据的脉络进行梳理,形成统一的视图、统一的标准,实现业务层面的数据治理目标。
Alluxio 源码完整解析 | 你不知道的开源数据编排系统(下篇)
Alluxio
2022-10-26
阅读 16 分钟
1.1k
本篇将在上篇的基础上,继续为大家讲述Alluxio中重点类详解,Alluxio中Block底层读写流程,Alluxio Client调用流程和 Alluxio内置的轻量级调度框架。
1
(current)
2
3
下一页
1
(current)
下一页