头图

DatenLord Hackathon 2023正式启动!达坦科技基于其跨云分布式文件系统DatenLord项目,结合AI大模型时代背景,搭建了擂台,在此正式向您发出邀约!

本次大赛赛题深刻有趣,奖品丰厚多样,借此机会您不仅可以尽情施展才华、与来自全国各地优秀的青年才俊们同台PK,更将有机会与优秀的评委教师对话交流。Clock is Ticking!无需犹豫,行动起来,抓住机遇,创造奇迹!

大赛时间线

本次挑战赛于11月18日开放报名。赛事日程表已经新鲜出炉:
报名+组队:11.18~12.10
组委会整理报名资料:12.10-12.12
开发:12.12~12.15
作品提交:12.16
作品初评:12.17~12.23(评委会投票)
大赛线上路演:12.28
作品颁奖:12.30

图片

主题:Explore the Possibilities

背景介绍

AI 大模型的时代已经来临,大模型训练和推导对数据访问速率的要求也比较高,在某些场景下对存储系统的压力会变得非常大。其中的一种访问 pattern 描述如下:在短时间内,集群中大多数机器对某一个(或者几个)大文件需要同步读取,如果能够在机器之间进行 p2p 的数据传输,存储服务的压力会大大减小,最终提高整个系统的运行效率。

赛题介绍

DatenLord 是跨云分布式文件系统,对上层提供 Posix 兼容的文件系统接口,同时针对多云多数据中心的场景进行数据访问加速。DatenLord 使用了本地缓存来加速文件访问速度,缓存中的数据从后端的持久化存储中读取,例如 S3 兼容的对象存储。在某些极端场景中,集群会对同一个或者几个大文件同时进行读取,此时后端的持久化存储的读取压力会剧增,大大降低整个系统的性能和响应速度。针对这种场景,我们需要对这种数据访问模式进行优化,实现缓存之间的 p2p 传输。请参赛选手(或者队伍)针对这种场景,为 DatenLord 设计并实现缓存 p2p 传输和同步模块。

项目目标

  1. 实现 SIMPLE 内存缓存。
  2. 实现 p2p 文件分发协议,以加速缓存升级。
  3. 实施测试以验证上述内容是否完成,并找到评估性能的方法。

项目假设

  1. 为简单起见,只使用内存缓存,不使用磁盘缓存。
  2. 文件按块存储在 S3 中,块大小固定。
  3. 文件元数据保存在本地内存中,例如 HashMap。假设它们在所有节点之间保持一致。

评估标准

达坦科技评委会将基于以下三个标准对于提交的作品进行评估:

  1. 实现功能的完整性
  2. 实现性能的优异
  3. 代码的规范程度

注意事项

  1. 每支队伍成员限制1-5人 
  2. 第一行代码commit时间不得早于12月11号23:59,否则视为违规,取消比赛资格 
  3. 每个项目一个独立目录提交,文件名为团队拼音 
  4. 代码统一提交至:https://github.com/datenlord/Hackathon-2023/

报名链接即将于12月10日关闭,感兴趣的同学欢迎抓紧时间报名参加!
报名链接:https://www.wjx.cn/vm/rm8zjUu.aspx#

如有任何问题欢迎联系达坦科技微信小助手:DatenLord_Tech或发送邮件至info@datenlord.com

达坦科技(DatenLord)专注下一代云计算——“天空计算”的基础设施技术,致力于拓宽云计算的边界。达坦科技打造的新一代开源跨云存储平台DatenLord,通过软硬件深度融合的方式打通云间壁垒,实现数据高效跨云访问,建立海量异地、异构数据的统一存储访问机制,为云上应用提供高性能安全存储支持。以满足不同行业客户对海量数据跨云、跨数据中心高性能访问的需求。
公众号:达坦科技DatenLordDatenLord官网:https://datenlord.github.io/zh-cn/知乎账号:https://www.zhihu.com/org/da-tan-ke-jiB站:https://space.bilibili.com/2017027518


Datenlord
14 声望6 粉丝

DatenLord专注打造新一代云原生高性能存储平台,实现跨云、跨数据中心之间数据高速访问,从而极大提升存储系统的可扩展性,满足企业客户海量数据跨地域高速访问需求,在互联网、金融、电信、能源等不同行业均有广...