DatenLord Hackathon 2023正式启动!达坦科技基于其跨云分布式文件系统DatenLord项目,结合AI大模型时代背景,搭建了擂台,在此正式向您发出邀约!
本次大赛赛题深刻有趣,奖品丰厚多样,借此机会您不仅可以尽情施展才华、与来自全国各地优秀的青年才俊们同台PK,更将有机会与优秀的评委教师对话交流。Clock is Ticking!无需犹豫,行动起来,抓住机遇,创造奇迹!
大赛时间线
本次挑战赛于11月18日开放报名。赛事日程表已经新鲜出炉:
报名+组队:11.18~12.10
组委会整理报名资料:12.10-12.12
开发:12.12~12.15
作品提交:12.16
作品初评:12.17~12.23(评委会投票)
大赛线上路演:12.28
作品颁奖:12.30
主题:Explore the Possibilities
背景介绍
AI 大模型的时代已经来临,大模型训练和推导对数据访问速率的要求也比较高,在某些场景下对存储系统的压力会变得非常大。其中的一种访问 pattern 描述如下:在短时间内,集群中大多数机器对某一个(或者几个)大文件需要同步读取,如果能够在机器之间进行 p2p 的数据传输,存储服务的压力会大大减小,最终提高整个系统的运行效率。
赛题介绍
DatenLord 是跨云分布式文件系统,对上层提供 Posix 兼容的文件系统接口,同时针对多云多数据中心的场景进行数据访问加速。DatenLord 使用了本地缓存来加速文件访问速度,缓存中的数据从后端的持久化存储中读取,例如 S3 兼容的对象存储。在某些极端场景中,集群会对同一个或者几个大文件同时进行读取,此时后端的持久化存储的读取压力会剧增,大大降低整个系统的性能和响应速度。针对这种场景,我们需要对这种数据访问模式进行优化,实现缓存之间的 p2p 传输。请参赛选手(或者队伍)针对这种场景,为 DatenLord 设计并实现缓存 p2p 传输和同步模块。
项目目标
- 实现 SIMPLE 内存缓存。
- 实现 p2p 文件分发协议,以加速缓存升级。
- 实施测试以验证上述内容是否完成,并找到评估性能的方法。
项目假设
- 为简单起见,只使用内存缓存,不使用磁盘缓存。
- 文件按块存储在 S3 中,块大小固定。
- 文件元数据保存在本地内存中,例如 HashMap。假设它们在所有节点之间保持一致。
评估标准
达坦科技评委会将基于以下三个标准对于提交的作品进行评估:
- 实现功能的完整性
- 实现性能的优异
- 代码的规范程度
注意事项
- 每支队伍成员限制1-5人
- 第一行代码commit时间不得早于12月11号23:59,否则视为违规,取消比赛资格
- 每个项目一个独立目录提交,文件名为团队拼音
- 代码统一提交至:https://github.com/datenlord/Hackathon-2023/
报名链接即将于12月10日关闭,感兴趣的同学欢迎抓紧时间报名参加!
报名链接:https://www.wjx.cn/vm/rm8zjUu.aspx#
如有任何问题欢迎联系达坦科技微信小助手:DatenLord_Tech或发送邮件至info@datenlord.com
达坦科技(DatenLord)专注下一代云计算——“天空计算”的基础设施技术,致力于拓宽云计算的边界。达坦科技打造的新一代开源跨云存储平台DatenLord,通过软硬件深度融合的方式打通云间壁垒,实现数据高效跨云访问,建立海量异地、异构数据的统一存储访问机制,为云上应用提供高性能安全存储支持。以满足不同行业客户对海量数据跨云、跨数据中心高性能访问的需求。
公众号:达坦科技DatenLordDatenLord官网:https://datenlord.github.io/zh-cn/知乎账号:https://www.zhihu.com/org/da-tan-ke-jiB站:https://space.bilibili.com/2017027518
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。