阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist，并宣布开源！

导读

一直以来，大模型在模型效果上被证明具有显著优势。而ChatGPT的出现，证明了其在工业生产工具方面具有巨大潜力。毫无疑问，大模型的训练需要巨大的算力，这对分布式并行框架是一项考验。现如今，业界越来越多的团队纷纷转向分布式框架的研究与开发之中，既有针对特定场景特定模型的极致手工优化，也包括面向通用模型通用场景的自动分布式工作。然而，它们在实际生产场景仍然有一些挑战。一方面，对于手工优化的框架，虽然其特定情况下的性能较为极致，但通用性存在限制。另一方面，现有的自动分布式框架可能在通用性和性能方面表现较好，但通常需要忍受较长的策略搜索时间，进而对业务落地产生一定的影响。为了应对以上问题，PAI 团队推出并开源了TePDist（Tensor Program Distributed System），它通过在HLO上做分布式策略搜索，实现与用户模型语言解耦。并且在保持通用性的同时，在可接受的策略搜索时间内，追求高性能分布式策略。

TePDist背后的技术框架如何设计？未来有哪些规划？今天一起来深入了解。

完整内容请点击下方链接查看：

https://developer.aliyun.com/article/1196049?utm_content=g_10...

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。