2024年6月,国内优质大模型应用月之暗面Kimi与清华大学MADSys实验室(Machine Learning, AI, Big Data Systems Lab)联合发布了以 KVCache 为中心的大模型推理架构 Mooncake。通过使用以 KVCache 为中心的 PD 分离和以存换算架构,大幅提升大模型应用Kimi智能助手推理吞吐的同时有效降低了推理成本,自发布以来受到业界...
2024 OSCAR 开源产业大会合作伙伴:大家好!近年来,数字经济已成为全球经济发展的新引擎和新动能,开源也从开源软件拓展延伸至开放数据、开放标准、开放人工智能模型、开放内容等多种形态,为科技创新、产业开放、经济共享、全球可持续发展提供了坚实基础。过去一年,我们不仅见证了开源生态的蓬勃发展,更成为了推动这...