全球最强端侧模型来了!面壁「小钢炮」MiniCPM 4.0,实现220倍速度提升

中国

全球最强端侧模型 MiniCPM 4.0 发布,性能与速度大幅提升,树立端侧基础模型新标杆。MiniCPM 4.0 分为 8B 和 0.5B 两种参数版本,分别在长文本推理速度、存储效率及端侧设备适配上实现突破,并通过多项技术创新优化了模型架构、训练算法及推理系统。

关键点

  • MiniCPM 4.0 包括 8B 和 0.5B 两种参数版本,8B 版本长文本推理速度稳定提高 5 倍,极限场景下最高加速 220 倍,且显著减少缓存存储需求。
  • 0.5B 版本针对端侧设备优化,训练开销仅为更大模型的 2.7%,性能翻倍,每秒可处理 600 token。
  • MiniCPM 4.0 引入 InfLLM v2 架构,采用稀疏注意力层,提升长文本处理效率,同时通过「高效双频换挡」机制兼顾长短文本任务。
  • 推理层面通过自研 CPM.cu 框架、低位宽量化技术及跨平台部署框架,实现端侧推理加速。
  • MiniCPM 系列全平台下载量已超 1000 万,研究人员提出「密度定律」,语言模型能力密度每 100 天翻倍。
阅读 194
0 条评论