主要观点:MiniMax 推出了 MiniMax-M1 开放权重语言模型,用于长上下文推理和工具使用,基于 MiniMax-Text-01,采用混合专家架构和新“闪电注意力”机制,总参数达 4560 亿,支持 100 万令牌的上下文长度,通过大规模强化学习训练,有两个版本,在多个基准测试中表现出色,如长上下文任务、软件工程、工具使用和推理型数学基准等,但也存在实践中的局限性,如运行时间长等,同时支持结构化函数调用,可通过 HuggingFace 获得,部署推荐 vLLM,开发者可通过 MiniMax MCP Server 进行实验。
关键信息:
- 模型名称:MiniMax-M1,基于 MiniMax-Text-01
- 架构特点:混合专家架构,“闪电注意力”机制
- 参数规模:456 亿参数,每令牌 45.9 亿活跃
- 上下文长度:100 万令牌
- 训练方式:大规模强化学习
- 版本:40K 和 80K
- 评估方式:自定义 RL 缩放方法,引入 CISPO 算法
- 基准测试表现:在长上下文任务、软件工程等方面表现优秀
- 实践局限性:运行时间长,如下棋需整晚
- 支持功能:结构化函数调用,可通过 HuggingFace 和 MiniMax MCP Server 使用
重要细节: - 在 OpenAI-MRCR 128K 测试中得 73.4%,LongBench-v2 测试中得 61.5%
- 在 SWE-bench Verified 中得 56.0%
- 在 TAU-bench 航空公司和零售测试中分别得 62.0%和 63.5%
- 在 AIME 2024 中得 86.0%
- 某 Reddit 用户称其在函数调用和长上下文方面表现出色
- 有人指出其可用性为零,运行下棋等任务时间长
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。