🎉近日,智谱重磅开源!!包括:
- 基座模型 GLM-4-32B-0414
- 推理模型 GLM-Z1-32B-0414
- 沉思模型 GLM-Z1-Rumination-32B-0414
GpuGeek抢先全面接入智谱GLM-Z1系列推理模型,希望各位AI极客拥有更高效、智能的使用体验~🥰
模型介绍:
基座模型 GLM-4-32B-0414
新一代开源模型 GLM-4-32B-0414 系列,320 亿参数,效果比肩 OpenAI 的 GPT 系列和 DeepSeek 的 V3/R1 系列,且支持非常友好的本地部署特性。GLM-4-32B-Base-0414 经过 15T 高质量数据的预训练,其中包含大量推理类的合成数据,这为后续的强化学习扩展打下了基础。在后训练阶段,除了针对对话场景进行了人类偏好对齐外,还通过拒绝采样和强化学习等技术强化了模型在指令遵循、工程代码、函数调用方面的效果,加强了智能体任务所需的原子能力。GLM-4-32B-0414 在工程代码、Artifacts 生成、函数调用、搜索问答及报告等方面都取得了不错的效果,部分 Benchmark 甚至可以媲美更大规模的 GPT-4o、DeepSeek-V3-0324(671B)等模型。
推理模型 GLM-Z1-32B-0414
GLM-Z1-32B-0414 是具有深度思考能力的推理模型,这是在 GLM-4-32B-0414 的基础上,通过冷启动和扩展强化学习,以及在数学、代码和逻辑等任务上对模型的进一步训练得到的。相对于基础模型,GLM-4-Z1-32B-0414 显著提升了数理能力和解决复杂任务的能力。在训练的过程中,还引入了基于对战排序反馈的通用强化学习,进一步增强了模型的通用能力。
沉思模型 GLM-Z1-Rumination-32B-0414
GLM-Z1-Rumination-32B-0414 是具有沉思能力的深度推理模型(对标Open AI的Deep Research)。不同于一般的深度思考模型,沉思模型通过更长时间的深度思考来解决更开放和更复杂的问题(例如:撰写两个城市AI发展对比情况,以及未来的发展规划),沉思模型还能在深度思考过程中结合搜索工具处理复杂任务,并利用多种规则型奖励来指导和扩展端到端强化学习训练。GLM-4-Z1-Rumination 在研究型写作和复杂检索任务上的能力得到了显著提升。
小尺寸模型 GLM-Z1-9B-0414
最后,GLM-Z1-9B-0414 是一个惊喜。沿用上述一系列技术,训练了一个保持开源传统的 9B 小尺寸模型。尽管规模更小,GLM-4-Z1-9B-0414 在数学推理和通用任务中依然展现出极为优秀的能力,其整体表现已处于同尺寸开源模型中的领先水平。特别是在资源受限的场景下,该模型在效率与效果之间实现了出色的平衡,为追求轻量化部署的用户提供了强有力的选择。
使用说明:
I. 采样参数
Parameter | Recommended Value | Description |
---|---|---|
temperature | 0.6 | Balances creativity and stability |
top_p | 0.95 | Cumulative probability threshold for sampling |
top_k | 40 | Filters out rare tokens while maintaining diversity |
max_new_tokens | 30000 | Leaves enough tokens for thinking |
II. 强制性思考(Enforced Thinking)
• 在第一行添加 <think>\n:确保模型在回答前进行思考
• 使用 chat_template.jinja 时,该提示将自动注入,以强制模型遵循该行为
III. 对话历史裁剪(Dialogue History Trimming)
• 仅保留最终用户可见的回复,隐藏的思考内容不应保存进历史记录,以减少对后续生成的干扰——这一机制已在 chat_template.jinja 中实现
IV. 处理长上下文(YaRN)
• 当输入长度超过 8,192 tokens 时,考虑启用 YaRN(Rope Scaling)。
• 对于支持的框架,你可以在 config.json 中修改一下配置:
"rope_scaling": {
"type": "yarn",
"factor": 4.0,
"original_max_position_embeddings": 32768
}
• Static YaRN 可能会对短文本生成的性能略有影响,请按需开启。
想了解更多信息,请前往:GpuGeek-弹性|便捷|划算,您的专属AI云
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。