Qwen Team 推出了 QwQ-32B-Preview，这是一个旨在提升 AI 推理和分析能力的实验性研究模型。该模型具有 32,768 个 token 的上下文长度，采用了先进的 transformer 架构，在数学、编程和科学基准测试（如 GPQA 和 MATH-500）中表现出色。模型已发布在 Hugging Face 平台上，邀请研究人员探索其功能并为其发展做出贡献。

模型架构与技术特点

QwQ-32B-Preview 是一个基于因果语言模型的 transformer 架构模型，采用了以下关键技术：

• Rotary Positional Embedding (RoPE)：用于增强位置编码能力。
• SwiGLU：激活函数，提升模型性能。
• RMSNorm：归一化技术，优化训练稳定性。
• Attention QKV bias：增强注意力机制的表现。

模型包含 64 层和 40 个注意力头，专为需要深度推理的任务设计。其 32,768 个 token 的上下文长度使其能够处理大规模输入并解决复杂的多步骤问题。

本地应用表现

GenAI 专家 Axel Dittmann 在本地测试中（使用 M3-Max MAC 并将模型转换为 GGUF 格式）发现，QwQ-32B-Preview 的速度表现出色，适合本地应用场景。他指出，结合推理能力和定制精度的混合架构是理想的解决方案，未来将推动更智能的本地化 AI 应用与更强大的云端能力相结合。

基准测试结果

QwQ-32B-Preview 在多个高难度基准测试中取得了显著成绩：

• GPQA（研究生级 Google-proof Q&A）：得分 65.2%，展示了在科学问题解决中的强大推理能力。
• AIME（美国数学邀请赛）：得分 50.0%，解决了代数、几何和概率等高级数学问题。
• MATH-500：得分 90.6%，展示了在多种数学主题上的理解能力。
• LiveCodeBench：得分 50.0%，验证了其在真实编程场景中生成和分析代码的能力。

已知挑战与局限性

尽管表现出色，QwQ-32B-Preview 仍存在一些问题和局限性：

• 语言混合：模型有时会意外切换语言，降低回答的清晰度。
• 递归推理循环：可能陷入循环论证，导致冗长的输出而无法得出结论。
• 通用推理能力：在常识和细微语言理解方面有待提升。
• 安全性：需要加强安全措施，以确保在需要高信任度和责任性的应用中的可靠和道德部署。

获取与未来计划

QwQ-32B-Preview 可通过 Hugging Face 获取，相关文档和源代码可在 GitHub 上访问。Qwen Team 鼓励研究人员探索模型功能并为其改进做出贡献。未来更新将致力于解决当前局限性，并提升其在更广泛 AI 应用中的表现。