QwQ-32B 测评和使用教程来了！

原创 张龙斐 Datawhale

 Datawhale干货 

作者：张龙斐，Datawhale鲸英助教

昨天凌晨，阿里开源了全新的推理模型：QwQ-32B。

据官方发布消息，该模型性能比肩满血版 DeepSeek-R1（671B）！

可以看到在官方放出的评测图中， QwQ-32B 与满血版 DeepSeek R1（671B）在五项基准测试的得分不相上下，更是远超同尺寸 R1 蒸馏模型。

看到了这些消息后，我就开始上手深度测试。

QwQ-32B开源链接：

魔搭开源链接：https://modelscope.cn/models/...

huggingface开源链接：https://huggingface.co/Qwen/Q...

在线体验地址：

https://chat.qwen.ai/?models=...

本地部署：保姆级实战教程

我在 AutoDL 上租用一张 4090，本地部署了一个 QwQ-32B-AWQ 量化版本。

写了个保姆级部署教程，因篇幅原因，大家可以按需查看～

教程地址：https://datawhaler.feishu.cn/...

根据命令行打印的信息可以看到模型在一张 4090 GPU 上完美运行。我给他测试了最近很火的问题：

9.11 和 9.9 哪个更大？

推理一共花了 21.39 秒，结果如下所示：

实测下来，QwQ-32B-AWQ 量化版本显存占用不到 18GB ，一张 4090 绰绰有余。而 32B 的 QwQ，也是完美适配消费级硬件。

性能实测

在 QwQ-32B 的性能方面，我分了代码能力、数学能力和逻辑能力三个维度进行测评。

首先是代码能力，我让它“编写一个 python 脚本，显示一个球在旋转的六边形内部弹跳。球应该受到重力和摩擦的影响，并且必须真实地弹跳 off 转动的墙壁。”

可以看到，整个球体的弹跳和撞击特别真实，就连小球带动大框的效果都做出来了，很好的还原了真实的物理场景。

而 Grok-3 在这个问题上直接就炸了，小球直接自由落体。

然后我试了试它的数学能力。最近正好考研成绩出了，我就拿了两道数一的考研题进行了测试：

题目一：回答完全正确。

题目二：回答完全正确。

数学和代码作为 QwQ-32B 的主攻方向，确实是效果极佳。

最后的逻辑推理能力实测来自 unlock-deepseek 项目群。

有一道很有意思的题目：

下面我会给你一道数学单选题，请选出正确答案。题目信息如下：

下面说法正确的是（   ）．

A：跳远测距离，根据的是两点之间线段最短．

B：跳高杆不会掉落，是因为两点确定一条直线．

C：多条跑道找捷径，根据的是垂线段最短．

D：同一路口白色斑马线互相平行，是因为过直线外一点有且只有一条直线与已知直线平行．

这道题有多难呢，大家可以试试看，模型的思考过程真的特别精彩，上演了足足 7 分多钟的左右脑互搏。。

但是 QwQ 还是回答出了正确答案。

结合数学、代码、逻辑推理三个维度的实测，QwQ 的实力还是挺强悍的，一点也不输几个主流的超大杯参数的推理模型。

Agent 相关能力：Function Call

QwQ-32B 中还集成了与 Agent（智能体）相关的能力，支持函数调用。于是我也测试使用了一下，搭建了一个股票数据分析 Agent：

import os

成果展示：

支持 Function Call 不仅增强了模型的实际应用能力，还能使它能够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。

写在最后

总体来说，这次通义开源的 QwQ-32B 推理模型还是很不错的：

• 第一是 32B 小参数模型性能与超大参数的推理模型性能不相上下，做到了在保证性能的同时降低对计算资源的依赖，从而实现更加环保、可持续的AI技术发展；
• 第二是响应速度也是相当不错的，不会遇到服务器繁忙的情况；
• 第三是它支持 function call 功能，这一点对于模型开发来说有多重要就不必多说了。

如今，距离 o1 模型发布不过五个月，推理模型领域已经迎来了百花齐放的新局面。

犹记得前段时间大家还在全网寻找 "满血版"DeepSeek-R1 的使用渠道，转眼间就出现了小尺寸且性能强悍的 QwQ-32B 模型。这个量级在本地部署没太大压力，也可以在阿里云百炼平台调用 QwQ 的 API 进行开发。对于创业者、小型团队，或者想要做专业 AI 应用的公司而言，成本大大降低。

自 2023 年 8 月以来，通义千问累计开源了 200 多款模型。很低调，但在做实事，真正在推动大模型技术的普惠和应用的落地，促进国内大模型生态的繁荣。

向通义千问团队致敬。

一起“点赞”三连↓