头图

中国AI大模型领域再添新星!!QwQ-32B大语言模型以其精巧的设计和卓越的性能,引发了业界的广泛关注。与参数量高达6710亿的DeepSeek R1 (其中370亿被激活) 相比,QwQ-32B仅有320亿参数,但其性能却能与之媲美,甚至在某些测试中超越了 DeepSeek R1。这意味着,无需天价算力、无需复杂调参,人人都能拥有专属的智能大脑。

近来,GpuGeek云平台上线了在vLLM环境部署QwQ-32B参数模型进行推理,使用OpenWebUI在浏览器中进行对话的镜像。通过GpuGeek云平台的强大算力,免受各种限制,只需5分钟,即可随时随地畅快体验专属于你的QwQ-32B模型。

以下是在GpuGeek云平台上使用QwQ-32B模型的攻略:

Step 1:注册并登录GpuGeek云平台,点击左上方「镜像市场」进入

地址:https://gpugeek.com/login?invitedUserId=909705696&source=invited

Step 2:选择「QwenLM/Qwen2.5/QwQ-32B」镜像,点击右侧「创建实例」

Step 3:创建成功后跳转到实例控制台

Step 4:点击登录,复制登录信息组建SSH隧道

4.1 点击如下图所示的“登录“按钮,复制图片中的【登录指令】和【登录密码】

复制后的登录指令和登录密码如下:

登录指令:ssh -p 51132 root@proxy-qy.gpugeek.com
密码:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

4.2 组建SSH隧道命令

ssh -CNg -L 8080:127.0.0.1:8080 root@proxy-qy.gpugeek.com -p 51132

其中:
(1)root@proxy-qy.gpugeek.com是实例中SSH指令的登录地址
(2)51132是登录端口,需根据自己实例的ssh指令做相应替换
(3)8080是指代理实例内8080端口映射到本地电脑的8080端口来完成SSH隧道连接

4.3 打开本地电脑的终端并建立SSH隧道连接

(1)Windows系统可以使用cmd(快捷方式win+R并输入cmd)、powershell、终端等工具;
(2)Mac系统可以使用终端或者iterm工具。
将上面组建后的SSH隧道命令复制到对应工具中,然后回车后输入实例对应的密码。
(第一次建立连接可能询问“是否继续”,输入yes并回车即可输入密码)
执行如上命令后,没有任何输出是正常的。
注意:Windows下的cmd/powershell可能会提示密码错误,是因为无法粘贴,手动输入即可(输入密码时不会显示正在输入的密码)。

Step 5:打开浏览器输入 http://localhost:8080 访问OpenWebUI

默认账号:admin@163.com
默认密码:admin123

(如出现提示“选择一个模型“,点击网页刷新按钮,刷新后QwQ-32B模型自动出现)
现在,开始使用专属于你的QwQ-32B模型啦!!
使用场景实例:


GpuGeek
1 声望1 粉丝

GpuGeek,成就AI极客!