引言
DeepSeek-R1是由中国的深度求索(DeepSeek)公司开发的大模型，用低成本以及更小的算力规模实现了美国顶级AI模型的效果。
DeepSeek已遵循MIT协议实现了开源，本文介绍使用百度智能云GPU服务器来实现DeepSeek的本地部署。
模型部署
安装环境
硬件环境
- 百度智能云 GPU 服务器。
计算型 GN5 服务器， 推荐最低配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G显存，搭配 100GB SSD 数据盘， 安装 Windows Server 2022系统 。
- 如果您使用自己的环境部署
建议 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少8G以上显存。服务器配置建议最低配置为 8 核 32 G 100G 磁盘，5M 带宽。
软件环境
- Ollama 0.5.7或更高版本
- ChatBox 1.9.8或更高版本
- Windows Server 2022或更高版本
- Nvidia驱动版本572.13， CUDA工具版本12.8 或更高版本
安装步骤
购买服务器
- 安装操作系统
- 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。
- 通过 VNC 登录实例，安装 GPU 驱动程序。
通过浏览器进入NVIDIA官方驱动下载地址，选择相应驱动下载进行安装，本教程我们选择538.78， CUDA版本为12.2。
安装Ollama
- Windows客户端安装。
- 从官方下载地址下载，保证最新版本，下载好后直接运行安装。
- 安装完毕会自动运行，右下角可以看到这个图标：
- 打开windows poershell或才CMD命令行终端，输入ollama命令，回车，即可显示ollama命令的使用帮助。
下载DeepSeek模型
DeepSeek包含1.5b, 7b, 8b, 14b, 32b, 70b, 671b不同参数级别，参数越大，精度越高，模型效果越好，根据自己的GPU显存大小选择不同的参数级别。
由于A10 GPU只有24G显存，我们可以安装14b模型版本，如果您的显存80G，那么推荐安装70b模型版本。
执行如下命令，ollama会自动下载模型并加载运行，出现success提示时，说明模型加载完成，可以愉快的跟大模型交流了。
ollama run deepseek-r1:14b
配置远程访问
Ollama 启动的默认地址为 http://localhost:11434/ ，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。
- 停止ollama 服务
右下角这个图标，右键选择退出 。
- 设置环境变量
OLLAMA_HOST，OLLAMA_ORIGINS
右键"此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。
| 环境变量名 | 变量值 | 说明 |
|---|---|---|
| OLLAMA_HOST | :8888 | 根据业务需要更改Ollama的监听地址和端口 |
| OLLAMA_ORIGINS | * | 允许跨域访问，方便浏览器调用Ollama的API |
设置环境变量，表示监听在0.0.0.0:8888上。
设置完毕环境变量，打开新的powershell或者CMD命令行终端， 重新启动ollama服务并加载模型。
ollama run deepseek-r1:14b
模型应用
使用ChatBox对话
模型部署完成后，我们可以使用命令行或者API与模型进行对话，但在交互上总是不太方便，我们可以使用ChatBox工具，通过交互界面与模型对话。
- ChatBox官方网地址：https://chatboxai.app/zh ， 从官网上下载最新工具，安装完毕后，我们来配置本地模型。
如果chatbox和ollama运行在同一服务器上，ollama地址可以选择本地127.0.0.1地址，否则需要输入实际地址。
- 与模型对话
API调用
开启远程连接之后，您就可以远程调用API了，示例如下，10.10.3.10替换为您服务器IP。
curl http://10.10.3.10:8888/api/generate -d '{
"model": "deepseek-r1",
"prompt": "你是谁？"
}'流式输出：
如果想要get更多大模型技巧，推荐学习
工信部教考中心x百度推出的《生成式人工智能应用工程师》
百度推出的《百度AI大模型工程师》
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。