• 还在为 OpenAI API 的高额账单和 Token 限制而烦恼吗?
  • 还在担忧代码和配置被 AI 编码工具上传到云端吗?
  • 还在被离线开发折磨吗?
  • 想拥有一个完全由你掌控、私密安全、免费无限量 Token 的 AI 编程伙伴吗?

今天,我就手把手带你解锁这个终极奥义:利用强大的 Ollama 运行最新的 devstral:latest 模型,配合 Windows Docker Desktop 部署酷炫的 OpenWebUI,最后无缝集成到 VS Code 的 CodeGPT (原名 Codegpt a.k.a. Cline) 扩展中,让你在编码世界中如虎添翼,灵感无限!

你将获得:
✅ 完全免费:告别按 Token 计费的时代。
✅ 无限 Token:只要你的硬件顶得住,想写多长就写多长。
✅ 本地运行,数据私密:代码和对话数据不出本地,安全放心。
✅ 高性能编码模型:体验专为开发者优化的 Devstral 模型。
✅ 丝滑的 VS Code 集成:在最熟悉的编辑器中享受 AI 辅助。

听起来是不是已经热血沸腾了?让我们开始吧!

🛠️ 第一步:Ollama 加持,请出 Devstral 大神

Ollama 是一个让你在本地轻松运行开源大语言模型的工具。devstral 是 Mistral AI 推出的专为开发者设计的模型,代码生成、解释、调试能力超强。

安装 Ollama:

访问 Ollama 官网。下载并安装适合你操作系统(Windows, macOS, Linux)的 Ollama。Windows 用户安装后,Ollama 会在后台运行,并通过任务栏图标访问。

运行 Devstral 模型:
打开你的命令行终端(Windows 用户可以使用 PowerShell 或 CMD):

ollama pull devstral:latest
Use code with caution.

这个命令会下载最新的 devstral 模型。模型文件较大 ( 14GB ),请耐心等待。
下载完成后,你可以尝试运行一下(可选,主要为了确认模型可用):

ollama run devstral:latest "write a python function to download a file from a url"
Use code with caution.

看到模型输出 Python 代码,就说明 Ollama 和 Devstral 已经准备就绪!Ollama 默认会在 http://localhost:11434 提供 API 服务。

🐳 第二步:Windows Docker Desktop 部署 OpenWebUI

OpenWebUI (前身是 Ollama WebUI) 提供了一个美观且功能丰富的聊天界面,可以连接到 Ollama,并且能提供 OpenAI 兼容的 API 接口,这是我们后续连接 VS Code 的关键。
安装 Docker Desktop for Windows:
如果你的 Windows 还没有安装 Docker Desktop,请前往 Docker 官网 下载并安装。
确保 Docker Desktop 正在运行,并且已经切换到使用 WSL 2 后端(通常是默认设置)。
运行 OpenWebUI 容器:
打开 PowerShell 或 CMD,执行以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://host.docker.internal:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

命令解释:

-d: 后台运行容器。
-p 3000:8080: 将容器内的 8080 端口映射到主机的 3000 端口。这样你就可以通过 http://localhost:3000 访问 OpenWebUI。
--add-host=host.docker.internal:host-gateway: 关键步骤! 这允许 Docker 容器内的 OpenWebUI 访问到运行在 Windows 主机上的 Ollama 服务(Ollama 监听在 localhost:11434,对于容器来说就是 host.docker.internal:11434)。
-v open-webui:/app/backend/data: 将 OpenWebUI 的数据持久化到名为 open-webui 的 Docker volume 中,防止容器删除后数据丢失。
-e OLLAMA_BASE_URL=http://host.docker.internal:11434: 关键步骤! 告诉 OpenWebUI 去哪里找 Ollama 的 API。
--name open-webui: 给容器取个名字,方便管理。
--restart always: 容器退出时总是自动重启。
ghcr.io/open-webui/open-webui:main: OpenWebUI 的官方 Docker 镜像。

访问 OpenWebUI 并创建账户:
等待片刻,让容器启动。
打开浏览器,访问 http://localhost:3000
首次访问,会提示你注册一个管理员账户。填写邮箱、用户名和密码即可。
连接模型并生成 API Key:
登录 OpenWebUI 后,它应该会自动检测到你本地 Ollama 中的 devstral:latest 模型。你可以在聊天界面选择它。

点击左下角你的用户名 -> "设置"。
在设置菜单中,找到 "API 密钥" (API Keys) 选项。
点击 "新建密钥" (Create new key),给它取个名字(例如 vscode-key),设置过期时间(或永不过期),然后点击创建。

复制并保存好生成的 API Key,例如 sk-xxxxx...。这个 Key 非常重要,我们马上会用到。
现在,你的 OpenWebUI 已经配置完成,并且提供了一个 OpenAI 兼容的 API 接口,地址是 http://localhost:3000/v1

💻 第三步:VS Code + Cline 扩展,释放 AI 编程超能力

Cline ( cline.bot ) 是 VS Code 上一款非常流行的 AI 辅助编程扩展。
安装 CodeGPT 扩展:
打开 VS Code。
进入扩展市场 (快捷键 Ctrl+Shift+X)。
搜索 "Cline" 并安装它(通常是 cline.bot 开发的那个)。
配置 Cline 连接到 OpenWebUI:
在 VSCode 的界面左侧导航图标栏目中点击外星人头像一样的那个图标 (小电视中间两个大的竖点)
Provider: 选择 OpenAI compatible (或者如果它有 OpenAI Compatible 类似的选项,选那个)。
API Key: 粘贴你刚才从 OpenWebUI 生成的 API Key (例如 sk-xxxxx...)。
API Base URL / Endpoint: 输入 http://localhost:3000/api/ (这是 OpenWebUI 提供的 OpenAI 兼容 API 地址)。
Model: 选择或手动输入模型名称。由于 OpenWebUI 已经连接了 Ollama,这里你应该可以填入 devstral:latest

image.png
(这是一个示意图,具体UI可能随版本更新)

请注意: 根据 Cline 扩展版本的不同,设置项的名称和位置可能略有差异。关键是找到设置 API Key、Base URL 和 Model 的地方。

开始你的无限 Token AI 编程之旅:
配置完成后,你就可以在 VS Code 中使用 Cline 了!
提问/聊天:打开 Cline 的聊天侧边栏,选择 devstral:latest 模型,开始对话,让它帮你解释代码、生成代码片段、debug 等。
代码操作:选中一段代码,右键点击,你会看到 Cline 提供的各种功能,如 "Explain "、"Refactor Cline"、"Generate Unit Test Cline" 等。

因为所有请求都发送到你本地的 OpenWebUI -> Ollama -> Devstral,所以完全免费,且没有 Token 限制!

🎉 总结与展望

恭喜你!现在你拥有了一套完全本地化、免费且无 Token 限制的 AI 编程环境。从 Ollama 运行强大的 Devstral 模型,到 Docker 部署美观的 OpenWebUI,再到 VS Code 的无缝集成,每一步都让你离 AI 辅助开发的自由更近一步。

温馨提示:
硬件资源:运行大型语言模型对 CPU、内存(RAM)和显卡(GPU VRAM,如果 Ollama 使用 GPU 加速)有一定要求。如果感觉卡顿,可以尝试运行更小的模型,或者检查你的硬件配置。
防火墙:确保 Windows 防火墙没有阻止 Docker Desktop 或 Ollama 的网络访问,特别是 host.docker.internal 的通信。
Ollama GPU 支持:如果你的 Windows 系统有 NVIDIA 显卡,Ollama 可以利用它进行加速。确保你的 NVIDIA 驱动是最新的,并且 Ollama 能正确识别。
模型选择:devstral 很棒,但 Ollama 支持众多模型,你也可以尝试 codellama, mistral, llama3 等其他模型,看看哪个最合你口味。
现在,尽情享受编码的乐趣,让这个本地 AI 伙伴助你一臂之力,创造更多可能吧!如果你觉得这篇教程有用,别忘了分享给你的朋友们!

希望这篇博客能帮到你!


Airy
2.4k 声望69 粉丝

github.com/airylinus