之前的文章里提出过问题 本地运行大语言模型有什么用。今天就参考B站Xuan_酱的视频 最适合普通人的本地AI知识库!彻底颠覆办公/创作工作流 !【小白教程】 来实际讲解一个本地运行大语言模型的使用案例。本文添加了更多的操作细节、一些思考和疑问。
一句话介绍Obsidian:Obsidian是一款强大的知识管理和笔记应用程序。我们可以免费使用Obsidian,当然它也有需要付费使用的高级版本。我们的目标就是让deepseek来助力Obsidian更好的管理本地知识库。
整个过程分为两大步
- 使用Ollama下载chat model和embedding model
- 在Obsidian里配置使用Ollama下载的model
Ollama下载大模型
Ollama是一个开源工具,可以帮助我们在本地快速部署和运行大语言模型。下载安装好Ollama后,执行两条命令来安装需要的大模型。
ollama pull deepseek-r1:14b
这条命令用来下载chat model,如之前文章所述,这里需要根据机器的配置选择合适的模型。我在Mac mini m4上跑deepseek-r1:14b(9GB)无任何压力,所以选择这个大模型。如果机器性能不强,可以选择7b(4.7GB)或1.5b(1.1GB)的大模型。
ollama pull bge-m3
这条命令用来下载embedding model。embedding model是什么在下面会提到。
Obsidian配置使用Ollama下载的大模型
启用第三方插件
Obsidian下载后默认不启用第三方插件(community plugins),我们需要在设置里启用第三方插件。
安装copilot插件
启用插件后,重新打开设置界面,点击浏览插件
搜索copilot插件并安装(这一步需要科学上网)。
安装完成后能在插件列表里看到安装的copilot插件。
在copilot插件页面启用下载的大模型
打开Obsidian设置页面的Copilot插件页面,可以看到默认的chat model是gpt,embedding model是text-embedding-3-small。
这时在Obsidian的copilot chat窗口里是没办法做自然语言交互的,提示 No valid chat model available. Please check your API key settings。我们需要把chat model和embedding model设置成最开始使用Ollama下载的大模型。
在Copilot settings的Model子页面的Chat Models下点击Add Custom Model,输入最开始下载的大模型名称,选择Ollama作为provider,启用CORS,点击verify确认成功,最后点击Add Model。
使用类似的方式添加bge-m3作为embedding model。
最后一步启用上面添加的两个大模型。
这里点击Embedding Model下面的问号可以看到对Embedding Model的解释。
配置过程到此结束,下面就来体验一下。
体验
打开Copilot Chat窗口,把chat model切换成之前设置的chat model deepseek-r1:14b,让它自动给我生成一个文章摘要。
Obsidian工作片刻后,给出了我想要的文章摘要。工作过程中虽然看到名为Obsidian Helper(Render)和Obsidian Helper(GPU)两个进程的CPU合计占用率峰值超过了35%,但并没有影响到我在电脑上做其他的事情,看来在Mac mini m4上运行这套方案是可行的。
断开电脑网络后,我依然可以丝滑的用自然语言和Obsidian交互。说明了这套方案本身是完全不依赖于网络环境的。对于有数据隐私担忧的人来说,也是个好消息。
总结
这个使用案例说明了在本地电脑运行大模型是可以助力日常工作的。因为数据不需要上传到第三方服务器,我们完全无需担心本地数据、隐私的安全性。但本地电脑的算力毕竟有限,这套方案能否高质量的助力工作还需要进一步的验证。后续我也会继续深度体验这个方案,期待能有更新的发现。
疑问
- Obsidian的copilot插件是如何和大模型交互的呢?
- 其他文本编辑工具(如Office)也是这样使用AI的吗?
- 市面上有完整解决方案的替代品吗?
本地运行大模型这条路是未来的方向吗?
本文由博客一文多发平台 OpenWrite 发布!
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。