之前的文章里提出过问题 本地运行大语言模型有什么用。今天就参考B站Xuan_酱的视频 最适合普通人的本地AI知识库!彻底颠覆办公/创作工作流 !【小白教程】 来实际讲解一个本地运行大语言模型的使用案例。本文添加了更多的操作细节、一些思考和疑问。

一句话介绍Obsidian:Obsidian是一款强大的知识管理和笔记应用程序。我们可以免费使用Obsidian,当然它也有需要付费使用的高级版本。我们的目标就是让deepseek来助力Obsidian更好的管理本地知识库。

整个过程分为两大步

  1. 使用Ollama下载chat model和embedding model
  2. 在Obsidian里配置使用Ollama下载的model

Ollama下载大模型

Ollama是一个开源工具,可以帮助我们在本地快速部署和运行大语言模型。下载安装好Ollama后,执行两条命令来安装需要的大模型。

ollama pull deepseek-r1:14b

这条命令用来下载chat model,如之前文章所述,这里需要根据机器的配置选择合适的模型。我在Mac mini m4上跑deepseek-r1:14b(9GB)无任何压力,所以选择这个大模型。如果机器性能不强,可以选择7b(4.7GB)或1.5b(1.1GB)的大模型。

ollama pull bge-m3

这条命令用来下载embedding model。embedding model是什么在下面会提到。

Obsidian配置使用Ollama下载的大模型

启用第三方插件

Obsidian下载后默认不启用第三方插件(community plugins),我们需要在设置里启用第三方插件。

Obsidian enable community plugins

安装copilot插件

启用插件后,重新打开设置界面,点击浏览插件
Obsidian install copilot 1

搜索copilot插件并安装(这一步需要科学上网)。
Obsidian install copilot 2

安装完成后能在插件列表里看到安装的copilot插件。
Obsidian install copilot 3

在copilot插件页面启用下载的大模型

打开Obsidian设置页面的Copilot插件页面,可以看到默认的chat model是gpt,embedding model是text-embedding-3-small。
Obsidian copilot default settings

这时在Obsidian的copilot chat窗口里是没办法做自然语言交互的,提示 No valid chat model available. Please check your API key settings。我们需要把chat model和embedding model设置成最开始使用Ollama下载的大模型。

在Copilot settings的Model子页面的Chat Models下点击Add Custom Model,输入最开始下载的大模型名称,选择Ollama作为provider,启用CORS,点击verify确认成功,最后点击Add Model。
Obsidian add deepseek

使用类似的方式添加bge-m3作为embedding model。
Obsidian add bge-m3

 最后一步启用上面添加的两个大模型。
Obsidian use deepseek bge-m3

这里点击Embedding Model下面的问号可以看到对Embedding Model的解释。

Obsidian embedding model desc

配置过程到此结束,下面就来体验一下。

体验

打开Copilot Chat窗口,把chat model切换成之前设置的chat model deepseek-r1:14b,让它自动给我生成一个文章摘要。

Obsidian copilot chat experience

Obsidian工作片刻后,给出了我想要的文章摘要。工作过程中虽然看到名为Obsidian Helper(Render)和Obsidian Helper(GPU)两个进程的CPU合计占用率峰值超过了35%,但并没有影响到我在电脑上做其他的事情,看来在Mac mini m4上运行这套方案是可行的。

断开电脑网络后,我依然可以丝滑的用自然语言和Obsidian交互。说明了这套方案本身是完全不依赖于网络环境的。对于有数据隐私担忧的人来说,也是个好消息。

总结

这个使用案例说明了在本地电脑运行大模型是可以助力日常工作的。因为数据不需要上传到第三方服务器,我们完全无需担心本地数据、隐私的安全性。但本地电脑的算力毕竟有限,这套方案能否高质量的助力工作还需要进一步的验证。后续我也会继续深度体验这个方案,期待能有更新的发现。

疑问

  • Obsidian的copilot插件是如何和大模型交互的呢?
  • 其他文本编辑工具(如Office)也是这样使用AI的吗?
  • 市面上有完整解决方案的替代品吗?
  • 本地运行大模型这条路是未来的方向吗?

    本文由博客一文多发平台 OpenWrite 发布!

人月新话
1 声望0 粉丝