你好,我是阮小贰,
老规矩,我们还是先来看看搭建完的知识库效果。
比如,我想让DeepSeek告诉我“吕毅是谁?”。
那么,吕毅到底是谁呢?
其实,我也不知道,他是我从网上下载的一篇网络小说里面的一个男性角色。
那么,为了让大家更加直观地好理解,我们来做个简单的对比。
首先,我们先去官网直接提问看看,这是官方给出的答案。
看来,官方也不知道吕毅是谁(废话)。
然后,在我们搭建完私有化知识库之后,再来提问试试。
OK,看到了吧,这就是知识库的意义所在。
那么......科普时间到了。
一、什么是知识库?
知识库(Knowledge Base)是一个存储和管理知识的系统,通常包含结构化和非结构化的信息,用于帮助用户或系统快速查找和获取相关知识。
你可以把它想象成一个“知识仓库”,里面存放着各种有用的信息,比如文档、常见问题解答(FAQ)、数据库、规则、案例等。
举个栗子:
假设你是一家公司的客服人员,客户问你一个关于产品的问题。
如果你有一个完善的知识库,你可以直接在知识库中搜索相关产品的使用说明或常见问题解答,快速找到答案并回复客户。
如果没有知识库,你可能需要去问同事或查找一堆文档,效率会低很多。
那说到知识库,这里我们又不得不提到另外一个词——RAG.
然后,问题又来了,那么......
二、什么是RAG?
RAG(Retrieval Augmented Generation,检索增强生成)是一种让大语言模型(LLM)变得更聪明的方法。
简单来说,它通过给模型提供一个外部的“知识库”,让模型在回答问题时可以“查资料”,从而给出更准确、更相关的答案。
举个栗子:
想象一下,大模型就像一个学生,而RAG系统就是一本字典。
当学生遇到不懂的问题时,他可以翻开字典查找相关的解释,然后再根据字典里的内容回答问题。
这样,学生不仅能回答得更准确,还能避免“瞎编”答案。
那么,当大模型遇到不懂的问题时,他也可以查字典,也就是RAG系统。
三、为什么需要RAG?
- 大模型的知识有限:大模型的知识主要来自它训练时用的数据,而这些数据是有限的,尤其是企业内部的业务知识或产品信息,模型可能完全不了解。
- 微调成本高:如果想让大模型学习企业特定的知识,通常需要微调模型,但这不仅成本高,而且效果也不一定好。
- 幻觉问题:大模型在不熟悉的领域可能会“瞎编”答案,这在企业应用中是不可接受的,尤其是那些需要准确信息的场景。
这里,我先贴出一个 RAG 的运作流程图。
大家看看就好。
好了,废话不多说,接下来就带大家具体实操了,
如何用DeepSeek + Cherry Studio在本地搭建私有知识库。
四、具体搭建实操步骤
步骤一:下载Cherry Studio可视化工具
不懂怎么操作的先去看这篇文章
步骤二:部署DeepSeek模型 + Embedding模型
那么,这里又分为两种方式
方式一:下载去官网下载Ollama工具
好处: 可以实现本地部署DeepSeek模型 + Embedding模型,免费
坏处: 需要一定的电脑配置才行,不然模型就很鸡肋
不懂怎么操作的先去看这篇文章
方式二:注册硅基流动账号
好处: 不用本地部署
坏处: 调用云端的模型服务需要一定的费用,但是也不贵。
今天我们重点介绍的是第二种方式———硅基流动+Cherry Studio 搭建本地私有知识库。
因为Cherry Studio 0.9.1更新后有一个知识库功能,
我们可以使用Cherry Studio 来实现本地知识库,帮你更好的获取需要的内容,废话不多说直接开始。
大致简要步骤如下:
- 注册硅基流动(SiliconFlow)账号,因为需要配置 Embedding(嵌入式模型),注册成功后你会获得系统赠送的14R(2000W Token)
- 登录硅基流动(SiliconFlow)平台,
- 创建API秘钥并配置AI密钥
- 添加DeepSeek模型 + Embedding嵌入模型
- 创建知识库
硅基流动官网地址:
https://cloud.siliconflow.cn/i/kNMFyaxB
注册账号和登录平台的步骤这里我就直接省略过了。
这里没啥好说的。
4.1、新建API秘钥,名字随便。
然后点击 API 秘钥会自动进行复制,
拿到API秘钥后到Cherry Studio客户端内,
点击左下角【设置】——》将复制的API秘钥填写进去即可。
4.2、检查API密钥是否有效
点击右边的检查,会提示成功还是失败,当提示成功表示可以使用
如果密钥有效,会提示连接成功。
接下来就可以添加模型了。
4.3、添加DeepSeek推理模型
- 点击底部的 【管理按钮】,在模型管理服务中查找模型,点击【全部】默认就能看到;
- 找到需要的模型,点击右侧【+】添加到我的模型。
4.4、添加Embeding嵌入模型
我们需要添加嵌入式模型,否者无法使用知识库功能。
- 点击底部的 【管理按钮】,在模型管理服务中查找模型,也可以点击“嵌入模型”快速筛选;
- 找到需要的模型,点击右侧【+】添加到我的模型。
这里需要注意下,
BAAI/bge-m3模型是免费的,
Pro/BAAI/bge-m3模型是收费的,
区别的话官网有介绍,可以去看看,
我这里用 Pro/BAAI/bge-m3 进行演示。
4.5、 创建知识库
- 知识库入口:在 CherryStudio 左侧工具栏,点击知识库图标,即可进入管理页面;
- 添加知识库:点击添加,开始创建知识库;
- 命名:输入知识库的名称并添加嵌入模型,以 Pro/BAAI/bge-m3 为例,即可完成创建。
4.6、添加文件并向量化
- 添加文件: 点击添加文件的按钮,打开文件选择;
- 选择文件: 选择支持的文件格式,如 pdf,docx,pptx,xlsx,txt,md,mdx 等,并打开;
- 向量化: 系统会自动进行向量化处理,当显示完成时(绿色 ✓),代表向量化已完成
4.7、添加多种来源的数据
Cherry Studio 支持多种添加数据的方式:
- 文件夹目录: 可以添加整个文件夹目录,该目录下支持格式的文件会被自动向量化;
- 网址链接: 支持网址url,如:https://www.xiaoerpro.com/;
- 站点地图: 支持xml格式的站点地图,如:https://www.xiaoerpro.com/sitemap.xml;
- 纯文本笔记: 支持输入纯文本的自定义内容。
- 向量化: 当显示绿色 "√" 表示向量化完成,点击 探索知识库按钮即可开始查询
4.8、 搜索知识库
当文件等资料向量化完成后,即可进行查询:
- 点击页面下方的搜索知识库按钮;
- 输入查询的内容;
- 呈现搜索的结果;
- 并显示该条结果的匹配分数。
这里我随便上传一个txt来做测试,
为了做这个知识库的测试,
我还专门跑到一个小说网站下载了一篇txt格式的网络小说。
4.9、 输入关键词搜索知识库
比如,这里我输入:”吕毅“
4.10、 对话中引用知识库生成回复
- 创建一个新的话题,在对话工具栏中,点击知识库,会展开已经创建的知识库列表,选择需要引用的知识库;
- 输入并发送问题,模型即返回通过检索结果生成的答案 ;
- 同时,引用的数据来源会附在答案下方,可快捷查看源文件。
OK,其实到这里其实已经差不多就完成了,
然后,为了更好的使用知识库,
我们还可以再新建一个 助手 下面需要填写 提示词,
提示词太长,我把链接地址放下面,自己去复制即可。
https://github.com/richards199999/Thinking-Claude/blob/main/model_instructions/v5.1-extensive-20241201.md
这里的prompt复制后,在对应的对话界面的提示词中粘贴即可。
将提示词 粘贴进来,点击关闭后即可使用。
正常思考会很长,可以选择将代码块折叠打开,不会占用太多排版。
然后在 助理的聊天界面底部,将知识库打开选中,
OK,到此就大功告成,可以直接使用了。
Cherry Studio 还有其他功能,
例如翻译,生图等,可以自己去捣鼓下。
最后,关于Token的计算,
可以看看下面这张图:
好了,以上就是本期所有啦,
基本上能看到这里的都是人中龙凤!
如果觉得不错,随手点个赞、在看、转发三连吧!
谢谢你耐心看完我的文章~❤️❤️❤️
个人博客:小二项目网
本文由mdnice多平台发布
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。