技术融合实战！Ollama携手Deepseek搭建知识库，Continue入驻VScode

作者：京东科技 杨菲

前言

在科技浪潮汹涌澎湃的今天，人工智能与软件开发工具不断迭代升级，深度融合前沿技术来满足个性化知识管理与开发需求，已然成为技术爱好者和开发者们竞相探索的方向。本文将利用 Ollama、Deepseek-R1、AnythingLLM 搭建强大的本地个人知识库，并详细介绍 Continue 在 VScode 中的本地集成，带你解锁全新的技术应用体验，开启高效知识管理与开发的新征程。

一、Ollama+Deepseek-R1+AnythingLLM本地个人知识库搭建

在搭建强大的本地个人知识库以及提升开发效率的技术体系中，Ollama、DeepSeek-R1 和 AnythingLLM 扮演着举足轻重的角色。Ollama 作为模型运行与管理工具，是整个技术架构中的关键枢纽，负责模型的高效调度；DeepSeek-R1 凭借其卓越的语言理解和生成能力，为后续的知识处理和应用提供核心支持；AnythingLLM 则凭借丰富功能，助力构建多样化知识体系，丰富知识储备。

1、Ollama安装

1) 安装前了解

Ollama 是什么？

Ollama 是一个开源项目，用于运行和管理大型语言模型（LLM）的工具或平台。它提供了一个简化的框架，让用户能够在个人计算机或服务器上部署和运行这些模型，而无需依赖云端服务。Ollama 支持多种模型，并允许用户通过命令行或 API 与模型进行交互。

为什么 DeepSeek 本地化部署先安装 Ollama？

DeepSeek 是一个基于大型语言模型的应用，可以独立配置部署。

不过使用Ollama 提供的本地化部署能力，有以下几个原因：

1.模型管理：Ollama 简化了大型语言模型的下载、安装和管理，DeepSeek 需要这些模型来运行。

2.本地运行：Ollama 支持在本地运行模型，确保数据隐私和安全，这对 DeepSeek 的本地化部署至关重要。

3.性能优化：Ollama 针对本地环境进行了优化，确保模型在本地硬件上高效运行，提升 DeepSeek 的性能。

4.依赖集成：在其它工具中集成能简化部署、高效管理模型、优化性能，还能借助社区生态拓展应用。

2）官网下载

打开官网：ollama官网 （ https://ollama.com/ ），点击DownLoad，选择与自己电脑匹配的版本进行下载，我的电脑是Mackbook Pro，芯片是 Apple M3 Pro，所以下载macOS。



3）安装Ollama

下载到本地后，只需双击对应的下载包，按照安装向导的提示逐步完成安装操作。安装完成后，点击启动按钮，此时你便能在电脑右上角的任务栏中看到已启动的 Ollama 应用图标，

然后使用浏览器检查是否安装启动成功，地址： http://localhost:11434/ ,如果页面显示“Ollama is running”，则代表启动成功



📢 后面的安装，注意不要退出Ollama哦\~

2、DeepSeek-R1安装

1）安装前了解

deepseek-r1下载方式

方式有"Download via Ollama"和"Download via Hugging Face"途径下载，本文是通过ollama来下载，直接打开地址选好模型： deepseek-r1下载 （ https://ollama.com/library/deepseek-r1 ）

为什么 Apple M3 Pro 18GB 的设备最后还是要选择DeepSeek-R1 的 1.5b 版本？

按照理想状态的选择逻辑是：

•最佳选择：7b 版本（尤其是量化版本），在性能和资源占用之间取得最佳平衡。

•轻量级选择：1.5b 版本，适合对性能要求不高的场景。

•高性能选择：如果 DeepSeek-R1 提供 8b 量化版本，可以尝试运行，但需要监控内存使用情况。

但实际运行发现，如果涉及代码较多的改动或生成个小项目，电脑会卡顿，所以：

对于 Apple M3 Pro 18GB 的设备，推荐运行 DeepSeek-R1 的 1.5b 版本。如果任务稍复杂，可以选择 DeepSeek-R1 的 7b 版本。但是运行较大模型时，务必监控内存使用情况，避免系统资源不足。

📢 我本机使用的DeepSeek-R1 的 7b版本，后续介绍依于此哈！！！

硬件配置可以参考

模型参数规模	典型用途	CPU 建议	GPU 建议	内存建议 (RAM)	磁盘空间建议	适用场景
1.5b (15亿)	小型推理、轻量级任务	4核以上 (Intel i5 / AMD Ryzen 5)	可选，入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存)	8GB	10GB 以上 SSD	小型 NLP 任务、文本生成、简单分类
7b (70亿)	中等推理、通用任务	6核以上 (Intel i7 / AMD Ryzen 7)	中端 GPU (如 NVIDIA RTX 3060, 12GB 显存)	16GB	20GB 以上 SSD	中等规模 NLP、对话系统、文本分析
14b (140亿)	中大型推理、复杂任务	8核以上 (Intel i9 / AMD Ryzen 9)	高端 GPU (如 NVIDIA RTX 3090, 24GB 显存)	32GB	50GB 以上 SSD	复杂 NLP、多轮对话、知识问答
32b (320亿)	大型推理、高性能任务	12核以上 (Intel Xeon / AMD Threadripper)	高性能 GPU (如 NVIDIA A100, 40GB 显存)	64GB	100GB 以上 SSD	大规模 NLP、多模态任务、研究用途
70b (700亿)	超大规模推理、研究任务	16核以上 (服务器级 CPU)	多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存)	128GB	200GB 以上 SSD	超大规模模型、研究、企业级应用
671b (6710亿)	超大规模训练、企业级任务	服务器级 CPU (如 AMD EPYC / Intel Xeon)	多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存)	256GB 或更高	1TB 以上 NVMe SSD	超大规模训练、企业级 AI 平台

2）安装deepseek-R1

直接在你的终端执行命令行，顺畅开启后续的任务流程吧

ollama run deepseek-r1:7b

耐心等待下，这里需要几分钟，等命令执行完成，如下即为成功

2）经过一番精心的操作与耐心的等待，终于完成了命令行版本的本地化部署，让我们简单试试它。在命令行输入”你是谁？”



如果你怀揣着对更优质界面和更安全个人知识库的期待，那么请不要错过接下来的内容。它将为你指引一条通往更高效、更安全使用体验的道路，让你的本地化部署发挥出更大的价值。

3、AnythingLLM安装

1）安装前了解

AnythingLLM是什么？

AnythingLLM 是一个易于使用的、集成的一体化AI应用，它能够进行检索增强生成（RAG）和AI代理等功能，无需代码或基础设施的担忧。

为什么选择AnythingLLM？

它是一个零设置、私有化且集成了本地LLM、检索增强生成（RAG）和AI代理的一体化应用，所有功能在一个地方实现，无需繁琐的开发者配置。同时它是基于 Javascript 开发，前端工程师对其技术栈可能更熟悉，易于上手和进行二次开发。

MacBook Pro M3 下载哪个？

MacBook Pro M3 采用的是苹果自研的基于 ARM 架构的 Apple Silicon 芯片。“Download for Apple Silicon” 版本的软件是针对这种架构进行原生开发和优化的，所以下载Silicon版本。

2）安装AnythingLLM

安装步骤

a. 访问AnythingLLM官网下载： anythingllm官网 （ https://anythingllm.com/desktop ）

****

b.打开客户端，点击Get Started, 进入LLM Preference页面选择选择使用Ollama模型工具，



后面的直接点击"Skip"，然后后续可以在主界面的设置里进行详细设置

设置步骤

a. 这时进入主界面，点击【左下角】的设置进行详细设置



b. 设置外观如下，选择Theme主题，语言和默认聊天消息内容，我选中的是“黑色主题”、“中文”和每次启动消息“您好，我是菲同学，请问需要什么帮助吗？”。



c. 配置模型

选择人工智能提供商 > LLM首选项， LLM提供商选择“ollama”， ollama Model选择安装好的deepseek-r1：7b版本，你们要依据自己安装好的模型进行选择



投喂教程

📢 官网有详细说明：参见 anythingllm官网文档

a. 本地文档投喂

点击工作区的上传按钮，将本地的文档上传



我上传一个“中登2.2”的word文档，上传后选中文档，点击“Move to Workspace”，然后保存





这个时候你的本地投喂就完成了，让我们简单测试下成果，新建一个知识库问答，提问“中登2.2主要说了哪些内容，概括为100字以内”，效果如下





b.浏览器内容投喂

浏览器投喂功能需要同时设置浏览器和Anything LLM客户端，下面我们进行详细的讲解

1）浏览器投喂需要先安装一个扩展程序来支持，打开浏览器设置扩展程序： anythingllm扩展程序 ，点击右上角“添加至Chrome”



打开chrome://extensions/，这时就可以看到自己安装的扩展程序了，为了使用方便，在浏览器的右上角扩展程序显示区域也加上“AnythingLLM Browser Companion”的显示



2）Anything LLM客户端设置

打开Anything LLM客户端，点击Anything LLM的 设置 > 工具 > 浏览器扩展，然后

选择右侧面板的“Generate New API Key”按钮，生成API Key

复制下面的“connecting string”

点击chrome浏览器右侧的Anything LLM扩展程序图标，点击展开，粘贴刚才复制的“Anything LLM Connecting String”

点击“Connect”连接





连接成功后状态如下



然后我们将内网的一篇文章投喂它，因牵涉公司信息安全，所以我以一个外网网站为例：选择“AnythingLLM Browser Companion” 》 “Embedentirepagetoworkspace” 》 “你自己的工作区名称，这里我起名【公司内部文档】”





检验下成果吧，新建对话“第一财经网站”，提问“根据内部文档查阅，新闻排行周榜的前三个是什么标题？”，效果如下，看结果不错哦\~





好了，到这里个人知识库本地化集成终于结束了，赶快用起来吧。



二、 Ollama+Deepseek-R1+Continue本地集成VScode

1）安装前知识点

Continue 介绍

详情可参照官网： continue官网

Continue 是 Visual Studio Code 和 JetBrains 中领先的开源 AI 代码助手。

•在侧边栏中进行聊天以理解和迭代代码。

•自动补全，以便在输入时接收内联代码建议。

•编辑功能可让你无需离开当前文件即可修改代码。

•操作功能用于为常见用例建立快捷方式。

2）安装 VSCode

首先，确保你已经安装了 VS Code 编辑器。如果尚未安装，可以从 VSCode 官网（https://code.visualstudio.com/download ）下载并安装。

3）安装conitinue插件

a.打开 VSCode 编辑器。

b.在 VSCode 的插件中心，搜索 “Continue”。

c.找到 “Continue” 插件后，点击 “安装” 按钮进行安装。安装完成后，在 VSCode 左侧侧栏中会增加一个对应的图标，这就是 Continue 的主界面。



安装完成之后，重启下continue，vscode上就会出现continue图标，点击“continue”出现主界面

4）本地集成VScode配置

点击continue输入框的左下角，点击“+ Add Chat model”，然后进行配置





配置Provider为“Ollama”，Modal选择“Autodetect”，点击“Connect”





到这里就配置完成了，让我们测试下成果吧，输入问题“你是什么模型？”





通过以上步骤，你就完成了 Continue 在 VSCode 中的本地集成，能够借助其强大的功能提升编程效率，享受更加智能、便捷的开发体验。

三、总结

成功把 Ollama、Deepseek - R1 和 Continue 集成到 VScode 之后，确实避免了很多问题！先说说数据安全，以前总在网络搜索，心里总有点不踏实，现在都在本地搞定，再也不用担心信息泄露了，做涉及敏感信息的项目，安全感满满，对咱开发者来说，这可太香了。

不过，这集成也不是十全十美的。对电脑硬件要求有点高，如果电脑配置不太给力，模型响应速度就会变慢，有时候等得还挺着急，多少还是会影响点效率。但总体来说，这次集成真的让我学到了不少，绝对是一次超值得尝试的技术实践！强烈推荐大家也试试！