作者:京东云 李凯
在当下的科技领域,DeepSeek 无疑是一颗耀眼的明星,近期关于它的话题热度持续飙升,引发了无数技术爱好者和行业从业者的热烈讨论。大家纷纷被其强大的大数据处理能力和广泛的应用前景所吸引,急切地想要深入探索和使用这一先进的模型。然而,当人们满怀期待地访问 DeepSeek 官网时,却遭遇了令人头疼的问题 —— 官网响应极其缓慢,常常让等待的时间变得漫长而煎熬,严重影响了大家获取信息和使用服务的效率。
不过,现在有一个绝佳的解决方案摆在我们面前。今天,就让我们一同深入学习如何巧妙利用京东云电脑,快速部署一个功能强大的私人 DeepSeek 大数据模型。这个模型不仅无使用限制,还能自由联网,更可自定义自己的专属知识库,能够满足你多样化的使用需求,为你带来前所未有的便捷体验。
为什么要部署私人大数据模型?
或许你会心生疑惑,既然有众多便捷的云端 AI 服务可供选择,为何还要大费周章地进行私人部署呢?实际上,本地部署私人 DeepSeek 大数据模型有着诸多不可替代的独特优势。
1.免费使用,降低成本:在当今的 AI 服务领域,许多云端服务都需要按使用量付费,对于频繁使用 AI 模型的用户来说,这无疑会带来一笔不菲的开支。而本地部署,一旦完成初始的环境搭建与模型下载,便无需再支付额外的使用费用,就像拥有了一台专属的 AI 超级助手,随时待命,却不会产生任何后续的经济负担。
2.数据隐私保护:当我们使用云端 AI 服务时,数据会被上传至第三方服务器,这意味着我们的隐私数据可能面临泄露的风险。而本地部署将数据完全存储在本地,就如同将珍贵的宝藏锁在自己的保险柜里,只有自己拥有钥匙,极大地保障了数据的安全性和隐私性,让我们可以毫无顾虑地处理敏感信息。
3.无网络依赖,随时随地使用:云端服务对网络的依赖性极高,一旦网络出现波动或中断,服务便无法正常使用。而本地部署的 AI 模型则摆脱了这种束缚,无论身处网络信号良好的繁华都市,还是网络覆盖薄弱的偏远地区,只要设备正常运行,就能随时随地调用模型,享受高效稳定的 AI 服务,就像拥有了一个随叫随到的私人智能秘书。
4.灵活定制,满足个性化需求:不同的用户在使用 AI 模型时,往往有着不同的需求和偏好。本地部署赋予了我们充分的自主控制权,我们可以根据自己的实际需求,自由调整模型的参数和配置,添加个性化的功能,打造专属于自己的独一无二的 AI 模型,使其更贴合我们的工作和生活场景。
5.性能与效率优势:本地部署能够充分利用本地设备的硬件资源,避免了云端服务中可能出现的网络延迟和资源竞争问题,从而实现更快的响应速度和更高的运行效率。在处理复杂任务时,本地部署的模型能够迅速给出结果,大大提升了工作效率,让我们在与时间赛跑的竞争中抢占先机。
6.无额外限制:一些云端 AI 服务可能会对使用时长、请求次数、生成内容等设置限制,这在一定程度上束缚了我们的使用体验。而本地部署的模型则没有这些限制,我们可以尽情发挥创意,自由探索 AI 的无限可能,充分满足我们对技术的好奇心和探索欲。
DeepSeek 各版本示意
在深入探讨部署过程之前,我们先来了解一下 DeepSeek 模型的不同版本及其特点,这将有助于我们更好地选择适合本地部署的模型。DeepSeek 模型主要有满血版和蒸馏版两个版本,它们在多个方面存在明显差异。
•满血版指的是 DeepSeek 的完整版本,通常具有非常大的参数量。例如,DeepSeek-R1 的满血版拥有 6710 亿个参数。这种版本的模型性能非常强大,但对硬件资源的要求极高,通常需要专业的服务器支持。例如,部署满血版的 DeepSeek-R1 至少需要 1T 内存和双 H100 80G 的推理服务器。
•蒸馏版本是通过知识蒸馏技术从满血版模型中提取关键知识并转移到更小的模型中,从而在保持较高性能的同时,显著降低计算资源需求。蒸馏版本的参数量从 1.5B 到 70B 不等,比如以下几种变体:
•DeepSeek-R1-Distill-Qwen-1.5B
•DeepSeek-R1-Distill-Qwen-7B
•DeepSeek-R1-Distill-Qwen-14B
•DeepSeek-R1-Distill-Qwen-32B
•DeepSeek-R1-Distill-Llama-8B
•DeepSeek-R1-Distill-Llama-70B
DeepSeek-R1 是主模型的名字;Distill 的中文含义是 “蒸馏”,代表这是一个蒸馏后的版本;而后面跟的名字是从哪个模型蒸馏来的版本,例如 DeepSeek-R1-Distill-Qwen-32B 代表是基于千问(Qwen)蒸馏而来;最后的参数量(如 671B、32B、1.5B):表示模型中可训练参数的数量( “B” 代表 “Billion” ,即十亿。因此,671B、32B、1.5B 分别表示模型的参数量为 6710亿、320亿和15亿。),参数量越大,模型的表达能力和复杂度越高,但对硬件资源的需求也越高。
1.对于本地部署而言,蒸馏版是更为合适的选择。一方面,它对硬件的要求相对较低,不需要昂贵的多 GPU 服务器,普通用户使用配备合适显卡的电脑即可完成部署,降低了硬件成本和技术门槛。另一方面,虽然蒸馏版在性能上相较于满血版有所降低,但在很多实际应用场景中,其性能表现依然能够满足需求,性价比极高。
购买和登录云电脑
访问京东云官网(https://www.jdcloud.com/),使用京东APP扫码进入管理控制台,购...
当前官网有试用活动,可以在首页进入试用中心(https://www.jdcloud.com/cn/pages/free_center),找到4核8G云电脑9.9元7天使用活动,下单。
下单完成后,按照指导登录云电脑。
搭建 Ollama 服务
在本地部署 DeepSeek 大数据模型的过程中,Ollama 扮演着至关重要的角色,它是一个开源的 LLM(Large Language Model,大型语言模型)服务工具,就像是一位贴心的助手,专门用于简化和降低大语言模型在本地的部署和使用门槛 ,让我们能够更加轻松地在本地环境部署和管理 LLM 运行环境,快速搭建起属于自己的 AI 模型服务。
接下来,我们将以在 Windows Server 2016 系统环境中部署 Ollama 为例,详细介绍其安装和部署步骤。
首先,我们需要下载 Ollama 的安装文件。
Ollama 官方为 Windows、Linux 以及 MacOS 等多种主流系统都提供了对应的安装文件,我们可以直接从 Ollama 官网的下载页面(https://ollama.com/download )获取。在下载页面中,找到 Windows 系统对应的安装包,点击 “Download for Windows ” 进行下载。
下载完成后,我们只需一路点击 “install” 进行安装即可。安装过程就像安装普通的软件一样简单,按照安装向导的提示逐步操作,很快就能完成安装。
安装完成之后,我们需要验证 Ollama 是否安装成功。首先检查任务栏中是否有Ollama的图标。
然后打开一个 cmd 命令窗口,输入 “ollama” 命令,如果显示 ollama 相关的信息,那就证明安装已经成功了。这就好比我们安装完一款游戏后,打开游戏能够正常显示游戏界面,就说明游戏安装成功了一样。
为了让 Ollama 在系统启动时自动运行,我们还需要将其添加为启动服务。在 Windows 系统中,我们可以通过以下步骤来实现:
1.打开 “服务” 窗口。我们可以通过在 “运行” 对话框中输入 “services.msc” 并回车来快速打开。
2.在 “服务” 窗口中,找到 “Ollama” 服务(如果没有找到,可以先在 cmd 命令窗口中输入 “ollama serve” 启动 Ollama 服务)。
3.右键点击 “Ollama” 服务,选择 “属性”。
4.在 “属性” 窗口中,将 “启动类型” 设置为 “自动”,然后点击 “确定” 保存设置。
这样,当我们的系统下次启动时,Ollama 服务就会自动启动,随时准备为我们提供服务,就像我们设置了闹钟,每天早上闹钟会自动响起,提醒我们新的一天开始了一样。
运行 DeepSeek 模型
当 Ollama 服务成功搭建并顺利启动后,我们就可以着手使用它来运行 DeepSeek 模型了。打开模型的官网地址:https://ollama.com/library/deepseek-r1。
这里我们选择1.5b的模型,复制后面的内容。
各模型版本说明
模型版本 | 所需空余空间 | 部署命令 | 配置说明 |
---|---|---|---|
1.5b | 1.1GB | ollama run deepseek-r1:1.5b | 适用于内存为4G的电脑,参数规模较小,适合轻量级任务。 |
7b | 4.7GB | ollama run deepseek-r1:7b | 适用于内存为16G的电脑,参数规模适中,适合中等复杂度的任务。 |
8b | 4.9GB | ollama run deepseek-r1:8b | 适用于内存为16G的电脑,参数规模适中,适合中等复杂度的任务。 |
14b | 9GB | ollama run deepseek-r1:14b | 适用于内存为16G的电脑,参数规模较大,适合较高复杂度的任务。 |
32b | 20GB | ollama run deepseek-r1:32b | 适用于内存较大的电脑,参数规模大,适合高复杂度任务和高准确性要求。 |
70b | 43GB | ollama run deepseek-r1:70b | 适用于内存较大的电脑,参数规模极大,适合极高复杂度任务和高准确性要求。 |
671b | 404GB | ollama run deepseek-r1:671b | 基础大模型,参数数量最多,模型容量极大,适合处理海量知识和复杂语言模式的任务。 |
在命令行中,我们输入 “ollama run deepseek-r1: 版本号”,由于我们上面复制了,直接鼠标右键就可以粘贴成功。
回车后,开始下载
耐心等待后,见如下提示success表示下载成功。
可以问他一些问题,如下:
图形客户端配置本地知识库
利用 CherryStudio 搭建知识宝库
Cherry Studio 是一款强大的聚合主流大语言模型服务的桌面工具,为我们搭建本地知识库提供了便捷的途径,宛如一位贴心的知识管家,帮助我们高效地管理和利用知识。
1.下载与安装:打开 Cherry 官网(https://cherry-ai.com/download ),根据自己的操作系统选择适配的版本进行下载。下载完成后,按照默认设置进行安装即可。
2.选择 DeepSeek R1 模型:启动 Cherry Studio 后,首先需要配置模型服务。我们把在硅基流动中申请的 API 密钥添加进去,这就像是给模型服务配了一把钥匙,让它能够顺利开启。如果还没有申请过密钥,可以在 API 秘钥下方点击 “这里获取密钥”,进入硅基流动官网,点击创建 API 密钥即可。完成密钥添加后,在下方添加 DeepSeek R1 模型,具体路径为 deepseek-ai/DeepSeek-R1 ,也可以点击下方管理按钮找到 DeepSeek 模型直接添加。添加完成后,点击检查按钮进行测试,当看到检查按钮变成绿色对钩,就表示测试通过,我们已经成功与 DeepSeek R1 模型建立了联系。
3.搭建本地知识库:点击管理按钮,选择嵌入模型,这里我们可以把常用的几个嵌入模型都添加进去,为后续的知识处理做好准备。确认添加后,就能看到之前添加的嵌入式模型了。接着,点击左侧知识库按钮,添加本地文档。在弹出的窗口中,填写知识库名称,选择合适的嵌入模型,然后上传本地文件。Cherry Studio 支持多种类型的知识上传,包括文件、目录、网址、笔记等等,非常方便。比如我们上传了一个《三体》全集,当出现对钩时,就表示文件处理完成,已经成功加入到我们的知识库中了。
4.使用知识库:在聊天窗口选择知识库图标,选中之前创建的知识库,如我们创建的 “test” 知识库。现在,就可以在聊天区域询问有关知识库的问题了。比如我们询问 “《三体》中三体人的科技特点是什么?”,DeepSeek R1 模型就会结合知识库中的《三体》内容,给出准确而详细的回答,让我们轻松获取所需的知识。
Page Assist 实现本地模型联网
Page Assist 是一款开源浏览器扩展程序,它就像是一座桥梁,为本地 AI 模型与网络之间搭建起了沟通的渠道,让我们的本地 DeepSeek 模型能够实现联网搜索,获取更广泛的信息。
1.安装 Page Assist 插件:打开我们常用的浏览器(建议使用 Chrome 或 Edge),在浏览器的扩展商店中搜索 “Page Assist”,找到对应的插件后点击安装。安装完成后,插件会在浏览器的插件栏中显示。
2.配置 Page Assist:安装完成后,在浏览器的插件列表中点击打开 Page Assist。在 Page Assist 的 Web UI 界面中,首先选择刚刚下载的 DeepSeek 模型,确保模型与插件正确连接。接着,在 “RAG 设置” 中,确保选择了深度求索模型,为联网搜索做好准备。
3.使用联网功能:回到主界面,此时界面已经是中文版,使用起来更加方便。点击 “Page Assist” 插件,点击上方的下拉菜单,选择已经安装的模型。然后将聊天框的联网按钮开关打开,就可以进行联网搜索了。比如我们询问 “最近的科技新闻有哪些?”,模型就会通过联网获取最新的科技资讯,并给出回答,让我们及时了解行业动态。为了更好地利用知识,我们还可以添加嵌入模型,通过 “ollama pull nomic-embed-text” 命令下载嵌入模型,然后在插件里 RAG 设置中选择嵌入模型。具体操作是点击右上角齿轮【设置】——》【RAG 设置】——》选择文本嵌入模型 ——》点击【保存】按钮即可。这样,模型在处理问题时能够更好地理解文本的语义和关联,提供更准确的回答。
Anything LLM 打通本地知识库以及联网设置
Anything LLM 专注于文档知识库与问答场景,自带向量检索管理,就像是一个智能的知识搜索引擎,能够实现多文档整合,为我们打造一个强大的本地知识库问答系统,同时它也支持联网设置,让知识获取更加全面。
1.下载与安装:打开 Anything LLM 的官网(https://anythingllm.com/desktop ),根据自己的系统选择下载对应的版本。下载完成后,按照默认路径安装或者根据自己的需求修改安装路径都可以。安装完成后,点击完成按钮,会自动跳转到 Anything LLM 界面。
2.配置模型:在 Anything LLM 界面中,首先选择 Ollama 作为模型管理器,因为我们之前已经通过 Ollama 运行了 DeepSeek 模型,这样可以实现两者的无缝对接。Anything LLM 会自动检测本地部署的模型,前提是确保 Ollama 本地部署的模型正常运行。在模型配置中,“LLM Selection(大语言模型选择)” 选择名为 Ollama 的模型,这意味着我们的模型和聊天记录仅在运行 Ollama 模型的机器上可访问,保障了数据的安全性和隐私性;“Embedding Preference(嵌入偏好)” 使用名为 AnythingLLM Embedder 的嵌入工具,说明文档文本是在 Anything LLM 的实例上私密嵌入的,不会泄露给第三方;“Vector Database(向量数据库)” 使用 LanceDB 作为向量数据库,保证向量和文档文本都存储在这个 Anything LLM 实例上,进一步强调了数据的私密性。
3.搭建本地知识库:在左侧工作区找到上传按钮,点击上传按钮后,可以选择上传本地文件或者链接。比如我们上传了一个包含公司项目资料的文件,选中上传的文件,点击 “Move to Workspace”,然后点击 “Save and Embed”,系统会对文档进行切分和词向量化处理,将文档转化为模型能够理解和处理的格式。完成后,点击图钉按钮,将这篇文档设置为当前对话的背景文档,这样在提问时,模型就会优先参考这篇文档的内容。
4.深度调整:为了让模型更好地回答问题,我们可以进行一些深度调整。点开设置,将聊天模式改成查询模式,这样 AI 会更基于它查询出来的数据进行回答;将向量数据库的最大上下文片段改成 6,意味着每次查询时,模型会去数据库里取出 6 个和问题相关的片段,以便更全面地理解问题;将文档相似性阈值改成中,用来控制查询到的数据和问题相关程度的阈值,确保获取到的信息与问题高度相关。
5.联网设置:虽然 Anything LLM 主要用于本地知识库的搭建,但它也支持联网设置。在一些高级设置中,我们可以配置网络访问权限,让模型在需要时能够联网获取更广泛的信息。比如当本地知识库中没有相关信息时,模型可以通过联网搜索来补充知识,提供更准确的回答。不过在使用联网功能时,需要注意网络安全和隐私保护,确保数据的安全传输。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。