头图

0.基础环境

类别:笔记本
型号:中国长城 NF14C
硬件平台:飞腾处理器D2000(ArmV8 指令集)
系统:银河麒麟操作系统 V10 SP1(2303)

关键词:
信创,麒麟系统,linux,飞腾,arm,aarch,arm64,AI,aigc,chatgpt,llm,大语言模型

1.需求背景

在开发界,有langchain可用;大家日常用的网络服务,有各种AI工具,以及专门收集工具集的网站。如:https://kimi.moonshot.cn/https://ai-bot.cn等。但我们有没有想过将模型直接运行在本机,通过本文大家可以不用代码(如:使用python调用huggingface的transformers)。
本文可能需要有一定的技术背景,不过你喜欢折腾也欢迎尝试,跑起来可能有点慢。

2.ollama工具

Ollama是一个先进的AI工具,它允许用户在自己的电脑上(目前支持macOS和Linux,Windows即将推出)轻松设置和运行大型语言模型(LLMs)1。 它提供了一个简单的API来创建、运行和管理模型,以及一个预构建模型库,可以轻松用于各种应用程序2。 Ollama将模型权重、配置和数据捆绑到一个包中,定义成Modelfile3。 它优化了设置和配置细节,包括GPU使用情况。
Get up and running with large language models locally.
项目官网:https://ollama.com/

2.1下载并安装

源代码地址:https://github.com/ollama/ollama
图片.png
进入地址https://github.com/ollama/ollama,找到最新的二进制包
图片.png
点ollama-linux-arm64下载,下载完成后,右击点属性设置为可执行
图片.png
也可以使用如下命令设置

mv ollama-linux-arm64 ollama #重命名
chmod 755 ollama #增加可执行权限

如果需要随处执行,我们使用图形界面将文件复制(或移动)到/usr/bin目录中,也可以使用命令

sudo cp ollama  /usr/bin

如果不需要随处执行,就直接找到他双击即可执行。

2.2 本地运行一个模型

支持的模型列表:https://ollama.com/library
图片.png
本文以https://ollama.com/library/llama2-chinese 模型为案例,其他模型自己尝试,选择效果最好的。
在命令行中执行

ollama serve & #后台启动服务
ollama run llama2-chinese #装载模型,3.8GB,要点下载时间,耐心等待
ollama run llama3 #运行llama3

图片.png
运行好了
图片.png
尝试问问题:中国 新能源 汽车的发展前景分析报告
资源占用情况:图片.png
有点慢,需要耐心等待
图片.png
图片.png

2.3为ollama安装一个UI

使用的是web ui,官方网站
图片.png
项目地址:https://github.com/open-webui/open-webui
其基于docker运行,所以你本地需要docker服务正常运行。
安装docker(注意:节约资源,安装docker时,把ollama服务停了),详细参考本专栏 第七十篇 Docker可视化管理工具 Portainer容器:https://segmentfault.com/a/1190000044543113

wget https://get.docker.com -O docker.sh
chmod 755 docker.sh
bash docker.sh -s docker --mirror Aliyun                #推荐使用自动化部署docker
systemctl status docker   #查看docker 服务状态
###测试docker是否安装成功
docker pull hello-world   #拉取hello-world
docker run hello-world    #验证hello-world
systemctl status docker #查看服务状态
 sudo systemctl enable docker #设置docker开机启动
docker version           #查看docker版本

显示如下
图片.png
图片.png
docker能正常运行和ollama服务开启状态,命令行中执行

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api --name open-webui --restart always ghcr.io/open-webui/open-webui:main

图片.png
启动成功,你应该可以看到下图
图片.png
打开浏览器,输入localhost:8080 (注间:端口是8080)打开管理界面
图片.png
先注册一个账号,再登录。
图片.png
选择对应的模型,并提问
图片.png

写在最后

目前流程是通了,然后内存小的电脑,没有GPU的电脑跑起来比较慢。
如果内存足,有GPU确实很好用,还可以离线用,适合内网或保密环境。
目前,我的电脑性能较低,只能做实验用,希望读者你们的电脑可以如行云流水。

麒麟操作系统,从入门到精通
麒麟操作系统专栏:https://segmentfault.com/blog/kylinos
麒麟操作系统x64专栏:https://segmentfault.com/blog/kylinos-x64

个人主页:
https://segmentfault.com/u/code4world/articles
https://twitter.com/xiaohelong
https://github.com/xiaohelong
联系邮箱:1179611323@qq.com
群:662512340
发行日志:
20240301 首发
20240423 增加llama3


码上世界
74 声望280 粉丝

码农极客,2004年接触Linux世界。爱技术的IT的男