OpenBayes 公共教程上新｜使用 LlamaEdge 运行 Yi-34B-Chat

由 [OpenBayes]()贝式计算赞助，Second State 与 Yi User Group 联合发起的《Yi 起过大年—春节 Prompt 大赛》现已正式开启。

「使用 LlamaEdge 运行 Yi-34B-Chat 的量化模型」已上线至 OpenBayes 公共资源， 该教程已经预先安装好了：

• Yi-34B-Chat-Q4_K_M GGUF 模型
• 使用 LlamaEdge 运行大模型所需要的推理文件
• 用于构建 Chatbot 的 Web UI

教程链接：

https://openbayes.com/console/public/tutorials/v6ZVAzejUCM

打开链接后，点击右上角「克隆」，克隆当前项目，可以直接依据当前模板创建新的训练任务，无需花费时间下载模型，省时又便捷！

操作步骤

1. 点击「克隆」，将教程克隆至自己的容器中

2. 打开终端，通过 SSH 访问刚刚开好的容器

SSH 链接教程：

https://openbayes.com/docs/gear/ssh

3. 输入以下命令安装 CNCF WasmEdge runtime 以及 ggml plugin

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml

4. 接下来，可以选择两种方式与模型交互

4.1 通过 CLI 与大模型交互

使用下面的命令行，启动大模型，然后可以通过 CLI 与 大模型交互。这里要注意模型所在的路径。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-chat.wasm -p chatml -r '<|im_end|>' -c 1024

4.2 通过 Chatbot UI 与 大模型交互

使用下面的命令行，创建 API server，这里要注意模型所在的文件夹。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-api-server.wasm -p chatml -r '<|im_end|>' -c 1024

API 服务器启动成功后，你会看到 [INFO] Listening on http://0.0.0.0:8080 的字样，这里需要用到实名认证的功能。

然后打开一个新的终端窗口，输入下面的命令，将 OpenBayes 的 8080 端口映射到本地，这一步依然需要 SSH 访问的密码。

ssh -vNL 8080:localhost:8080 [e-mail] -p30144

映射成功后，就可以在浏览器打开 http://localhost:8080/ 即可通过 Chatbot UI 与 Yi-34B-Chat 交互。

参与福利

新用户在注册时，在邀请码处输入「龙年大吉」，即可获得额外 10 小时的 4090 免费算力资源， 有效期 1 个月，数量有限，先到先得哦～

想体验更多种类的算力资源，可以参与 OpenBayes 的龙年福袋活动，仅需 9.9 即可购买价值 99 元的算力礼包，内含 A100、A6000 等多种单卡、双卡、四卡的算力资源，超值！

【OpenBayes 龙年福袋】9.9 元购价值 99 算力礼包_哔哩哔哩_bilibili

如对活动有任何疑问，可扫描下方二维码，添加 OpenBayes贝式计算首席福利官小贝总微信咨询！