如何在GitHub Codespaces中运行Ollama

引言

为什么要讨论在 Github Codespaces 中运行 Ollama 呢？依我个人使用经验，主要有两个原因。其一，Ollama 主流的终端运行方式是 Linux 或 MacOS，对 Windows 目前仅为预览版支持，而 Codespaces 默认是 Linux 环境。其二，在本地运行大语言模型需将模型下载到本地，一个 7B 的大模型有好几个 G，不但占空间大，而且从外网下载速度相当慢。若要试用多个模型，下载到 Github Codespaces 上试用会更快速高效。

GitHub Codespaces介绍

GitHub Codespaces是一种云托管的开发环境，允许用户通过提交配置文件来自定义项目，创建一致且可重复的工作环境。

Ollama项目介绍

Ollama是一个开源项目，旨在简化在本地机器上运行大型语言模型（LLM）的过程。它提供了一个用户友好的接口和功能，使高级人工智能变得可访问和可定制。

具体步骤

1. 打开并配置Codespace：

   • 在GitHub上导航到您的仓库。
   • 点击Code按钮并选择Open with Codespaces。
   • 如果您没有现有的codespace，创建一个新的。
   • 注意配置codespace运行的内存大小，个人用户可选16GB内存。

2. 安装Ollama：

   • 在codespace的终端中运行以下命令来下载并安装Ollama：

     curl -fsSL https://ollama.com/install.sh | sh

3. 验证安装：

   • 在终端中输入ollama以验证安装：

     ollama

   • 如果安装成功，您将看到可用的Ollama命令列表。

4. 启动Ollama：

   • 运行以下命令以启动Ollama：

     ollama serve

5. 运行并与Llama 3模型交互：

   • 使用以下命令运行并与Llama 3模型交互：

     ollama run llama3

Ollama模型库

Ollama提供多种模型供下载和使用。可访问Ollama模型库查看完整列表。模型示例如下：

• Llama 3，8B，4.7GB：ollama run llama3
• Llama 3，70B，40GB：ollama run llama3:70b
• Phi 3 Mini，3.8B，2.3GB：ollama run phi3等等。

注意事项

确保您的系统满足以下RAM要求（超过16GB RAM在Github Codespaces上可能需要升级账号）：

• 至少8GB RAM用于7B模型
• 至少16GB RAM用于13B模型
• 至少32GB RAM用于33B模型

按照这些步骤，您可以在GitHub Codespaces中有效地设置并运行Ollama，利用其基于云的环境来探索和使用强大的大型语言模型。

Ollama运行最先进的Llama 3.1

下图展示了在Codespaces命令行终端使用Llama 3.1的场景。

如对AI智能体相关信息感兴趣，或需进一步交流，请关注微信公众号【AI智能体研究】