在 Docker 上运行 Ollama：快速指南

大家好，这里是架构资源栈！点击上方关注，添加“星标”，一起学习大厂前沿架构！

嗨，又是我！在过去的几天里，我一直在测试多种在本地使用 LLM 的方法，到目前为止，Ollama 是用于设置快速环境以测试代码和功能的最佳工具（忽略 UI 和其他 QoL 方面）。
我以前尝试过GPT4ALL和其他工具，但当目标只是设置一个运行模型以连接LangChain API（在带有 WSL 的 Windows 上）时，它们似乎过于臃肿。

Ollama 提供了极其直接的体验。因此，今天我决定通过 Docker 容器安装和使用它——它出奇的简单和强大。

只需五条命令，我们就可以设置环境。让我们看一下。

步骤 1 - 提取最新的 Ollama Docker 镜像

docker pull ollama/ollama

Enter fullscreen mode Exit fullscreen mode

如果要下载旧版本，可以在容器名称后指定相应的标签。默认情况下，会下载该标签。您可以在此处:latest查看可用的 Ollama 标签列表。[](https://hub.docker.com/r/ollama/ollama/tags)

第 2 步 - 创建 Docker 网络

由于我们通常会使用和连接多个容器，因此我们需要指定一个共享的通信通道。为此，最好创建一个 Docker网络。

docker network create <network-name>

Enter fullscreen mode Exit fullscreen mode

您可以通过运行以下命令检查已创建的 Docker 网络列表：

docker network list

Enter fullscreen mode Exit fullscreen mode

步骤 3 - 运行 Ollama 容器

在本教程中，我们将仅使用 CPU 运行 Ollama。如果您需要使用 GPU，官方文档提供了分步指南。

文档中也列出了运行容器的命令，但是我们需要指定它应该连接到哪个网络，所以必须添加--network参数。

docker run -d --netowk <network-name> -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Enter fullscreen mode Exit fullscreen mode

步骤 4 - 在 Ollama 容器内运行命令

要下载 Ollama 模型，我们需要运行ollama pull命令。

为此，我们只需执行下面的命令，通过启用交互模式（-it参数）即可在容器内执行。

然后，我们运行ollama pull下载llama3.2:latest（3B），量化模型：

docker exec -it ollama ollama pull llama3.2

Enter fullscreen mode Exit fullscreen mode

访问 Ollama 网站查看可用型号列表。现在，等待下载完成。

你会得到这个：

步骤 5 - 检查已下载的模型

要列出本地可用的模型，只需运行：

ollama list

Enter fullscreen mode Exit fullscreen mode

你应该得到这个输出：

大功告成！现在 Ollama 已运行（仅使用 CPU），llama3.2:latest模型可在本地使用。要使用 GPU 运行，请查看步骤 3中的文档链接。

原文地址：https://mp.weixin.qq.com/s/wwUv5FF39i5z2ujha3UGrg
本文由博客一文多发平台 OpenWrite 发布！