主要观点：Docker 是云行业的基石，用于运行基于容器的工作负载，其最新的 Docker Model Runner 能将在桌面运行模型提升到新水平。它可将模型打包为 OCI 工件并使用已有容器镜像注册表分发，基于主机的执行模型使推理更快，在桌面运行方便且可访问，与 OpenAI API 规范兼容。
关键信息：

• Docker Model Runner 相关：可将模型打包分发，利用主机执行模型加速推理，在桌面运行便捷，兼容 OpenAI API 规范。
• 使用教程：需安装 Docker Desktop，从 Docker GenAI 选择模型并拉取、运行，设置 TCP 端口，使用 API 交互，还可将模型推至自己的仓库。
• 架构：由模型存储和客户端、模型运行器（核心引擎，使用 Llama.cpp）、模型 CLI（用于拉取和推送模型）、API 设计和路由（包含 Docker API 和 OpenAI API）组成。
  重要细节：
• Docker GenAI 注册表已支持多种流行模型。
• 拉取模型命令为 docker model pull ai/smollm2:latest，运行模型命令为 docker model run ai/smollm2:latest。
• 设置 TCP 端口命令为 docker desktop enable model-runner --tcp 12345。
• 推送模型命令为 docker model push sirivarma/smollm2:latest。
• 架构中各部分的功能及作用，如模型存储与客户端负责存储模型张量和拉取图像等。
• 给出了使用 PowerShell 脚本进行 API 交互的示例。