Podman Desktop 发布 AI Lab 插件

在 Podman Desktop 1.0 版本发布一年后，Podman Desktop 宣布推出 Podman AI Lab 插件，旨在帮助开发者在本地机器上开始使用大型语言模型（LLM）。该插件简化了 LLM 工作流程，提供生成式 AI 探索、内置的配方目录、精选模型、本地模型服务、OpenAI 兼容的 API、代码片段和测试环境等功能。

主要功能

1. 教育应用（配方目录）：
   通过“配方”提供示例应用程序，帮助开发者学习和掌握生成式 AI 的最佳实践。配方目录是一个公共仓库，开发者可以通过提交 PR 贡献内容。
2. 精选模型目录：
   提供开箱即用的开源模型列表，这些模型已通过法律合规性检查（通常为 Apache 2.0 或 MIT 开源许可证）。开发者还可以导入 GGUF 格式的自定义模型文件。
3. 本地模型服务：
   生成代码片段以便快速集成到开发者的应用程序中。插件提供 OpenAI 兼容的 API，简化从在线模型到本地模型的过渡。插件创建推理服务器（基于 llama.cpp），并在资源不足时提示用户。开发者可以像查看 Pod 一样查看容器详情和终端输出，并直接 SSH 进入容器。
4. 测试环境：
   用于测试或微调模型。Podman 在本地运行推理服务器，并显示所有正在运行的应用程序（配方）。启动新测试环境时，系统会提示选择最佳模型和设置。测试环境允许调整温度（控制输出的随机性）、最大 token 数（设置响应长度）和 top-p 参数，并定义查询的上下文。

项目使命与愿景

项目负责人 Stevan Le Meur 表示，随着生成式 AI 的快速发展，AI 驱动的应用程序已成为常态。Podman AI Lab 的使命是为开发者提供本地工具，帮助他们轻松、低成本地开发和调试这类应用程序，同时确保数据安全。

Le Meur 提出的应用程序生命周期包括：

• 从现有配方开始，尝试不同模型，找到适合的模型。
• 通过设置参数或使用 InstructLab 进行微调，即使没有机器学习经验也能完成。
• 在满意结果后，将应用程序从本地环境无缝迁移到生产环境。

未来规划

Podman AI Lab 的路线图显示，未来将探索 GPU 加速、函数调用支持和本地检索增强生成（RAG）等领域。鉴于生态系统的快速变化，项目鼓励用户提供反馈或贡献到这个开源项目。