主要观点：作者为给 Home Assistant 增加语音控制并在本地运行大型语言模型（LLM），选择了 NVIDIA 的 Jetson Orin Nano 开发板，通过安装 Jetpack、Nomad 等软件，部署了 Ollama 和 Open WebUI 等服务。
关键信息：

• Jetson Orin Nano 具有 6 核 ARM CPU、Tensor GPU 等，运行“Jetpack”系统，有良好社区和文档，可用于本地运行小 AI 工作负载且功耗低。
• Nomad 是强大灵活的编排器，支持多种平台和工作负载，有针对 Jetson 的 APT 仓库和 NVIDIA 设备驱动。
• 安装 Jetson 需注意更新固件至支持 Jetpack 6.x，推荐使用 NVME 硬盘存储，开启 SSH 并配置密钥进行远程控制，可通过nvpmodel设置电源模式。
• Nomad 的设备驱动可发现 NVIDIA GPU 等设备，但 Jetson 不受 NVML 支持，而 CUDA 工作负载可直接使用集成 GPU，只需安装 NVIDIA 容器工具包，通过节点池可定位带 GPU 的客户端。
• 利用jetson-containers可轻松部署工作负载，如部署 Ollama 和 Open WebUI，通过 Nomad 卷创建持久存储，运行nomad job run部署相关服务，Ollama 服务器可通过 OpenWebUI 访问，Home Assistant 可连接到 Ollama。
  重要细节：
• 作者因家庭多语言环境且 Home Assistant 语音控制静态，不想使用云服务而选择本地运行 LLM。
• 安装 Nomad 时需更新软件源、添加密钥等步骤，配置文件需放在/etc/nomad.d/中。
• 部署 Ollama 和 Open WebUI 的 Job 规范中包含各种配置，如端口、资源限制、环境变量等。
• 使用内置动态主机卷创建持久存储，简化了卷的管理。