主要观点：大型语言模型（LLM）应用多在集中式云环境，引发关于延迟、隐私和能耗等问题，本章探讨其在去中心化边缘计算中的应用，通过量化、模型压缩等方法解决边缘设备计算和内存资源有限的问题，边缘计算有增加隐私等优势，同时也面临计算、内存和能量等方面的挑战，可通过多种技术优化来实现边缘 LLM 的部署，如量化、模型压缩、模型分区等，分布式推理和联邦学习可解决数据隐私和能耗问题，边缘计算能提供用户自主权和系统弹性，结论认为边缘 AI 是负责任智能的未来。
关键信息：

• LLM 依赖集中式云基础设施有弊端，边缘计算可减少延迟和保障隐私。
• 边缘设备资源有限，如计算、内存和能量，挑战 LLM 应用。
• 量化和模型压缩可减小模型大小，提高能效。
• 模型分区和混合架构可分担计算负载。
• 分布式推理和联邦学习可实现多设备协作和数据隐私。
• 边缘计算能增强用户自主权和系统弹性。
  重要细节：
• GPT-3 等 LLM 处理生成自然语言重要，但依赖云基础设施有实时响应和隐私问题。
• 边缘设备如智能手机等能力有限，计算 LLM 需特殊优化。
• 量化用 8 位整数表示模型权重节省内存和计算负载，模型压缩技术如剪枝、稀疏和知识蒸馏可减小模型规模。
• 模型分区将大模型分为小模型在边缘设备运行，混合架构结合云边计算。
• 分布式推理将 LLM 分为子模型在多设备运行，联邦学习在不交换数据情况下协作训练和推理。
• 边缘计算可让用户控制数据，系统更具弹性，在多个行业有应用前景。