Apple 发布 Apple Foundation Models (AFM)

Apple 近日发布了其新的 Apple Foundation Models (AFM) 的详细信息，这是一个大型语言模型（LLM）家族，为 Apple Intelligence 套件中的多个功能提供支持。AFM 有两种规模：一个拥有 30 亿参数的本地版本（AFM-on-device）和一个基于云的更大版本（AFM-server）。

模型架构与开发细节

• AFM-on-device：通过剪枝一个 64 亿参数的模型创建而成。
• AFM-server：从头开始训练，但 Apple 未透露其具体规模。
• 两个模型均基于 Transformer 解码器架构，预训练使用了 6.3 万亿个 token 的数据。
• 模型使用可插拔的任务特定 LoRA 适配器，这些适配器在运行时被选择，以针对特定任务（如校对或回复邮件）优化模型性能。

性能评估

Apple 在多个基准测试中评估了这两个模型，包括指令跟随和数学推理。结果显示，AFM 在部分情况下表现优于类似规模的模型，如 Llama 3 和 GPT-4。

适配器架构

• 适配器是小型神经网络模块，可插入基础模型的自注意力和前馈层中。
• 通过任务特定数据集微调基础模型来创建适配器。
• 适配器参数被量化为低比特率以节省内存，本地适配器仅占用约 10 MB，适合小型嵌入式设备。

安全性措施

Apple 采取多项措施确保 AFM 输出的安全性：

• 确保预训练数据集中不包含用户数据。
• 应用过滤机制移除有害内容、垃圾邮件和个人身份信息（PII）。
• 在微调阶段，将安全性对齐作为核心任务之一，超过 10% 的微调数据与安全相关。
• 进行手动和自动的“红队测试”以识别和测试模型漏洞。

性能对比

Apple 将 AFM 与多个基线模型（如 GPT-4、Llama 3 和 Phi-3）进行了性能对比：

• AFM-on-device 在人类评估中表现优于更大的模型 Gemma-7B 和 Mistral-7B。
• AFM-server 取得了“竞争力”的结果，与 GPT-3.5 相比胜率为 52%。

专家观点

• Ruoming Pang（Apple 技术报告的主要作者）表示，AFM 具备通用能力，可支持多种功能，如摘要、写作辅助、工具使用和编码。
• Vaibhav Srivastav（Huggingface 工程师）认为报告内容丰富，并对其进行了简要总结。
• Maxime Labonne（LiquidAI 机器学习科学家）推测 AFM-server 可能拥有约 700 亿参数，但对报告中缺乏具体细节表示遗憾。

总结

Apple 的 AFM 模型通过创新的适配器架构和严格的安全性措施，展示了其在多种任务中的强大性能。尽管 AFM-server 的具体规模未公开，但其在基准测试中的表现表明，Apple 在生成式 AI 领域的努力取得了显著进展。