元 AI 发布 Llama 4:早期印象和社区反馈

主要观点:Meta 正式发布 Llama 4 系列模型(Scout 和 Maverick),标志其开放权重大型语言模型生态的进步,具原生多模态架构和专家混合框架,旨在支持更广泛应用。
关键信息

  • Llama 4 Scout 有 170 亿活跃参数分布于 16 个专家,可在单 NVIDIA H100 GPU 运行,支持 1000 万令牌上下文窗口适用于通用 AI 任务;Maverick 同样 170 亿活跃参数但用 128 个专家,在推理和编码方面能力增强,在 Meta 基准测试中优于同类模型。
  • 两模型均从仍在训练的旗舰模型 Llama 4 Behemoth 提炼,后者有 2880 亿活跃参数近 2 万亿总数,Meta 称其在多个 STEM 基准测试中超越 GPT-4.5、Claude 3 Sonnet 和 Gemini 2.0 Pro,Behemoth 是小模型的关键训练师。
  • Meta 强调新的训练和训练后策略,包括轻量级监督微调、强化学习和新的多模态输入课程设计,以提高困难任务性能并减少模型偏差。
    重要细节
  • 有早期用户对模型性能表示怀疑,称其在尝试的任务中表现不佳,比 20 - 30B 模型还差且缺乏一般知识,也有人希望是设置问题导致,AI 专家 Uli Hitzel 指出即使最先进的裸 LLM 若未整合到适当设计的代理工作流中也会产生愚蠢结果,如 Llama 4 Maverick 仍会出错。Meta 未在公共渠道直接回应这些担忧,Scout 和 Maverick 可在 llama.com 和 Hugging Face 下载。
阅读 6
0 条评论