Llama 4 Scout 和 Maverick 现已在亚马逊 Bedrock 和 SageMaker JumpStart 上可用

主要观点:AWS 宣布 Meta 的最新基础模型 Llama 4 Scout 和 Llama 4 Maverick 可在 Amazon Bedrock 和 AWS SageMaker JumpStart 上使用,二者具多模态能力且遵循专家混合架构,Llama 4 Scout 优化于单 NVIDIA H100 GPU 运行通用任务,Maverick 推理和编码能力更强,亚马逊强调专家混合架构降低计算成本的价值。
关键信息

  • Llama 4 Scout 和 Maverick 去年 4 月由 Meta 推出,分别有 170 亿活跃参数分布在 16 和 128 个专家中。
  • Llama 4 Scout 支持最多 1000 万令牌上下文窗口,Amazon Bedrock 目前允许 350 万令牌且计划不久后扩展,Llama 4 Maverick 支持最多 100 万令牌。
  • 在 Amazon SageMaker JumpStart 上,可根据使用情况用 SageMaker Studio 或 Python SDK 使用新模型,默认使用ml.p5.48xlarge实例(含 NVIDIA H100 Tensor Core GPUs),也可选择ml.p5en.48xlarge(NVIDIA H200 Tensor Core GPUs)或ml.g6e.48xlarge(NVIDIA L40S Tensor Core GPUs)实例。
  • Llama 4 模型在其他云提供商如 Databricks 等及 Hugging Face 上也可访问,Behemoth 是 Llama 4 家族的第三个模型,有 2880 亿活跃参数分布在 16 个专家中,目前处于预览阶段,用于训练 Scout 和 Maverick。
    重要细节:文中提及各模型的参数分布、上下文窗口大小、可使用的实例类型等具体信息,以及这些模型在不同平台上的可用性和特点。
阅读 9
0 条评论