AWS在Amazon SageMaker JumpStart中推出两款新基础模型

AWS近日宣布在Amazon SageMaker JumpStart中推出两款新的基础模型：Code Llama和Mistral 7B。用户可以通过一键部署这些模型，创建私有推理终端，用于代码生成任务。

Code Llama

Code Llama是Meta Llama 2基础模型的微调版本，遵循相同的许可证。它有三种变体：基础版、Python版和指导版，每种变体有三种模型大小：7B、13B和34B参数，共九个选项。除了代码生成，Code Llama还能执行代码填充任务，其指导版模型可以以聊天形式遵循自然语言指令。

Mistral 7B

Mistral 7B是一个拥有70亿参数的大型语言模型（LLM），采用Apache 2.0许可证。它有两种变体：基础版和指导版。除了代码生成，Mistral 7B在文本生成任务上也表现出色，性能接近Code Llama 7B，并在所有NLP基准测试中优于Llama 2 13B模型。

模型特点

• Code Llama：支持不同上下文长度（10k、32k、48k），7B和13B模型支持代码填充任务。指导版模型专为类似聊天的交互设计，能显著提升多个NLP基准测试的性能。
• Mistral 7B：支持长达8k的上下文长度，适合用于少样本学习或保持聊天历史。指导版模型支持多轮提示的特殊格式。

应用场景

• Code Llama：可用于生成和解释基于代码的解决方案，例如使用Bash命令完成特定任务。
• Mistral 7B：适用于代码生成和通用文本生成任务。

部署与可用性

Code Llama模型在美国东部（北弗吉尼亚）、美国西部（俄勒冈）和欧洲（爱尔兰）地区可用。Mistral 7B的可用地区尚未公布。

技术细节

• Code Llama的代码填充任务使用特殊输入标记（<PRE>、<SUF>、<MID>），支持两种输入顺序：后缀-前缀-中间（SPM）和前缀-后缀-中间（PSM）。Meta建议在不以空格或标记边界结尾时使用PSM格式。
• Code Llama指导版和Mistral 7B指导版均支持特殊提示格式，Code Llama指导版还支持“系统”提示。

总结

AWS通过Amazon SageMaker JumpStart提供Code Llama和Mistral 7B模型，为用户提供了一键部署的便捷方式。这两款模型在代码生成和文本生成任务上表现出色，适用于多种应用场景。