Mistral AI 发布 Mixtral 8x7B 模型

Mistral AI 最近发布了 Mixtral 8x7B，这是一种稀疏专家混合模型（SMoE）的大型语言模型（LLM）。该模型包含 467 亿个参数，但在推理速度和成本上仅相当于三分之一大小的模型。在多个 LLM 基准测试中，Mixtral 8x7B 的表现优于 Llama 2 70B 和 GPT-3.5（ChatGPT 的基础模型）。

模型特点

• 上下文长度：32k tokens
• 支持语言：西班牙语、法语、意大利语、德语和英语
• 模型变体：除了基础模型，Mistral AI 还发布了 Mixtral 8x7B Instruct，该模型通过直接偏好优化（DPO）进行微调，用于指令跟随。
• 开源许可：两个模型的权重均以 Apache 2.0 许可证发布。
• vLLM 支持：Mistral AI 还为 vLLM 开源项目添加了对该模型的支持。

专家混合模型（MoE）

MoE 模型常用于 LLM，以在保持训练和推理时间较低的同时增加模型规模。其核心思想是用路由器（router）和一组专家层（expert layers）取代 Transformer 块中的前馈层。在推理过程中，路由器选择激活的部分专家。在 Mixtral 模型中，通过应用 softmax 函数选择前两个专家。

训练方法

Mixtral 8x7B Instruct 使用了 DPO 进行微调，而非 ChatGPT 使用的 RLHF 技术。DPO 由斯坦福大学的研究人员开发，相比 RLHF 更简单，且能匹配或提高响应质量。DPO 使用与 RLHF 相同的数据集（一组带有排名的配对响应），但不需要创建单独的奖励函数。

性能表现

Mistral AI 在多个任务的基准测试中评估了其模型，包括代码生成、阅读理解、数学、推理和知识。Mixtral 8x7B 在 12 个基准测试中的 9 个上优于 Llama 2 70B，并在 5 个基准测试中优于 GPT-3.5。根据 Mistral AI 的说法，Mixtral 8x7B Instruct 在 MT-Bench 聊天机器人基准测试中的得分使其成为“截至 2023 年 12 月最好的开源权重模型”。LMSYS 排行榜目前将该模型排名第 7，高于 GPT-3.5、Claude 2.1 和 Gemini Pro。

社区反馈

在 Hacker News 的讨论中，用户指出尽管模型的 467 亿参数需要加载到 RAM 中，但推理速度与 13B 参数模型相当。有用户表示，该模型可以适配带有集成内存的 Macbook Pro。

模型获取

Mixtral 8x7B 和 Mixtral 8x7B Instruct 模型已在 HuggingFace 上提供。Mistral AI 还通过其 mistral-small API 端点提供了托管版本。