阿里巴巴发布开源语言模型系列
阿里巴巴发布了两大开源权重语言模型系列:Qwen2-Math和Qwen2-Audio。这两个系列均基于阿里巴巴的Qwen2 LLM系列,除Qwen2-Math的最大版本外,其他版本均采用Apache 2.0许可证开源。
Qwen2-Math:专注于数学问题解决
Qwen2-Math系列包含基础版和指令调优版,分别提供1.5B、7B和72B参数版本。为提升模型性能,阿里巴巴对训练数据集进行了去污染处理,移除了数学问题解决的基准数据。指令调优模型在预训练后,通过监督微调和强化学习进一步优化。
在MATH基准测试中,Qwen2-Math-72B-Instruct超越了包括GPT-4o和Claude-3.5-Sonnet在内的商业模型,表现优异。阿里巴巴计划未来发布支持中英双语的多语言模型,并持续提升模型解决复杂数学问题的能力。此外,Qwen2-Math在GSM8K、AIME 2024和CMATH等基准测试中也表现出色,特别是在1.5B和7B模型中,72B版本在CMATH中文数学考试基准中创下86.4分的新高分,超越了Claude、GPT-4和Gemini。
Qwen2-Audio:多模态语音与文本输入
Qwen2-Audio是一款多模态模型,支持语音和文本输入,但仅输出文本。模型有两种运行模式:
- 语音聊天模式:用户通过语音输入与模型进行对话。
- 音频分析模式:模型可分析音频内容并回答问题,例如识别音乐的速度和调性。
阿里巴巴发布了详细的技术报告,进一步介绍Qwen2-Audio的架构和性能。
行业与社区反响
Andrew Ng的新闻简报The Batch高度评价了Qwen2系列,称其在开源权重模型中的表现令人瞩目,推动了数学性能和音频集成的发展,并为开发者提供了先进模型。Reddit用户也对这两个系列进行了讨论,称赞Qwen2-Math-7B在小尺寸模型中的强大表现,并对Qwen2-Audio的音频合成潜力表示兴趣。
模型获取
Qwen2-Math和Qwen2-Audio的模型文件可通过Huggingface下载,为开发者提供了便捷的访问途径。
总结
阿里巴巴的Qwen2-Math和Qwen2-Audio系列模型在数学问题解决和多模态语音处理领域展现了卓越性能,特别是其开源策略为开发者提供了强大的工具,进一步推动了人工智能技术的普及和创新。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。