Qwen2.5-Coder-32B 是一个能在我的 Mac 上良好运行且能很好地进行编码的语言模型

主要观点:阿里巴巴 Qwen 研究团队发布新的开源(Apache 2.0 许可)LLM 系列即 Qwen2.5-Coder 系列,其 32B 模型 Qwen2.5-Coder-32B-Instruct 声称成为当前 SOTA 开源代码模型,与 GPT-4o 编码能力相当,在多个代码相关基准测试中表现出色,如 LiveCodeBench、Spider、BIRD-SQL 等,与其他研究人员的基准测试结果也较好,作者自己尝试运行该模型,在 Ollama 和 MLX 版本上运行良好,在生成 Python 函数和 Pelican on a bicycle 的 SVG 等任务中表现不错。
关键信息

  • Qwen2.5-Coder 系列为开源模型,32B 模型可在 64GB MacBook Pro M2 上运行。
  • 在各种基准测试中与 GPT-4o、Claude 3.5 Sonnet 等对比的成绩。
  • 在 Ollama 和 MLX 上的安装及运行方式。
  • 运行过程中遇到的ssl bug 及解决方法。
    重要细节
  • 发布链接为 https://qwenlm.github.io/blog...
  • Paul Gauthier 的 Aider 基准测试结果及相关图表。
  • 运行模型时的具体命令及输出结果,如生成 Python 函数和 Pelican on a bicycle 的 SVG 等。
  • MLX 的性能指标,如 Prompt 49 令牌时每秒 95.691 令牌,Generation 723 令牌时每秒 10.016 令牌,峰值内存 32.685GB。
阅读 8
0 条评论