Code Llama 70B：Meta 的新代码生成 AI 模型

Meta 发布了其最新的代码生成 AI 模型 Code Llama 70B，这是 Code Llama 系列中规模最大且性能最佳的模型，拥有 700 亿参数。相比之前版本的 Code Llama（参数规模从 70 亿到 340 亿不等），Code Llama 70B 不仅参数规模更大，还带来了多项改进。Meta 首席执行官马克·扎克伯格表示，这些改进也将应用于未来的 Llama 3 模型中。

性能评估

根据 HumanEval 基准测试，Code Llama 70B 得分为 65.2，高于 Code Llama 34B 的 51.8，但低于 GPT-4 的 85.4。与 GPT-3.5（得分为 72.3）相比，Code Llama 70B 也有一定差距。类似的结果也在 MBPP 基准测试中得到体现。

参数规模与模型能力

Meta 的研究与 OpenAI 的发现一致，即语言模型的能力随参数规模的增加而提升。然而，训练和托管这些大规模模型的复杂性也促使了小型语言模型的发展。例如，Stability AI 最近发布的 Stable LM 2（19 亿参数）在性能上接近 Code Llama 7B，但体积仅为后者的 60%。

运行与部署的挑战

在 Hacker News 上，一些开发者对运行 Code Llama 70B 这样的超大模型表示担忧，主要因其体积和能耗问题。但也有观点指出，通过量化技术（如 4 位量化），64GB 内存即可运行 70B 模型。此外，租用数据中心 GPU 或使用部署服务也是可行的解决方案。对于个人开发者，苹果 Silicon 芯片的 MacBook（如配备 128GB 内存）也能运行这些模型，尽管速度较慢。

模型变体与开源

Code Llama 70B 基于 Llama 2 构建，提供三种变体：

1. 通用基础模型
2. 针对 Python 的专用版本
3. 针对自然语言指令进行微调的版本

该模型及其推理代码已在 GitHub 上开源，用户需接受 Meta 的许可协议后才能下载。模型及其早期版本可通过 Hugging Face 和 Ollama 平台获取，后者还提供了 4 位量化版本。

总结

Code Llama 70B 标志着 Meta 在代码生成 AI 领域的进一步突破，尽管在性能上尚未超越 GPT-4，但其开源特性和多样化的模型变体为开发者提供了更多选择。同时，如何在资源受限的环境中高效运行这类大规模模型，仍然是业界需要解决的问题。