Stability AI 发布 Stable LM 2 预训练模型

Stability AI 发布了 Stable LM 2 的两套预训练模型权重，这是一个拥有 16 亿参数的语言模型。Stable LM 2 在来自七种语言的 2 万亿个文本数据上进行训练，并且可以在普通笔记本电脑上运行。

模型版本与训练数据

Stable LM 2 提供两个版本：基础模型和指令微调版本 Stable LM 2 Zephyr。基础模型在荷兰语、法语、德语、意大利语、葡萄牙语、西班牙语和英语的数据上进行训练。Stability AI 采用了“最近的语言建模算法进展”，使得这个小模型能够与更大的模型相媲美。Stable LM 2 在 Stability AI 的非商业研究社区许可证下可用于非商业用途，或通过 Stability AI 会员资格用于商业用途。

模型特点与挑战

Stable LM 2 是目前最强大的小型语言模型之一，Stability AI 提供了其训练细节的完全透明，旨在赋能开发者和模型创建者快速实验和迭代。然而，由于小型、低容量语言模型的特性，Stable LM 2 1.6B 可能会表现出高幻觉率或潜在的毒性语言等问题。Stability AI 提醒社区在构建应用时注意这些问题，并采取适当措施确保开发过程负责任。

行业趋势与背景

OpenAI 的研究表明，语言模型的能力随着参数数量的增加而扩展，这导致了拥有数万亿参数的大语言模型（LLMs）的发展。然而，训练和托管这些模型的挑战促使了“小型语言模型”的趋势，如 Meta 的 Llama 2 和 Microsoft 的 Phi-2。这些模型通常足够小，可以在单台机器（如笔记本电脑）上运行，并且通常免费用于非商业用途。

性能与比较

Stable LM 2 的新模型比之前的版本更小，但训练数据更多。微调版本 Stable LM 2 Zephyr 在多语言基准测试中优于原始的 30 亿参数模型，并且在 MT-Bench 基准测试中甚至优于 Falcon 40B 等更大的模型。

团队与CEO的观点

Stability AI 的语言模型团队负责人 Carlos Riquelme 在 X 上发布了关于模型发布的帖子，指出语言模型评估在多语言设置中尤为棘手和脆弱，量化并控制幻觉在小型模型中尤其具有挑战性。Stability AI CEO Emad Mostaque 也强调了模型大小的优势，表示可以在浏览器、手机甚至低性能设备上运行，并且易于在 MacBook 上进行微调。

其他相关发布

Stability AI 最近还发布了 Stable Code 3B，这是一个代码生成语言模型，比 CodeLLaMA 7B 小 60%，但性能相当。Stability AI 声称该模型足够小，可以在没有专用 GPU 的现代笔记本电脑上实时运行。该模型也是商业 Stability AI 会员的一部分。

模型下载

Stable LM 2 基础和 Stable LM 2 Zephyr 模型可以从 Huggingface 下载。