Databricks 发布开源大语言模型 DBRX

Databricks 推出了全新的开源大语言模型（LLM）DBRX，旨在重新定义开源模型的标准，并在行业基准测试中超越知名竞争对手。DBRX 拥有 1320 亿参数，其性能在多项测试中表现出色，超越了 LLaMA 2 70B、Mixtral 和 Grok-1 等开源模型，甚至在某些基准测试中与 Anthropic 的闭源模型 Claude 相媲美。

性能与架构

DBRX 的高效性能得益于其混合专家（mixture-of-experts）架构，使其推理速度比 LLaMA 2 70B 快两倍，尽管其激活参数更少。Databricks 表示，训练该模型的计算效率也大约是密集模型的 2 倍。DBRX 在 12 万亿个经过筛选的文本和代码数据上进行了预训练，并采用了旋转位置编码和课程学习等先进技术。

开发者支持与集成

开发者可以通过 API 与 DBRX 交互，或使用 Databricks 的工具在专有数据上对模型进行微调。DBRX 已经集成到 Databricks 的 AI 产品中，并在 GitHub 和 Hugging Face 上开源。Databricks 预计开发者将采用 DBRX 作为其自有 LLM 的基础，用于增强客户聊天机器人或内部问答系统。

数据与工具

Databricks 在开发 DBRX 时使用了 Apache Spark 和 Databricks Notebooks 进行数据处理，Unity Catalog 进行数据管理和治理，MLflow 进行实验跟踪。这些工具为 DBRX 的构建提供了透明且可定制的基础。

行业影响与未来展望

DBRX 为开源 AI 模型设定了新标准，为企业提供了可定制且透明的生成式 AI 解决方案。根据 Andreessen Horowitz 的最新调查，AI 领导者对开源模型的兴趣日益增加，尤其是当微调模型接近闭源模型性能时。Databricks 预计 DBRX 将加速从闭源向开源解决方案的转变。

社区反响

AI 社区对 DBRX 的发布表现出极大热情，Hugging Face 的首席执行官 Clem Delangue 在 X 上表示，DBRX 已经成为 Hugging Face 上的趋势榜首，进一步证明了其在行业中的影响力。