Databricks 在 Data + AI 峰会上发布 Lakehouse AI 并宣布收购 MosaicML

Databricks发布Lakehouse AI及多项更新

Databricks最近发布了Lakehouse AI，这是一套用于在Databricks平台上构建和管理生成式AI模型（包括大型语言模型，LLMs）的工具。其中，LakehouseIQ是一个“知识引擎”，利用AI理解公司的独特数据、文化和语言，以改善自然语言界面（如聊天机器人）。

Delta Lake 3.0及Universal Format

Databricks更新了其数据湖系统中的分析数据表标准Delta Lake。Delta Lake与其他开源标准（如Apache Foundation的Iceberg和Hudi）竞争。Databricks CEO兼联合创始人Ali Ghodsi表示，关于格式之争的讨论实际上是不幸的。Delta Lake 3.0的关键创新在于其新的Universal Format（统一格式），也称为UniForm。该功能使得存储在Delta Lake数据表中的数据可以像Apache Iceberg或Apache Hudi格式一样被读取。

Unity Catalog的新联邦功能

在数据治理方面，Databricks在其Unity Catalog服务中发布了新的联邦功能，打破了平台上数据系统之间的壁垒。这些新功能使客户能够通过单一界面定位、查询和管理所有连接系统中的数据，而无需移动或复制数据。联邦功能包括从MySQL、Redshift、Snowflake和BigQuery等来源映射和查询数据的能力。用户可以从单一应用访问控制和审计数据。

收购MosaicML

Databricks宣布将收购MosaicML。此次收购旨在将托管模型的成本降低到每个模型数十万美元，并通过结合Databricks的数据基础设施和MosaicML的模型训练平台，使企业能够以更低的成本训练定制语言模型。KPMG的美国人工智能负责人Sreekar Krishna表示，并非所有应用都需要像GPT-4这样的大型语言模型。

行业担忧

一些行业观察者质疑Databricks对其专有平台的依赖是否会导致新客户因担心供应商锁定而却步。数据管道公司Upsolver的CEO Ori Rafael认为，新的云数据仓库产品中出现了与Oracle和Teradata类似的数据仓库锁定现象。Rafael表示，Lakehouse品牌化过多，但实质不足。Ghodsi则反驳称，Databricks和MosaicML有机会将AI民主化，并使Lakehouse成为构建生成式AI和LLMs的最佳平台。