云栖实录 | DataWorks：新一代智能湖仓一体数据开发与治理平台

本文根据9月21日云栖大会—【大数据：商用大数据计算与分析平台专场】DataWorks 深度技术解读、年度产品发布实录整理而成，演讲信息如下：

演讲人：

林伟 | 阿里云智能集团研究员、阿里云 DataWorks 负责人

田奇铣｜阿里云智能集团高级产品专家、阿里云 DataWorks 产品负责人

演讲主题：

DataWorks 深度技术解读：构建开放的云原生数据开发平台

DataWorks 年度产品发布：新一代智能湖仓一体数据开发治理平台

阿里云智能集团研究员、DataWorks 负责人林伟发布新一代大数据开发治理平台 DataWorks 并进行了深度的技术解读。DataWorks 积累和沉淀了阿里巴巴15年大数据建设方法论和最佳实践，深度适配阿里云 MaxCompute、Hologres、EMR、Flink、PAI 等数十种大数据和 AI 计算服务。今年，DataWorks全新升级和推出新一代智能湖仓一体数据开发与治理平台，为 OpenLake 湖仓一体数据架构提供智能化数据集成、数据开发、数据分析与主动式数据资产治理服务，助力“Data+AI”全生命周期的数据管理，致力于为用户构建一个开放的云原生数据开发治理平台。

DataWorks 全面云原生转型，资源组全面 Serverless 化

今年是 DataWorks 迎来重大变革的一年，为了提升整体的服务效率和平台的开放度，DataWorks 进行了 Kubernetes 改造，优化了任务调度策略，增强了网络层的灵活性以适配多样化需求。此外，引入了云原生调度系统，并对资源节点进行优化，以便更好地对接云产品，同时简化了用户对网络管理的复杂度，提升了数据处理的便捷性和灵活性。在此基础上 DataWorks 实现了资源组全面 Serverless 化，从原有多类型资源组统一为通用型资源组，Serverless 化不仅带来使用门槛的降低，更显著提升了资源的利用效率，付费方式的灵活和资源效率的提升，在保障更高安全性的情况下，大幅度降低了使用成本，特定使用场景下成本最高可节省40%。未来 DataWorks 将持续释放云原生技术红利，帮助企业有效降低数据生产的成本。

新一代智能数据开发平台 DataWorks Data Studio，Data+AI 协同开发平台

容器化资源管理能力为 DataWorks 在数据开发层面带来了更多的可能，通过标准化支持云网络 VPC 能力以及自身 OpenAPI 的体系化建设从而能够很好连接丰富的云产品。解耦数据源和计算资源，重新定义数据源和计算资源的顶层概念模型，抽象化数据源格式，标准化对接云产品，使得 DataWorks 可以快速对接除数据仓库以外的更多元的计算引擎和数据源类型，成为更开放可扩展的数据开发平台。

为更好的适应湖仓一体、Data+AI 的发展趋势与需求，DataWorks 正式推出全新一代数据开发 IDE，即DataWorks Data Studio，在原有基础上进行全面的架构和云原生化升级，致力于打造一个更加开放的、更符合开发者习惯的云原生 WebIDE。新一代 Data Studio 适配更多计算引擎，新增支持流式计算引擎 Flink、StarRocks 等主流 OLAP 计算引擎；全新升级工作流，将工作流定义为可编排、可管理、可独立调度的实体对象；覆盖多种数据仓库、Lakehouse 湖仓的统一元数据管理，同时覆盖了包含 AI 数据集、AI 模型在内的数据实体对象。可支持基于 OpenLake 湖仓一体架构的多种计算引擎协同数据开发。

新一代 Data Studio 更大的升级是在开发模式上，在传统的 WebIDE 之上，DataWorks 全新推出个人开发环境。个人开发环境是一种云原生的 WebIDE，构建在 Serverless 资源组之上，可为开发者提供自定义容器实例和自定义镜像能力，可以执行 Python、Shell 等脚本，并支持代码调试。在个人开发环境中，支持连接云存储 NAS 和 GIT，用户可以自由选择将任务代码存储在 NAS 中或者使用 GIT 进行代码版本管理。从 WebIDE 到云原生版 WebIDE，DataWorks 可以让你在任意地点像使用本地 IDE 一样使用云上的 IDE，最大程度为开发者保留更 Native 的开发体验。

个人开发环境的出现使得 DataWorks Notebook 应运而生，DataWorks Notebook 基于 PAI-DSW 构建，重点解决了 Jupyter Notebook 对于大数据开发分析支持的不完善的问题和增强了 Data+AI 协同开发的能力。DataWorks Notebook 支持多种计算引擎 SQL 查询，增强数据可视化，支持 Python 与 SQL 交互式数据分析，内置 Copilot 智能助手。DataWorks Notebook 同时将大数据计算引擎的分布式数据处理、Python 单机和分布式数据处理、AI 模型训练协同起来，提供 Data+AI 一站式协同开发。

全新升级 DataWorks Copilot 智能助手，数据开发分析平均提效35%

阿里云智能集团高级产品专家、DataWorks 产品负责人田奇铣表示，DataWorks Copilot 自2023年10月发布以来，每天都在持续进化。在编程助手方向，从起初只支持 MaxCompute SQL 生成，到如今全面支持包含 MaxCompute SQL、Hologres SQL、Spark SQL、Hive SQL、StarRocks SQL 等在内的各类计算引擎的 SQL 方言的生成和 SQL 代码补全，同时支持 Python 等非 SQL 语言的代码生成；在 AI Agent 方向持续丰富，尤其是数据开发流程上提供各类 Agent，通过大模型的语义理解与内容生成能力，在找表、建表、图表生成、代码变更描述和函数描述生成等方面提供 Agent，提升了操作效率和体验。据调研统计，DataWorks Copilot 可平均为数据开发和分析工作效率提升35%，更重要的是， Copilot 为开发者在开发过程中带来愉悦感。

DataWorks 全新升级数据资产治理，AI 时代的数据资产治理

业务价值是数据资产治理的核心驱动力，为加速企业数据治理工作的落地，我们将 DataWorks 数据治理中心全新升级为 DataWorks 数据资产治理，提供了从技术视角+业务视角的资产治理体系和 Data+AI 全方位数据资产治理体系。DataWorks 数据资产治理新增通过业务标签将数据资产按数据产品或者业务进行分类，然后基于业务标签自动进行业务数据资产的健康评估，自动识别问题业务资产，推荐场景化数据治理计划，增强数据质量管理及数据安全管控。DataWorks 数据资产治理增加了对 AI 资产的覆盖，全新推出 Data+AI 全链路数据血缘，从数据集、数据处理、PAI 模型训练到 PAI 推理服务，端到端全链路追溯和可视化展现数据血缘，帮助 AI 开发者记录和识别数据与模型之间的关系，加速 AI 模型的迭代效率。

更开放的 DataWorks，更好的开发者体验

DataWorks 致力于为开发者提供更开放的、更灵活、更 Native 的开发体验。

DataWorks 将调度系统中 DAG 背后完整的定义描述 FlowSpec 完全开源【https://github.com/aliyun/alibabacloud-DataWorks-tool-dflow】，并提供了便捷的配套工具，用户可以基于 DataWorks FlowSpec 快速将其他调度系统的工作流导入到 DataWorks，也可以便捷的将 DataWorks 中的工作流导出，从而不用担心被 Lock-in 的问题。

同时，DataWorks 在提供高效方便的可视化开发界面的同时，也为用户提供了覆盖 DataWorks 完整产品能力的全套 OpenAPI，使得用户可以结合自身业务特点，将 DataWorks 的能力集成到其自有平台，甚至是构建一套高度定制化的数据管理平台。

DataWorks 致力于打造更加开放、更加智能的，面向湖仓一体架构和 Data+AI 场景的一站式数据开发治理平台，助力企业快速实现数据价值的最大化和智能化转型。