简介
EMR Serverless Spark 版是开源大数据平台 E-MapReduce 基于 Spark 提供的一款全托管、一站式的数据计算平台。它为用户提供任务开发、调试、发布、调度和运维等全方位的产品化服务，显著简化了大数据计算的工作流程，使用户能更专注于数据分析和价值提炼。
实时计算 Flink 版是阿里云提供的全托管 Serverless Flink 云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。
Apache Paimon 是一种流批统一的数据湖存储格式，结合 Flink 及 Spark 构建流批处理的实时湖仓一体架构。Paimon 创新地将湖格式与 LSM 技术结合起来，给数据湖带来了实时流更新以及完整的流处理能力。
本文通过 Flink Datagen 模拟上游数据源，通过实时计算Flink版完成数据的实时摄取，以 Paimon 湖格式存储；然后通过 Serverless Spark 完成数据的分析。同时依赖 Serverless Spark 的调度能力，配置离线的 Compact 作业完成对 Paimon 表的湖表管理。
实时计算 Flink 版实时入湖
创建 Paimon Catalog，元数据存储类型选择 dlf（通过DLF实现统一的元数据管理，实现多引擎无缝衔接），Catalog 完整配置如下所示。
catalog name: paimon metastore: dlf warehouse: oss://test/warehouse dlf.catalog.id: x dlf.catalog.accessKeyId: x dlf.catalog.accessKeySecret: x dlf.catalog.endpoint: dlf-vpc.cn-hangzhou.aliyuncs.com dlf.catalog.region: cn-hangzhou创建 Paimon 表，按日期和小时分区，其中 category 模拟为 1~10 的随机数，用作后续执行 zorder 的列。设置表属性
write-only为true，关闭自动Compact，提升写效率。create table if not exists `paimon`.`test_paimon_db`.`test_append_tbl` ( id string ,data string ,category int ,ts string ,dt string ,hh string ) partitioned by (dt, hh) with ( 'write-only' = 'true' ) ;启动入湖作业，通过 datagen 源源不断生成数据写入 Paimon 表中，流作业完整 SQL 如下：
CREATE TEMPORARY TABLE datagen ( id string ,data string ,category int ) WITH ( 'connector' = 'datagen' ,'rows-per-second' = '100' ,'fields.category.kind' = 'random' ,'fields.category.min' = '1' ,'fields.category.max' = '10' ) ; INSERT INTO `paimon`.`test_paimon_db`.`test_append_tbl` SELECT id ,data ,category ,cast(LOCALTIMESTAMP as string) as ts ,cast(CURRENT_DATE as string) as dt ,cast(hour(LOCALTIMESTAMP) as string) as hh from datagen ;
作业示意图：
Serverless Spark 交互式查询
Serverless Spark 支持交互式查询和作业提交两种方式，前者可用于快速查询调试，后者提供任务开发、调试、调度和运维等全生命周期工作流程。
在数据写入过程中，我们可以随时通过 EMR Serverless Spark 对 Paimon 表进行交互式查询。
- 创建 SQL Compute，配置Paimon相关参数。
spark.sql.extensions org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions
spark.sql.catalog.paimon org.apache.paimon.spark.SparkCatalog
spark.sql.catalog.paimon.metastore dlf
spark.sql.catalog.paimon.warehouse oss://test/warehouse- 启动 SQL Compute，回到任务开发页面，进行交互式查询
示例1：
select * from `paimon`.`test_paimon_db`.`test_append_tbl` limit 10;查询结果：
示例2：
select count(*) from `paimon`.`test_paimon_db`.`test_append_tbl` where dt='2024-06-04' and hh='12';查询结果：
Serverless Spark 作业调度
Serverless Spark 还支持作业调度。我们将开发好的任务进行发布，然后创建工作流，编排任务并完成发布工作流。可以配置调度策略，实现定期调度。以下通过该模块实现 Paimon 表的 Compact 调度。
- 在“任务开发”页面，编写Paimon Compact SQL，完成发布。
CALL paimon.sys.compact (
table => 'test_paimon_db.test_append_tbl',
partitions => 'dt=\"2024-06-04\",hh=\"12\"',
order_strategy => 'zorder',
order_by => 'category'
)
;- 在“任务编排”页面，创建工作流，添加节点，配置成刚发布的任务。
每个工作流节点都可以配置节点专用的引擎版本和Spark运行配置。
该节点我们配置以下Paimon配置。
spark.sql.extensions org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions
spark.sql.catalog.paimon org.apache.paimon.spark.SparkCatalog
spark.sql.catalog.paimon.metastore dlf
spark.sql.catalog.paimon.warehouse oss://test/warehouse- 手动运行工作流。
- 验证。在工作流的作业调度执行成功后，我们可以通过 SQL Compute 查询 Paimon 的 files 系统表，快速得到 Compact 前后文件的变化。
示例，查询 dt=2024-06-04/hh=12 分区的文件信息：
SELECT file_path, record_count, file_size_in_bytes FROM `paimon`.`test_paimon_db`.`test_append_tbl$files` where partition='[2024-06-04, 12]';查询结果（Compact 前）：
查询结果（Compact 后）：
总结
本文演示了使用实时计算 Flink 版和 Serverless Spark 产品快速构建 Paimon 数据湖分析的流程，包括数据入湖 OSS、交互式查询，以及离线Compact。Serverless Spark完全兼容Paimon，通过内置的DLF的元数据实现了和其余云产品如实时计算Flink版的元数据互通，形成了完整的流批一体的解决方案。同时支持灵活的作业运行方式和参数配置，能够满足实时分析、生产调度等多项需求。
EMR Serverless Spark 在 2024年5月正式开启公测，在公测期间可以免费使用最高 100 CU 计算资源，欢迎试用。如果您在使用 EMR Serverless Spark 版的过程中遇到任何疑问，可钉钉扫描以下二维码加入钉钉群（群号：58570004119）咨询。
相关链接
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。