Apache SeaTunnel 2025年1月份社区月报

2025-01期

“各位热爱 Apache SeaTunnel 的小伙伴们，欢迎来到本期的社区月报！”

Apache SeaTunnel 项目正在快速发展，致力于提升数据同步的可扩展性、性能和可靠性。感谢每一位参与其中的社区成员，让我们一同见证 SeaTunnel 的成长。

SeaTunnel Monthly Merge Stars

特别感谢以下小伙伴在过去一个月对 Apache SeaTunnel 项目的卓越贡献！（排名不分先后）

exceeds the configured maximum (2097152))

@taohaozhi1129	@jw-itq	@hawk9821
@chenyz1984	@iamadamnBoy	@bwcxyk
@shirukai	@litiliu	@liunaijie
@JesseAtSZ	@zhangshenghang	@ahuljh
@Cheun99	@sohurdc	@Tu-maimes
@SEZ9	@Shlpeng	@hailin0
@supernovaYe	@TyrantLucifer	@linjianchang
@liugddx	@JeremyXin	@B1F030
@Polaris-XLY	@e-mhui	@Hisoka-X
@caicancai	@CosmosNi	@daigoopautoy
@corgy-w	@fcb-xiaobo	@xyq2834646405

近期修复和改进

修复内容

• [Fix修复flaky的Doris端到端测试 ]( https://github.com/apache/seatunnel/pull/8596 " Fix修复flaky的Doris端到端测试 ") @jw-itq
• [Fix当关闭MongoDB读取器时，也关闭MongoDB客户端。 ]( https://github.com/apache/seatunnel/pull/8592 " Fix当关闭MongoDB读取器时，也关闭MongoDB客户端。 ") @sohurdc
• [Bugfix修复火花测试案例 ]( https://github.com/apache/seatunnel/pull/8589 " Bugfix修复火花测试案例 ") @liugddx
• [Fix修复 StarRocks 自动创建表时带有注释的问题 ]( https://github.com/apache/seatunnel/pull/8568 " Fix修复 StarRocks 自动创建表时带有注释的问题 ") @corgy-w
• [Doc修复死链 ]( https://github.com/apache/seatunnel/pull/8555 " Doc修复死链 ") @litiliu
• [Fix修复多文件二进制格式同步失败 ]( https://github.com/apache/seatunnel/pull/8546 " Fix修复多文件二进制格式同步失败 ") @taohaozhi1129
• [ [Fix]更新 table-merge.md ]( https://github.com/apache/seatunnel/pull/8535 " [Fix]更新 table-merge.md ") @JesseAtSZ
• [ [Fix]更新 table-merge.md 文件 ]( https://github.com/apache/seatunnel/pull/8532 " [Fix]更新 table-merge.md 文件 ") @JesseAtSZ
• [ [Fix] [Connector-V2]Postgres 多主键支持 ]( https://github.com/apache/seatunnel/pull/8526 " [Fix] [Connector-V2]Postgres 多主键支持 ") @shirukai
• [Fix修复死链 ]( https://github.com/apache/seatunnel/pull/8525 " Fix修复死链 ") @Hisoka-X
• [Fix修复了添加表注释的问题 ]( https://github.com/apache/seatunnel/pull/8514 " Fix修复了添加表注释的问题 ") @corgy-w
• [Fix修复Kubernetes文档中的死链 ]( https://github.com/apache/seatunnel/pull/8510 " Fix修复Kubernetes文档中的死链 ") @Hisoka-X
• [Fix写入Parquet文件支持可选的timestamp int96格式 ]( https://github.com/apache/seatunnel/pull/8509 " Fix写入Parquet文件支持可选的timestamp int96格式 ") @corgy-w
• [Hotfix[SFTP]将带通配符的字符添加到SFTP文件名中 ]( https://github.com/apache/seatunnel/pull/8501 " Hotfix[SFTP]将带通配符的字符添加到SFTP文件名中 ") @e-mhui
• [Fix修复CSV字符串类型写入类型 ]( https://github.com/apache/seatunnel/pull/8499 " Fix修复CSV字符串类型写入类型 ") @corgy-w
• [Fix支持 Elasticsearch NEST 类型 && 带有 Array<map> 的 Spark ]( https://github.com/apache/seatunnel/pull/8492 " Fix支持 Elasticsearch NEST 类型 && 带有 Array<map> 的 Spark ") @CosmosNi
• [Fix修复about/index.html中的错误链接 ]( https://github.com/apache/seatunnel/pull/8486 " Fix修复about/index.html中的错误链接 ") @B1F030
• [Fix修复setup.md中的错误配置 ]( https://github.com/apache/seatunnel/pull/8483 " Fix修复setup.md中的错误配置 ") @daigoopautoy
• [Fix修复从上游转换中获取null行时的NPE（空指针异常） ]( https://github.com/apache/seatunnel/pull/8469 " Fix修复从上游转换中获取null行时的NPE（空指针异常） ") @litiliu
• [Bug卡夫卡反复阅读 ]( https://github.com/apache/seatunnel/pull/8465 " Bug卡夫卡反复阅读 ") @hawk9821
• [Bug修复Avro错误地将短类型转换为整数类型 ]( https://github.com/apache/seatunnel/pull/8459 " Bug修复Avro错误地将短类型转换为整数类型 ") @hawk9821
• [Hotfix[Log]修复zeta并行流日志跟踪以处理作业 ]( https://github.com/apache/seatunnel/pull/8456 " Hotfix[Log]修复zeta并行流日志跟踪以处理作业 ") @hailin0
• [Fix引入SeaTunnel CompletableFuture以防止ForkJoinPool线程短缺 ]( https://github.com/apache/seatunnel/pull/8445 " Fix引入SeaTunnel CompletableFuture以防止ForkJoinPool线程短缺 ") @Hisoka-X
• [hotfix将索引转换为小写 ]( https://github.com/apache/seatunnel/pull/8429 " hotfix将索引转换为小写 ") @zhangshenghang
• [Fix更新Elasticsearch Sink和Oracle CDC Source示例配置 ]( https://github.com/apache/seatunnel/pull/8425 " Fix更新Elasticsearch Sink和Oracle CDC Source示例配置 ") @bwcxyk
• [ [BUG]固定的支持存储null的avro格式 ]( https://github.com/apache/seatunnel/pull/8424 " [BUG]固定的支持存储null的avro格式 ") @Tu-maimes
• [ [Fix]将所有snappy依赖项使用一个版本 ]( https://github.com/apache/seatunnel/pull/8423 " [Fix]将所有snappy依赖项使用一个版本 ") @Hisoka-X
• [fix更新Dockerfile ]( https://github.com/apache/seatunnel/pull/8421 " fix更新Dockerfile ") @liunaijie
• [Fix修复未关闭的目录 ]( https://github.com/apache/seatunnel/pull/8415 " Fix修复未关闭的目录 ") @hailin0
• [Fix[TDEngine]TDEngine支持NCHAR类型 ]( https://github.com/apache/seatunnel/pull/8411 " Fix[TDEngine]TDEngine支持NCHAR类型 ") @zhangshenghang
• [ [Fix] [Kafka Source]Kafka源使用主题作为表名而不是全名。 ]( https://github.com/apache/seatunnel/pull/8401 " [Fix] [Kafka Source]Kafka源使用主题作为表名而不是全名。 ") @Cheun99
• [ [Bug] [connector-file]当数据源字段小于目标（Hive）字段时，它会抛出空指针异常#8150 ]( https://github.com/apache/seatunnel/pull/8200 " [Bug] [connector-file]当数据源字段小于目标（Hive）字段时，它会抛出空指针异常#8150 ") @linjianchang
• [ [hotfix]在使用分片键时修复connector-clickhouse中由操作符优先级引起的异常 ]( https://github.com/apache/seatunnel/pull/8162 " [hotfix]在使用分片键时修复connector-clickhouse中由操作符优先级引起的异常 ") @supernovaYe

改进内容

• [ [Improve]将快照版本更新到2.3.10 ]( https://github.com/apache/seatunnel/pull/8578 " [Improve]将快照版本更新到2.3.10 ") @Hisoka-X
• [Improve删除oracle 'v$database'查询 ]( https://github.com/apache/seatunnel/pull/8571 " [Improve][Jdbc]删除oracle 'v$database'查询 ") @hailin0
• [ [Feature] [Postgre CDC]支持数组类型 ]( https://github.com/apache/seatunnel/pull/8560 " [Feature] [Postgre CDC]支持数组类型 ") @litiliu
• [Doc将与 PostgreSQL 相关的中文文档翻译成英文。 ]( https://github.com/apache/seatunnel/pull/8552 " Doc将与 PostgreSQL 相关的中文文档翻译成英文。 ") @ahuljh
• [Doc翻译与Neo4j和StarRocks相关的中文文档 ]( https://github.com/apache/seatunnel/pull/8549 " Doc翻译与Neo4j和StarRocks相关的中文文档 ") @Cheun99
• [Improve添加星罗奇点测试评论 ]( https://github.com/apache/seatunnel/pull/8545 " Improve添加星罗奇点测试评论 ") @corgy-w
• [Featurellm添加deepseek ]( https://github.com/apache/seatunnel/pull/8544 " Featurellm添加deepseek ") @corgy-w
• [Feature支持在没有数据时创建空文件 ]( https://github.com/apache/seatunnel/pull/8543 " Feature支持在没有数据时创建空文件 ") @Hisoka-X
• [feature统一引擎初始化连接器逻辑 ]( https://github.com/apache/seatunnel/pull/8536 " feature统一引擎初始化连接器逻辑 ") @liugddx
• [Feature支持读取多表 ]( https://github.com/apache/seatunnel/pull/8524 " Feature支持读取多表 ") @hailin0
• [Feature在文件接收器中支持单文件模式 ]( https://github.com/apache/seatunnel/pull/8518 " Feature在文件接收器中支持单文件模式 ") @Hisoka-X
• [Improve在HdfsFile.md中添加remote_user参数 ]( https://github.com/apache/seatunnel/pull/8503 " Improve在HdfsFile.md中添加remote_user参数 ") @JeremyXin
• [Improve更新变换贡献指南 ]( https://github.com/apache/seatunnel/pull/8487 " Improve更新变换贡献指南 ") @Hisoka-X
• Revert \"[FeatureElasticsearch 支持嵌套类型 #8462 ]( https://github.com/apache/seatunnel/pull/8485 " Revert \"FeatureElasticsearch 支持嵌套类型 #8462 ") @Hisoka-X
• [Improve确保本地模式下CompletableFuture的行为与服务器模式相同。 ]( https://github.com/apache/seatunnel/pull/8476 " Improve确保本地模式下CompletableFuture的行为与服务器模式相同。 ") @Hisoka-X
• [ImproveMaxComputeSink 支持在保存模式下创建分区 ]( https://github.com/apache/seatunnel/pull/8474 " ImproveMaxComputeSink 支持在保存模式下创建分区 ") @Hisoka-X@CosmosNi
• [FeatureStarrocks实现多表 Sink ]( https://github.com/apache/seatunnel/pull/8467 " FeatureStarrocks实现多表 Sink ") @jw-itq
• [Improve改进的子任务文件分配算法。 ]( https://github.com/apache/seatunnel/pull/8453 " Improve改进的子任务文件分配算法。 ") @JeremyXin
• [Improve改进 Doris 初始化 ]( https://github.com/apache/seatunnel/pull/8446 " Improve改进 Doris 初始化 ") @hawk9821
• [ [Feature] [rest-api]支持上传文件和提交任务的Rest Api ]( https://github.com/apache/seatunnel/pull/8442 " [Feature] [rest-api]支持上传文件和提交任务的Rest Api ") @fcb-xiaobo
• [FeaturePG支持字符类型 ]( https://github.com/apache/seatunnel/pull/8420 " FeaturePG支持字符类型 ") @xyq2834646405
• [Improve在德里斯/星洛克文档中添加驱动程序引用 ]( https://github.com/apache/seatunnel/pull/8414 " Improve在德里斯/星洛克文档中添加驱动程序引用 ") @hailin0
• [Improve过滤目录表主键为空 ]( https://github.com/apache/seatunnel/pull/8413 " Improve过滤目录表主键为空 ") @hailin0
• [Feature支持沉降物补丁库 ]( https://github.com/apache/seatunnel/pull/8412 " Feature支持沉降物补丁库 ") @zhangshenghang
• [Improve[Hive]跳过临时隐藏目录 ]( https://github.com/apache/seatunnel/pull/8402 " Improve[Hive]跳过临时隐藏目录 ") @sohurdc
• [Feature添加 debezium_record_table_filter 并修复错误 ]( https://github.com/apache/seatunnel/pull/8391 " Feature添加 debezium_record_table_filter 并修复错误 ") @Hisoka-X
• [Feature支持带时区偏移的时间戳 ]( https://github.com/apache/seatunnel/pull/8367 " Feature支持带时区偏移的时间戳 ") @hailin0
• [Feature支持数据库/表通配符扫描读取 ]( https://github.com/apache/seatunnel/pull/8323 " Feature支持数据库/表通配符扫描读取 ") @hawk9821

others

• [Doc更新文档以支持MySQL 8.0 ]( https://github.com/apache/seatunnel/pull/8579 " Doc更新文档以支持MySQL 8.0 ") @litiliu
• [config支持在加密/解密配置时使用属性 ]( https://github.com/apache/seatunnel/pull/8527 " config支持在加密/解密配置时使用属性 ") @litiliu
• [config添加敏感列并增强文档 ]( https://github.com/apache/seatunnel/pull/8523 " config添加敏感列并增强文档 ") @litiliu
• [Docs将connector-v2/sink/Iceberg.md 翻译成中文 #8497 ]( https://github.com/apache/seatunnel/pull/8520 " Docs将connector-v2/sink/Iceberg.md 翻译成中文 #8497 ") @Polaris-XLY
• [Doc翻译并纠正了原文档中的错误 ]( https://github.com/apache/seatunnel/pull/8505 " Doc翻译并纠正了原文档中的错误 ") @iamadamnBoy
• [Imporve直接连接到每个分片节点以获取相应的路径 ]( https://github.com/apache/seatunnel/pull/8449 " Imporve直接连接到每个分片节点以获取相应的路径 ") @caicancai
• 修复transforms-v2 NLP模型的拼写错误 @SEZ9
• [Doc更新 Array 函数的文档 ]( https://github.com/apache/seatunnel/pull/8419 " Doc更新 Array 函数的文档 ") @CosmosNi

Apache/SeaTunnel-Website

fix

• [Fix确保source_table_name和result_table的一致性 ]( https://github.com/apache/seatunnel-website/pull/355 " Fix确保source_table_name和result_table的一致性 ") @Shlpeng

others

• [Release更新海豚调度网站的文档 ]( https://github.com/apache/seatunnel-website/pull/357 " Release更新海豚调度网站的文档 ") @TyrantLucifer
• 更新HdfsFile.md @JeremyXin
• 更新Oracle.md @chenyz1984

• 更新 setup.md @daigoopautoy

  apache/seatunnel-website

fix

• [Fix确保source_table_name和result_table名称的一致性。 ]( https://github.com/apache/seatunnel-website/pull/355 " Fix确保source_table_name和result_table名称的一致性。 ") @Shlpeng

others

• [Release更新 Seatunnel 网站的文档 ]( https://github.com/apache/seatunnel-website/pull/357 " Release更新 Seatunnel 网站的文档 ") @TyrantLucifer
• 更新HdfsFile.md @JeremyXin
• 更新Oracle.md @chenyz1984
• 更新 setup.md @daigoopautoy

结尾

Apache SeaTunnel 社区在过去一个月里继续取得了显著进展，特别是在新特性的发布和修复的过程中，大家的贡献推动了项目向前发展。感谢每一位贡献者的辛勤付出，期待更多的小伙伴加入我们，共同推动开源项目的持续发展！

本文由 白鲸开源科技 提供发布支持！