各位热爱 Apache SeaTunnel 的小伙伴们,今年 4 月份月报更新啦!这里将记录 SeaTunnel 社区每月的重要更新,欢迎关注!
在本月的众多更新中,最令人关注的一项新特性是——TDengine 多表 Sink 功能的支持(由 @jia17 提交)。这一功能的引入,标志着 SeaTunnel 在面向时序数据库的数据写入能力上迈出了关键一步。
在工业物联网、智慧能源、智能制造等场景中,传感器数据往往分布在多个逻辑表中,原有的单表 Sink 显然难以满足复杂的数据落盘需求。此次更新实现了 TDengine 多表动态写入能力,用户可以灵活地根据业务逻辑将数据路由到不同的目标表中,极大提升了数据写入的灵活性与效率。
更重要的是,整个功能的设计兼顾了 Schema 解析、字段匹配和异常处理等细节,具有较强的工程实用性,未来也有望扩展到更多支持多表写入场景的连接器中。
SeaTunnel 正在不断强化与主流数据系统的融合能力,这项更新正是一次面向实际业务需求的有力回应。
月度Merge之星
感谢以下小伙伴上个月为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):
@hawk9821,@eyys,@liunaijie,@corgy-w,@CosmosNi,@FrommyMind,@maozhen520,@Hisoka-X,@litiliu,@JeremyXin,@Alberne,@rbowen,@mrtisttt,@RongHaa,@misi1987107,@kehan-zhou,@ocean-zhc,@qifanlili,@jia17,@xxsc0529,@hailin0
apache/seatunnel仓库
修复
- [Bugfix修复Transform检查 ]( https://github.com/apache/seatunnel/pull/9237 " Bugfix修复变换检查 ") @hailin0
- [Fix在测试用例中释放文件资源 ]( https://github.com/apache/seatunnel/pull/9232 " Fix在测试用例中释放文件资源 ") @CosmosNi
- [Fix修复 seatunnel.yaml 中无效的遥测日志配置 ]( https://github.com/apache/seatunnel/pull/9230 " Fix修复 seatunnel.yaml 中无效的遥测日志配置 ") @mrtisttt
- [Fix修复检查点线程池过早关闭导致任务状态异常的问题 ]( https://github.com/apache/seatunnel/pull/9228 " Fix修复检查点线程池过早关闭导致任务状态异常的问题 ") @Hisoka-X
- [Fix修复配置解析中带有
\"\"
的错误 ]( https://github.com/apache/seatunnel/pull/9225 " Fix修复配置解析中带有\"\"
的错误 ") @Hisoka-X - [Bugifx修复 Kafka 枚举器分配拆分时的空指针异常 NPE ]( https://github.com/apache/seatunnel/pull/9220 " Bugifx修复 Kafka 枚举器分配拆分时的空指针异常 NPE ") @hailin0
- [Fix删除_test和_sink前的空格 ]( https://github.com/apache/seatunnel/pull/9216 " Fix删除_test和_sink前的空格 ") @kehan-zhou
- [Fix修复Kafka数据库名称 ]( https://github.com/apache/seatunnel/pull/9201 " Fix修复Kafka数据库名称 ") @corgy-w
- [Fix在HdfsStorage中不使用volatile关键字修复双重检查锁定问题 ]( https://github.com/apache/seatunnel/pull/9200 " Fix在HdfsStorage中不使用volatile关键字修复双重检查锁定问题 ") @maozhen520
- [Fix防止 JSON 输出中的十进制数字采用科学计数法 ]( https://github.com/apache/seatunnel/pull/9186 " Fix防止 JSON 输出中的十进制数字采用科学计数法 ") @misi1987107
- [Fix升级操作作业运行主机版本 ]( https://github.com/apache/seatunnel/pull/9185 " Fix升级操作作业运行主机版本 ") @Hisoka-X
- [Fix调整explode函数的描述 ]( https://github.com/apache/seatunnel/pull/9168 " Fix调整explode函数的描述 ") @CosmosNi
- [Fix修复TDengine sink中当列或标签包含null值时出现的NullPointerException ]( https://github.com/apache/seatunnel/pull/9158 " Fix修复TDengine sink中当列或标签包含null值时出现的NullPointerException ") @jia17
- [Fix修复 parquet int32 转换错误 ]( https://github.com/apache/seatunnel/pull/9142 " Fix修复 parquet int32 转换错误 ") @JeremyXin
- [Fix修复了 StarRocks 连接器中缺少的时间戳精度问题 ]( https://github.com/apache/seatunnel/pull/9096 " Fix修复了 StarRocks 连接器中缺少的时间戳精度问题 ") @corgy-w
- [Fix调整调用枚举器打开方法的时机 ]( https://github.com/apache/seatunnel/pull/9092 " Fix调整调用枚举器打开方法的时机 ") @Hisoka-X
- [Fix修复MaxCompute多平行写入问题 ]( https://github.com/apache/seatunnel/pull/9089 " Fix修复MaxCompute多平行写入问题 ") @Hisoka-X
- [Fix[OceanBase]OceanBase 支持简单的向量索引。 ]( https://github.com/apache/seatunnel/pull/9072 " Fix[OceanBase]OceanBase 支持简单的向量索引。 ") @xxsc0529
- [Fix修复未调用
SinkAggregatedCommitter
的初始化方法的问题 ]( https://github.com/apache/seatunnel/pull/9070 " Fix修复未调用SinkAggregatedCommitter
的初始化方法的问题 ") @Hisoka-X - [Bugfix修复添加列事件 ]( https://github.com/apache/seatunnel/pull/9069 " Bugfix修复添加列事件 ") @hailin0
- [Bugfix修复 CSV 格式分隔符 ]( https://github.com/apache/seatunnel/pull/9066 " Bugfix修复 CSV 格式分隔符 ") @hailin0
- [Fix修复 Postgres CDC 使用 debezium_json 格式时无法解析没有小数位的数字的问题。 ]( https://github.com/apache/seatunnel/pull/9052 " Fix修复 Postgres CDC 使用 debezium_json 格式时无法解析没有小数位的数字的问题。 ") @FrommyMind
- [ [Fix]修复
DateUtils
无法解析带有本地时区的日期时间字符串的问题。 ]( https://github.com/apache/seatunnel/pull/9019 " [Fix]修复DateUtils
无法解析带有本地时区的日期时间字符串的问题。 ") @Hisoka-X - [Fix修复SqlServer中数据库名称含点号时创建表的问题 ]( https://github.com/apache/seatunnel/pull/9007 " Fix修复SqlServer中数据库名称含点号时创建表的问题 ") @Hisoka-X
- [FixLong 类型无法处理科学计数法表示的字符串值 ]( https://github.com/apache/seatunnel/pull/8783 " FixLong 类型无法处理科学计数法表示的字符串值 ") @qifanlili
优化
- [ [improve]Qdrant选项 ]( https://github.com/apache/seatunnel/pull/9235 " [improve]Qdrant选项 ") @liunaijie
- [Feature为DataHub使某些sink参数成为可选的 ]( https://github.com/apache/seatunnel/pull/9229 " Feature为DataHub使某些sink参数成为可选的 ") @jia17
- [Improve修复架构更改事件 ]( https://github.com/apache/seatunnel/pull/9217 " Improve修复架构更改事件 ") @CosmosNi
- [Feature支持TDengine的多表sink功能 ]( https://github.com/apache/seatunnel/pull/9215 " Feature支持TDengine的多表sink功能 ") @jia17
- [FeatureDatahub 支持多表 Sink(写入多个表) ]( https://github.com/apache/seatunnel/pull/9212 " FeatureDatahub 支持多表 Sink(写入多个表) ") @jia17
- [Doc support chinese [docs/zh/connector-v2/source/Cloudberry.md]优化中文文档支持 ]( https://github.com/apache/seatunnel/pull/9211 " Doc support chinese [docs/zh/connector-v2/source/Cloudberry.md]请问您有什么问题?我会直接为您翻译成中文。 ") @jia17
- [Doc support chinese [docs/zh/connector-v2/source/Github.md]优化中文文档支持]( https://github.com/apache/seatunnel/pull/9210 " Doc support chinese [docs/zh/connector-v2/source/Github.md]请问您有什么具体的问题或需要翻译的内容吗? ") @jia17
- [Improve添加日志以打印每个任务的执行位置 ]( https://github.com/apache/seatunnel/pull/9205 " Improve添加日志以打印每个任务的执行位置 ") @CosmosNi
- [Feature添加表格过滤转换 ]( https://github.com/apache/seatunnel/pull/9189 " Feature添加表格过滤转换 ") @hailin0
- [Feature修复md文档格式 ]( https://github.com/apache/seatunnel/pull/9177 " Feature修复md文档格式 ") @CosmosNi
- [Feature为Web UI支持基本身份验证 ]( https://github.com/apache/seatunnel/pull/9171 " Feature为Web UI支持基本身份验证 ") @CosmosNi
- [ [improve]派蒙选项 ]( https://github.com/apache/seatunnel/pull/9167 " [improve]派蒙选项 ") @liunaijie
- [ [improve]OpenMLDB 选项 ]( https://github.com/apache/seatunnel/pull/9166 " [improve]OpenMLDB 选项 ") @liunaijie
- [ [improve]Milvus选项 ]( https://github.com/apache/seatunnel/pull/9165 " [improve]Milvus选项 ") @liunaijie
- [ [improve]Neo4j 选项 ]( https://github.com/apache/seatunnel/pull/9164 " [improve]Neo4j 选项 ") @liunaijie
- [ [Improve]MaxCompute选项 ]( https://github.com/apache/seatunnel/pull/9163 " [Improve]MaxCompute选项 ") @liunaijie
- [ [Improve]Kudu选项 ]( https://github.com/apache/seatunnel/pull/9162 " [Improve]Kudu选项 ") @liunaijie
- [Improve统一标题格式,并修复一些格式异常的文档。 ]( https://github.com/apache/seatunnel/pull/9159 " Improve统一标题格式,并修复一些格式异常的文档。 ") @Hisoka-X
- [FeatureElasticsearch 源支持 PIT(Point in Time) ]( https://github.com/apache/seatunnel/pull/9150 " FeatureElasticsearch 源支持 PIT(Point in Time) ") @CosmosNi
- [Feature在任务运行管理页面上格式化异常消息 ]( https://github.com/apache/seatunnel/pull/9147 " Feature在任务运行管理页面上格式化异常消息 ") @ocean-zhc
- [Improve调整trim系列SQL函数的描述 ]( https://github.com/apache/seatunnel/pull/9143 " Improve调整trim系列SQL函数的描述 ") @Hisoka-X
- [Improve[Http]支持基于游标的分页 #9109 ]( https://github.com/apache/seatunnel/pull/9138 " Improve[Http]支持基于游标的分页 #9109 ") @Alberne
- [Feature为 SQL 转换支持布尔类型 ]( https://github.com/apache/seatunnel/pull/9136 " Feature为 SQL 转换支持布尔类型 ") @hawk9821
- [Feature添加检查脚本来检测源/目标状态类中缺少
serialVersionUID
。 ]( https://github.com/apache/seatunnel/pull/9118 " Feature添加检查脚本来检测源/目标状态类中缺少serialVersionUID
。 ") @CosmosNi - [Feature支持定义 sink 列的类型 ]( https://github.com/apache/seatunnel/pull/9114 " Feature支持定义 sink 列的类型 ") @hailin0
- [Improve改进的德瑞斯来源枚举器为子任务分配算法的分割算法 ]( https://github.com/apache/seatunnel/pull/9108 " Improve改进的德瑞斯来源枚举器为子任务分配算法的分割算法 ") @JeremyXin
- [Improve改进正在运行的任务和已完成任务的排序 ]( https://github.com/apache/seatunnel/pull/9107 " Improve改进正在运行的任务和已完成任务的排序 ") @ocean-zhc
- [Improve更新元数据转换配置继承 ]( https://github.com/apache/seatunnel/pull/9082 " Improve更新元数据转换配置继承 ") @hailin0
- [Improve支持恢复执行保存模式 ]( https://github.com/apache/seatunnel/pull/9059 " Improve支持恢复执行保存模式 ") @hailin0
- [ [improve]更新文件连接器配置 ]( https://github.com/apache/seatunnel/pull/9034 " [improve]更新文件连接器配置 ") @misi1987107
- [Improve更新Kafka文档中的Kerberos部分 ]( https://github.com/apache/seatunnel/pull/9031 " Improve更新Kafka文档中的Kerberos部分 ") @Hisoka-X
- [Improve支持try_cast表达式 ]( https://github.com/apache/seatunnel/pull/9029 " Improve支持try_cast表达式 ") @corgy-w
- [Feature支持 GraphQL 连接器 #8557 ]( https://github.com/apache/seatunnel/pull/9021 " Feature支持 GraphQL 连接器 #8557 ") @eyys
- [Improve优化JDBC中的方言选择 ]( https://github.com/apache/seatunnel/pull/8820 " Improve优化JDBC中的方言选择 ") @corgy-w
其他
- [Doc添加Jira连接器中文文档 ]( https://github.com/apache/seatunnel/pull/9236 " Doc添加Jira连接器中文文档 ") @RongHaa
- [Feat[Iceberg]在冰山来源中支持过滤条件 ]( https://github.com/apache/seatunnel/pull/9095 " Feat[Iceberg]在冰山来源中支持过滤条件 ") @litiliu
- [ [Chore]将 actions/cache@v2 升级到 actions/cache@v4 ]( https://github.com/apache/seatunnel/pull/9084 " [Chore]将 actions/cache@v2 升级到 actions/cache@v4 ") @hailin0
apache/seatunnel-website仓库
修复
- [Fix修复连接器的链接 ]( https://github.com/apache/seatunnel-website/pull/376 " Fix修复连接器的链接 ") @rbowen
优化
- [Improve添加名为 Chao Wang 的提交者 ]( https://github.com/apache/seatunnel-website/pull/374 " Improve添加名为 Chao Wang 的提交者 ") @corgy-w
本文由 白鲸开源科技 提供发布支持!
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。