各位热爱 Apache SeaTunnel 的小伙伴们,社区10月份月报来啦,请查收!
这里将记录Apache SeaTunne社区每月动态和进展,欢迎关注。
月度Merge之星
感谢以下小伙伴上个月为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):
@Hisoka-X,@prclin,@JohnTeslaa,@happyboy1024,@jiamin13579,@luckyLJY,@CosmosNi,@zhangshenghang,@xxsc0529,@zhilinli123,@hawk9821,@JeremyXin,@czshh0628,@shashwatsai,@arshadmohammad,@corgy-w,@YOMO-Lee,@BilwaST,@nianliuu,@QiaoJ-Chen,@chl-wxp,@bot ,@wuchunfu,@XenosK,@TyrantLucifer,@hailin0,@liunaijie,@lm-ylj,@liugddx,@dailai,@Asura7969
apache/seatunnel仓库
Fix
- [Fix修复CDC在值为null时使用默认值 ]( https://github.com/apache/seatunnel/pull/7950 " Fix修复CDC在值为null时使用默认值 ") @Hisoka-X
- [Bug本地模式取消运行的 JobStatusRunner ]( https://github.com/apache/seatunnel/pull/7943 " Bug本地模式取消运行的 JobStatusRunner ") @zhangshenghang
- [Fix修复文件二进制格式同步转换目录为文件 ]( https://github.com/apache/seatunnel/pull/7942 " Fix修复文件二进制格式同步转换目录为文件 ") @zhangshenghang
- [Fix修复由设置
classloader-cache-mode
为true
引起的 CI 错误 ]( https://github.com/apache/seatunnel/pull/7940 " Fix修复由设置classloader-cache-mode
为true
引起的 CI 错误 ") @Hisoka-X - [Fix修复了在多个并行情况下无法停止ClickHouse连接器的问题 ]( https://github.com/apache/seatunnel/pull/7921 " Fix修复了在多个并行情况下无法停止ClickHouse连接器的问题 ") @YOMO-Lee
- [Hotfix修复偶尔出现的数据库连接泄漏问题当读取快照拆分时 ]( https://github.com/apache/seatunnel/pull/7918 " Hotfix修复偶尔出现的数据库连接泄漏问题当读取快照拆分时 ") @hailin0
- [Fix修复 Hana 类型精度丢失问题 ]( https://github.com/apache/seatunnel/pull/7912 " Fix修复 Hana 类型精度丢失问题 ") @Hisoka-X
- [ [Fix] [Flink/Spark]修复 Flink/Spark 转换流在未配置 source_table_name 时选择错误的问题 ]( https://github.com/apache/seatunnel/pull/7907 " [Fix] [Flink/Spark]修复 Flink/Spark 转换流在未配置 source_table_name 时选择错误的问题 ") @CosmosNi
- [Fix修正hive-jdbc配置中的
useKerberos
为use_kerberos
。 ]( https://github.com/apache/seatunnel/pull/7896 " Fix修正hive-jdbc配置中的useKerberos
为use_kerberos
。 ") @czshh0628 - [Hotfix修复配置键排序混乱问题 ]( https://github.com/apache/seatunnel/pull/7893 " Hotfix修复配置键排序混乱问题 ") @hailin0
- [Fix修复jetty文档错误 ]( https://github.com/apache/seatunnel/pull/7883 " Fix修复jetty文档错误 ") @zhangshenghang
- [Fix修复中文文档构建错误 ]( https://github.com/apache/seatunnel/pull/7882 " Fix修复中文文档构建错误 ") @Hisoka-X
- [Fix修复 Paimon 表连接器错误日志信息。 ]( https://github.com/apache/seatunnel/pull/7873 " Fix修复 Paimon 表连接器错误日志信息。 ") @luckyLJY
- [Fix[connector-file-base-hadoop]修复了HdfsFile源加载krb5_path配置的问题 ]( https://github.com/apache/seatunnel/pull/7870 " Fix[connector-file-base-hadoop]修复了HdfsFile源加载krb5_path配置的问题 ") @JeremyXin
- [Fix[FTP]修复FTP连接器的
connection_mode
无效的问题 ]( https://github.com/apache/seatunnel/pull/7865 " Fix[FTP]修复FTP连接器的connection_mode
无效的问题 ") @zhangshenghang - [Fix修复工作节点指标获取 ]( https://github.com/apache/seatunnel/pull/7862 " Fix修复工作节点指标获取 ") @corgy-w
- [Fix修复 Kafka
format_error_handle_way
不起作用的问题 ]( https://github.com/apache/seatunnel/pull/7838 " Fix修复 Kafkaformat_error_handle_way
不起作用的问题 ") @Hisoka-X - [FixOceanbase向量数据库被添加为源服务器。 ]( https://github.com/apache/seatunnel/pull/7832 " FixOceanbase向量数据库被添加为源服务器。 ") @xxsc0529
- [ [Bug] [connectors-v2]Hadoop Source/Sink 失败,错误为“无法找到有效的 Kerberos 票据”。 ]( https://github.com/apache/seatunnel/pull/7809 " [Bug] [connectors-v2]Hadoop Source/Sink 失败,错误为“无法找到有效的 Kerberos 票据”。 ") @shashwatsai
- [bugfix修复指标与节点之间关联错误的问题 ]( https://github.com/apache/seatunnel/pull/7799 " bugfix修复指标与节点之间关联错误的问题 ") @liugddx
- [Fix修复 当读取Excel数据时,字符串和日期类型转换错误 ]( https://github.com/apache/seatunnel/pull/7796 " Fix修复 当读取Excel数据时,字符串和日期类型转换错误 ") @CosmosNi
- [Hotfix修复Hazelcast客户端应通过系统环境变量覆盖集群地址 ]( https://github.com/apache/seatunnel/pull/7790 " Hotfix修复Hazelcast客户端应通过系统环境变量覆盖集群地址 ") @liunaijie
- [Fix修复 AbstractSingleSplitReader 在进行检查点时无用的锁定问题 ]( https://github.com/apache/seatunnel/pull/7764 " Fix修复 AbstractSingleSplitReader 在进行检查点时无用的锁定问题 ") @CosmosNi
- [Hotfix[Flink]SeaTunnel Flink 引擎支持在 YARN 上的应用模式。 ]( https://github.com/apache/seatunnel/pull/7762 " Hotfix[Flink]SeaTunnel Flink 引擎支持在 YARN 上的应用模式。 ") @TyrantLucifer
Improve
- [Improve修复中文文档缺少Grafana仪表板配置的问题 ]( https://github.com/apache/seatunnel/pull/7955 " Improve修复中文文档缺少Grafana仪表板配置的问题 ") @corgy-w
- [ [Improve]更新 ClickHouse 连接器,使用工厂创建源/ sink ]( https://github.com/apache/seatunnel/pull/7946 " [Improve]更新 ClickHouse 连接器,使用工厂创建源/ sink ") @liunaijie
- [Improve添加一些连接器图标 ]( https://github.com/apache/seatunnel/pull/7944 " Improve添加一些连接器图标 ") @zhangshenghang
- [Improve将类加载器缓存模式的默认值设置为true。 ]( https://github.com/apache/seatunnel/pull/7938 " Improve将类加载器缓存模式的默认值设置为true。 ") @dailai
- [Improve支持目录的表注释 ]( https://github.com/apache/seatunnel/pull/7936 " Improve支持目录的表注释 ") @hailin0
- [Feature添加COS支持以用于检查点存储 ]( https://github.com/apache/seatunnel/pull/7931 " Feature添加COS支持以用于检查点存储 ") @lm-ylj
- [Improve在文档中添加
file_filter_pattern
示例。 ]( https://github.com/apache/seatunnel/pull/7922 " Improve在文档中添加file_filter_pattern
示例。 ") @YOMO-Lee - [Improve统一REST API V1和V2的代码逻辑 ]( https://github.com/apache/seatunnel/pull/7920 " Improve统一REST API V1和V2的代码逻辑 ") @liugddx
- [Improve添加 verifyHtmlResponse 测试用例 ]( https://github.com/apache/seatunnel/pull/7919 " Improve添加 verifyHtmlResponse 测试用例 ") @liugddx
- [Improve改进当类型为十进制时,从路径和查询合并表的JDBC功能。 ]( https://github.com/apache/seatunnel/pull/7917 " Improve改进当类型为十进制时,从路径和查询合并表的JDBC功能。 ") @Hisoka-X
- [Improve[FTP]删除重复的代码 ]( https://github.com/apache/seatunnel/pull/7915 " Improve[FTP]删除重复的代码 ") @zhangshenghang
- [Improve添加protobuf转换测试用例 ]( https://github.com/apache/seatunnel/pull/7914 " Improve添加protobuf转换测试用例 ") @zhangshenghang
- [Improve重构列/行的通用选项 ]( https://github.com/apache/seatunnel/pull/7911 " Improve重构列/行的通用选项 ") @Hisoka-X
- [ImproveJetty服务器启用动态端口 ]( https://github.com/apache/seatunnel/pull/7903 " ImproveJetty服务器启用动态端口 ") @corgy-w
- [Feature支持多表源读取 ]( https://github.com/apache/seatunnel/pull/7895 " Feature支持多表源读取 ") @happyboy1024
- [ImproveRedis 支持自定义键和值 ]( https://github.com/apache/seatunnel/pull/7888 " ImproveRedis 支持自定义键和值 ") @lm-ylj
- [ [Feature] [connector-milvus]更新 Milvus 连接器以支持动态模式、重试失败等功能。 ]( https://github.com/apache/seatunnel/pull/7885 " [Feature] [connector-milvus]更新 Milvus 连接器以支持动态模式、重试失败等功能。 ") @nianliuu
- [Feature支持生成UUID的SQL转换功能 ]( https://github.com/apache/seatunnel/pull/7881 " Feature支持生成UUID的SQL转换功能 ") @zhilinli123
- [Improve修改获取JobId的方法 ]( https://github.com/apache/seatunnel/pull/7880 " Improve修改获取JobId的方法 ") @hawk9821
- [FeatureJdbc DB2 支持 Upsert SQL ]( https://github.com/apache/seatunnel/pull/7879 " FeatureJdbc DB2 支持 Upsert SQL ") @shashwatsai
- [Improve改进zeta本地/集群示例 ]( https://github.com/apache/seatunnel/pull/7877 " Improve改进zeta本地/集群示例 ") @hailin0
- [Improve添加作业mdc的日志配置 ]( https://github.com/apache/seatunnel/pull/7876 " Improve添加作业mdc的日志配置 ") @hailin0
- [Improve优化在创建表时对于 PostgreSQL 的索引名称冲突问题 ]( https://github.com/apache/seatunnel/pull/7875 " Improve优化在创建表时对于 PostgreSQL 的索引名称冲突问题 ") @hailin0
- [Improve修正日志中的拼写错误 ]( https://github.com/apache/seatunnel/pull/7874 " Improve修正日志中的拼写错误 ") @Hisoka-X
- [ [Improve]移动AlterTableNameEvent父类 ]( https://github.com/apache/seatunnel/pull/7869 " [Improve]移动AlterTableNameEvent父类 ") @hailin0
- [ [Improve]将快照版本更新为2.3.9 ]( https://github.com/apache/seatunnel/pull/7849 " [Improve]将快照版本更新为2.3.9 ") @liunaijie
- [Improve添加带有注释的doris/starrocks创建表语句 ]( https://github.com/apache/seatunnel/pull/7847 " Improve添加带有注释的doris/starrocks创建表语句 ") @Hisoka-X
- [Feature支持将 CDC 变更日志事件写入 Hudi 数据sink。 ]( https://github.com/apache/seatunnel/pull/7845 " Feature支持将 CDC 变更日志事件写入 Hudi 数据sink。 ") @happyboy1024
- [ [Improve]将快照版本更新为2.3.9 ]( https://github.com/apache/seatunnel/pull/7841 " [Improve]将快照版本更新为2.3.9 ") @liunaijie
- [Improve支持非主键表的 Debezium 格式 ]( https://github.com/apache/seatunnel/pull/7836 " Improve支持非主键表的 Debezium 格式 ") @hailin0
- [Improve使用 checkpointId 作为流式写入 paimon sink 的提交标识,而不是使用哈希。 ]( https://github.com/apache/seatunnel/pull/7835 " Improve使用 checkpointId 作为流式写入 paimon sink 的提交标识,而不是使用哈希。 ") @dailai
- [FeaturePiamon Sink 支持 changelog-producer,模式为 lookup 和 full-compaction。 ]( https://github.com/apache/seatunnel/pull/7834 " FeaturePiamon Sink 支持 changelog-producer,模式为 lookup 和 full-compaction。 ") @hawk9821
- [Improve添加SLS Sink连接器、端到端测试、文档 ]( https://github.com/apache/seatunnel/pull/7830 " Improve添加SLS Sink连接器、端到端测试、文档 ") @XenosK
- [Improve更改文件读取/写入策略从
setSeaTunnelRowTypeInfo
到setCatalogTable
]( https://github.com/apache/seatunnel/pull/7829 " Improve更改文件读取/写入策略从setSeaTunnelRowTypeInfo
到setCatalogTable
") @Hisoka-X - [Improve更新遥测文档 ]( https://github.com/apache/seatunnel/pull/7827 " Improve更新遥测文档 ") @corgy-w
- [Improve优化
AlterTableColumnEvent
的继承关系 ]( https://github.com/apache/seatunnel/pull/7825 " Improve优化AlterTableColumnEvent
的继承关系 ") @hailin0 - [FeatureSFTP文件源支持多个表 ]( https://github.com/apache/seatunnel/pull/7824 " FeatureSFTP文件源支持多个表 ") @chl-wxp
- [Improve提高当拆分大小较大时的内存使用情况 ]( https://github.com/apache/seatunnel/pull/7821 " Improve提高当拆分大小较大时的内存使用情况 ") @hailin0
- [Improve支持 PostgreSQL 的 inet 类型。 ]( https://github.com/apache/seatunnel/pull/7820 " Improve支持 PostgreSQL 的 inet 类型。 ") @CosmosNi
- [Feature[Core]支持获取日志的API ]( https://github.com/apache/seatunnel/pull/7818 " Feature[Core]支持获取日志的API ") @zhangshenghang
- [Improve编辑关于Opengauss-CDC的startup.mode描述 ]( https://github.com/apache/seatunnel/pull/7815 " Improve编辑关于Opengauss-CDC的startup.mode描述 ") @dailai
- [Improve支持jdbc-dm的sink的保存模式 ]( https://github.com/apache/seatunnel/pull/7814 " Improve支持jdbc-dm的sink的保存模式 ") @dailai
- [Improve-PostgresSourceOptions 描述错误 ]( https://github.com/apache/seatunnel/pull/7813 " Improve-PostgresSourceOptions 描述错误 ") @Asura7969
- [Improve改进REST API文档 ]( https://github.com/apache/seatunnel/pull/7804 " Improve改进REST API文档 ") @liugddx
- [Improve对于获取容器IP的Docker文档更正,请不要翻译专有名词如Apache SeaTunnel的修复和功能。 更正Docker文档以获取容器IP。 ]( https://github.com/apache/seatunnel/pull/7801 " Improve对于获取容器IP的Docker文档更正,请不要翻译专有名词如Apache SeaTunnel的修复和功能。 更正Docker文档以获取容器IP。 ") @Hisoka-X
- [Improve将上下文路径更新为默认路径/ ]( https://github.com/apache/seatunnel/pull/7800 " Improve将上下文路径更新为默认路径/ ") @liugddx
- [FeatureFTP文件源支持多个表 ]( https://github.com/apache/seatunnel/pull/7795 " FeatureFTP文件源支持多个表 ") @chl-wxp
- [Improve支持同时配置条件和可选选项。 ]( https://github.com/apache/seatunnel/pull/7788 " Improve支持同时配置条件和可选选项。 ") @corgy-w
- [Feature允许将指标信息关联到逻辑计划节点上。 ]( https://github.com/apache/seatunnel/pull/7786 " Feature允许将指标信息关联到逻辑计划节点上。 ") @liugddx
- [Improve添加LLM模型提供商微软。 ]( https://github.com/apache/seatunnel/pull/7778 " Improve添加LLM模型提供商微软。 ") @corgy-w
- [Improve改进startrocks源文档 ]( https://github.com/apache/seatunnel/pull/7777 " Improve改进startrocks源文档 ") @jiamin13579
- [Feature支持从CDC源追加-only流 ]( https://github.com/apache/seatunnel/pull/7763 " Feature支持从CDC源追加-only流 ") @hawk9821
- [Feature提交作业调度支持待处理 ]( https://github.com/apache/seatunnel/pull/7693 " Feature提交作业调度支持待处理 ") @zhangshenghang
- [Feature使用Jetty替换Hazelcast原生REST API,请注意不要翻译“Apache SeaTunnel”这个 proper noun。但如果上下文中涉及到“SeaTunnel”,请保持原样不翻译。根据你的要求,这里只涉及到了“Jetty”和“Hazelcast”,这两个词将保持不变。 ]( https://github.com/apache/seatunnel/pull/7647 " Feature使用Jetty替换Hazelcast原生REST API,请注意不要翻译“Apache SeaTunnel”这个 proper noun。但如果上下文中涉及到“SeaTunnel”,请保持原样不翻译。根据你的要求,这里只涉及到了“Jetty”和“Hazelcast”,这两个词将保持不变。 ") @liugddx
- [Feature支持使用opengauss驱动的JDBC连接器。 ]( https://github.com/apache/seatunnel/pull/7622 " Feature支持使用opengauss驱动的JDBC连接器。 ") @luckyLJY
- [Feature引擎的部分页面 ]( https://github.com/apache/seatunnel/pull/7602 " Feature引擎的部分页面 ") @QiaoJ-Chen
- [Feature添加Prometheus源和sink ]( https://github.com/apache/seatunnel/pull/7265 " Feature添加Prometheus源和sink ") @CosmosNi
其他
- 升级 /seatunnel-connectors-v2/connector-clickhouse 中的 commons-io:commons-io 从 2.11.0 到 2.14.0 @bot
[Improvment提供禁用源码jar创建的选项。 ]( https://github.com/apache/seatunnel/pull/7680 " Improvment提供禁用源码jar创建的选项。 ") @arshadmohammad
apache/seatunnel-website仓库
Improve
- [Improve新增 committer 名为 Mohammad Arshad ]( https://github.com/apache/seatunnel-website/pull/342 " Improve新增 committer 名为 Mohammad Arshad ") @arshadmohammad
- [ [Improve]更新站点地图以改善搜索结果 ]( https://github.com/apache/seatunnel-website/pull/338 " [Improve]更新站点地图以改善搜索结果 ") @Hisoka-X
- [Improve新增 committer 名为 Lai Dai ]( https://github.com/apache/seatunnel-website/pull/337 " Improve新增 committer 名为 Lai Dai ") @dailai
- [ [Improve]添加Matomo集成以进行网站分析 ]( https://github.com/apache/seatunnel-website/pull/336 " [Improve]添加Matomo集成以进行网站分析 ") @Hisoka-X
其他
- Seatunnel-Web 1.0.2 版本更新 @arshadmohammad
- 更新发布流程文档 @liunaijie
- 更新部署.md @prclin
添加发行文档 2.3.8 @liunaijie
apache/seatunnel-web仓库
Fix
- [ [Bug] [Seatunnel-web]分页功能不起作用。 ]( https://github.com/apache/seatunnel-web/pull/232 " [Bug] [Seatunnel-web]分页功能不起作用。 ") @BilwaST
- [Bug[Addendum]转义 SeaTunnel-web 占位符 ]( https://github.com/apache/seatunnel-web/pull/228 " Bug[Addendum]转义 SeaTunnel-web 占位符 ") @arshadmohammad
- [Bug
download_datasource.sh
失败,因为缺少mvnw
命令。 ]( https://github.com/apache/seatunnel-web/pull/227 " Bugdownload_datasource.sh
失败,因为缺少mvnw
命令。 ") @arshadmohammad - [Bug转译:替换 seatunnel-web 占位符 ]( https://github.com/apache/seatunnel-web/pull/225 " Bug转译:替换 seatunnel-web 占位符 ") @arshadmohammad
- [ [Bug] [Seatunnel-web]HiveJDBC 不应被用作目标数据源。 ]( https://github.com/apache/seatunnel-web/pull/223 " [Bug] [Seatunnel-web]HiveJDBC 不应被用作目标数据源。 ") @arshadmohammad
- [Bug[Hive]筛选系统数据库 ]( https://github.com/apache/seatunnel-web/pull/222 " Bug[Hive]筛选系统数据库 ") @arshadmohammad
- [ [Bug] [Seatunnel-web] [HiveJDBC]重复的列在源中显示。 ]( https://github.com/apache/seatunnel-web/pull/221 " [Bug] [Seatunnel-web] [HiveJDBC]重复的列在源中显示。 ") @arshadmohammad
Improve
- [Improve在文档中添加兼容性部分。 ]( https://github.com/apache/seatunnel-web/pull/235 " Improve在文档中添加兼容性部分。 ") @Hisoka-X
- [ [Improve]使用 generate_sink_sql=true 进行 DB2 更新操作 ]( https://github.com/apache/seatunnel-web/pull/233 " [Improve]使用 generate_sink_sql=true 进行 DB2 更新操作 ") @shashwatsai
- [ [Improvement] [Seatunnel-web]添加支持以提供作业失败的原因… ]( https://github.com/apache/seatunnel-web/pull/231 " [Improvement] [Seatunnel-web]添加支持以提供作业失败的原因… ") @BilwaST
- [Improvement文档占位符功能 ]( https://github.com/apache/seatunnel-web/pull/230 " Improvement文档占位符功能 ") @arshadmohammad
- [Improve更新README_CN.md为版本2.3.8 ]( https://github.com/apache/seatunnel-web/pull/229 " Improve更新README_CN.md为版本2.3.8 ") @wuchunfu
- [Improvement升级SeaTunnel版本从2.3.7到2.3.8 ]( https://github.com/apache/seatunnel-web/pull/226 " Improvement升级SeaTunnel版本从2.3.7到2.3.8 ") @arshadmohammad
其他
- [ [Build]将快照版本更新为1.0.3 ]( https://github.com/apache/seatunnel-web/pull/234 " [Build]将快照版本更新为1.0.3 ") @arshadmohammad
- [ [Doc]初始化部署README优化 ]( https://github.com/apache/seatunnel-web/pull/224 " [Doc]初始化部署README优化 ") @JohnTeslaa
本文由 白鲸开源科技 提供发布支持!
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。