Apache SeaTunnel 9 月动态:多模块修复 + 新功能上线,社区贡献成果亮眼
各位热爱 Apache SeaTunnel 的小伙伴们,社区 9 月份月报来啦!
本月,社区 21 位贡献者共同参与了 Apache SeaTunnel 的修复与功能升级,助力数据同步能力提升。
核心亮点总结
核心功能持续丰富:新增正则提取转换、多模态嵌入、向量降维等 Transform-V2 能力;支持 HDFS 文件多表源读取、Databend CDC 模式接收,拓展数据处理场景。
多模块问题修复:完成 UI 细节与包优化、Excel/DB2/Hive 等连接器异常修复、Zeta 引擎命令失效及资源泄漏修复,保障系统稳定运行。
性能与兼容性优化:优化 ClickHouse 批量并行读取性能,改进 Zeta 引擎作业指标处理;升级 maxwell_json 等格式,支持合并数据更新前后状态。
文档与生态完善:更新官网部署文档、修复连接器配置项错误,同步推进 2.3.12 版本文档迭代,提升用户使用体验。
月度 Merge Star
感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献(排名不分先后):
@Hisoka-X,@LeonYoah,@dyp12,@chl-wxp,@CosmosNi,@mikulc,@dybyte,@liucongjy,@hantmac,@gbyangg,@Adamyuanyuan,@zhangshenghang,@lm-ylj,@xiaochen-zhou,@corgy-w,@hengke,@loupipalien,@JeremyXin,@hawk9821,@joonseolee,@wtybxqm
apache/seatunnel 仓库
修复
[Fix][UI]优化细节和收尾部件 @hawk9821
[Fix][UI]优化UI包 @hawk9821
[Fix][Connector-V2]解决特殊Excel的阅读问题 @corgy-w
[Fix][Doc]修复
file_filter_modified_start和file_filter_modified_end的格式 @Hisoka-X[Fix][doc]根据官方文档修复 ./mvnw install 错误 @Adamyuanyuan
[Fix][Zeta]修复
JobStateEventTest以使用 await 条件进行 accessCounter 断言 @dybyte[Fix][Flink]删除重复代码 @zhangshenghang
[Fix][connector-hive]修复 file_name_expression 在 Hive sink 中未生效的问题。 @Adamyuanyuan
[Fix][Connector-xugu]修复 xugu 连接器中的几个错误 @LeonYoah
[Fix][Zeta]处理
BaseService中的 null startTimestamp 以修复不稳定的MysqlCDCWithBinlogDeleteIT测试 @dybyte[Fix][POM]修复转换 UDF 依赖版本 @Hisoka-X
[Fix][Core]修复使用复杂配置时占位符无法传递参数的问题 @LeonYoah
[Fix][Zeta]修复 pendingJobMasterMap 资源泄漏 @hawk9821
[Fix][Connector-V2]修复 db2 表小写错误 @chl-wxp
优化
[Improve][CI]将
kafka-connector-it的超时时间从 120 分钟增加到 140 分钟 @dybyte[Improve][Connector-V2]MongodbSinkFactory 实现 TableSinkFactory @chl-wxp
[Improve]将快照版本更新为 2.3.13 @Hisoka-X
[Feature][File]添加 markdown 解析器文档 @joonseolee
[Improve][Zeta]通过分区支持改进作业指标处理 @dybyte
[Feature][Transform-V2]支持正则提取转换 @xiaochen-zhou
[Feature][Connector-V2]支持HDFS文件多表源读取 @JeremyXin
[Feature][Format]改进 maxwell_json、canal_json、debezium_json 格式支持合并 update_before 和 update_after @dyp12
[Feature][Zeta]支持检查点的最小暂停配置 @xiaochen-zhou
[Improve][Connector-Clickhouse]通过使用最后一个批次的行排序值方法,而不是使用 LIMIT OFFSET 来改进 CK 的批量并行读取。 @JeremyXin
[Feature][Transform V2]添加向量降维Transform @CosmosNi
[Feature][File]为RAG支持添加Markdown解析器 #9714 @joonseolee
[Feature][Engine]对数据源信息存储和管理的支持 @wtybxqm
[Feature][Transform-V2]支持多模态嵌入 @xiaochen-zhou
其他
[Docs][Connector-V2][S3File]修复连接器 s3file 的选项名称(access_secret -> secret_key) @loupipalien
[Chore]修复拼写错误:coolumn ---> column @xiaochen-zhou
apache/seatunnel-website 仓库
其他
更新 docker.md @hengke
[Release][2.3.12]更新Seatunnel网站文档 @Hisoka-X
更新 hybrid-cluster-deployment.md @gbyangg
更新 docker.md @mikulc
版权声明: 本文为 InfoQ 作者【白鲸开源】的原创文章。
原文链接:【http://xie.infoq.cn/article/6f362cf78830f231e3dc6a475】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。







评论