写点什么

多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!

作者:白鲸开源
  • 2025-06-05
    天津
  • 本文字数:1953 字

    阅读完需:约 6 分钟

多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!

我们很高兴地宣布 Apache SeaTunnel 2.3.11 正式发布!作为一个专注于高性能、可扩展的数据集成平台,SeaTunnel 始终致力于为开发者和数据工程团队提供更强大、更灵活的异构数据处理能力。本次 2.3.11 版本在稳定性、易用性、连接器生态、数据转换能力以及引擎层面都进行了重要增强。无论是支持更多新型数据源与目标端、多表写入、复杂格式支持,还是对关键 Bug 的修复与文档优化,本次更新都体现了社区对用户反馈的快速响应和持续进化的能力。下面让我们一起来详细了解 2.3.11 的亮点内容。

功能更新 Highlights

新增连接器与功能增强

  • HTTP Sink 支持批量写入:实现了 HTTP Sink 的批量写入功能,提高了数据写入效率。

  • 支持多表写入功能

  • ClickHouse:新增支持多表写入功能,提升了数据同步的灵活性。

  • TDengine:新增支持多表写入功能,增强了数据处理能力。

  • DataHub:新增支持多表写入功能,扩展了数据集成场景。

  • GraphQL Connector:新增支持 GraphQL 连接器,丰富了数据源类型。

  • Elasticsearch Source 支持 PIT(Point-in-Time):增强了 Elasticsearch 数据源的查询能力。

  • 支持 CSV 文件中不同列顺序的提取:提升了文件数据处理的灵活性。

  • 新增 Apache Cloudberry 支持:扩展了数据源的多样性。

  • 新增 Aerospike Sink Connector:丰富了数据写入目标。

  • 新增 Helm 测试用例:增强了部署测试能力。

配置与参数优化

  • 新增 end_timestamp 参数:在时间戳起始模式中添加了 end_timestamp 参数,增强了数据读取的灵活性。

  • 支持占位符替换:HTTP Connector 支持参数占位符替换,提升了配置的灵活性。

  • 新增远程主机验证选项:FTP 数据通道新增远程主机验证选项,增强了安全性。

  • 优化变量处理的健壮性:改进了 stop-seatunnel-cluster.sh 脚本中变量处理的健壮性。

  • 移除无用配置项:删除了 Iceberg Sink 中无用的 iceberg.table.config 配置项。

  • 优化 JDBC 方言选择逻辑:提升了 JDBC 连接器的兼容性。

  • 支持定义 Sink 列类型:Transform 支持定义 Sink 列类型,增强了数据转换能力。

  • 支持 SQL Transform 中的布尔类型:提升了 SQL 转换的表达能力。

  • 支持 Iceberg Source 中的过滤条件:增强了数据读取的灵活性。

  • 支持源/汇状态类的 serialVersionUID 检查脚本:提升了状态管理的可靠性。

  • 支持 Web UI 的基本认证:增强了 Web UI 的安全性。

  • 支持 Rest-API v2 的 HTTPS 协议:提升了 API 通信的安全性。

  • 新增任务运行管理页面的异常信息格式化:优化了异常信息的展示。

  • 优化 JDBC 的字符集分割算法:提升了数据读取的准确性。

  • 新增 row_delimiter 选项:Text File Sink 新增 row_delimiter 选项,增强了文件写入的灵活性。

Bug 修复

  • 修复 SeaTunnelClient 无法正常退出的问题:增强了客户端的稳定性。

  • 修复 Oracle-CDC 重命名 DDL 事件缺失列类型的问题:提升了数据同步的准确性。

  • 修复 PostgreSQL Sink 尝试更新唯一键的问题:增强了数据写入的稳定性。

  • 修复 Hive 客户端线程不安全的问题:提升了多线程环境下的可靠性。

  • 修复 OceanBase MySQL JDBC Sink 创建语句错误的问题:增强了兼容性。

  • 修复 Kafka 枚举器分配分片时的空指针异常:提升了数据读取的稳定性。

  • 修复 JSON 输出中科学计数法表示的十进制数问题:确保了数据的准确性。

  • 修复 Parquet Int32 转换错误的问题:提升了数据类型处理的准确性。

  • 修复 CSV 格式分隔符的问题:增强了文件解析的稳定性。

  • 修复 MaxCompute Sink 写入日期小于实际日期的问题:确保了数据写入的准确性。

  • 修复 MongoDB 中 Long 类型无法处理科学计数法字符串的问题:提升了数据类型兼容性。

  • 修复 Elasticsearch 添加列事件的问题:增强了数据同步的稳定性。

  • 修复 SQL Server 在数据库名称包含点时创建表的问题:提升了数据库兼容性。

  • 修复 DateUtils 无法解析带本地时区的日期时间字符串的问题:确保了时间解析的准确性。

  • 修复 JDBC 默认连接参数无效的问题:增强了连接配置的可靠性。

  • 修复 Redis 写入失败但任务未失败的问题:提升了错误处理的准确性。

文档更新

  • 新增中文文档

  • MySQL-CDC Connector

  • MongoDB-CDC Connector

  • HiveJdbc Connector

  • Jira Connector

  • Cloudberry Connector

  • GitHub Connector

  • 文档格式与内容优化

  • 修复了 Markdown 格式问题,统一了标题格式,删除了无效的空格和重复内容。

  • 调整了 explodetrim 系列 SQL 函数的描述,提升了文档的准确性。

  • 更新了 Kafka 文档中的 Kerberos 部分,增强了安全配置的指导性。

  • 修复了死链接,提升了文档的可用性。

致谢贡献者

感谢 @zhangshenghang 对本次版本发布的指导,以及以下贡献者对本次发布的代码提交、文档撰写、问题反馈做出的宝贵贡献(按用户名排序):



也感谢所有参与代码审核、功能测试、文档翻译和社区讨论的开发者、用户和贡献者!

获取方式

发布于: 刚刚阅读数: 5
用户头像

白鲸开源

关注

一家开源原生的DataOps商业公司。 2022-03-18 加入

致力于打造下一代开源原生的DataOps 平台,助力企业在大数据和云时代,智能化地完成多数据源、多云及信创环境的数据集成、调度开发和治理,以提高企业解决数据问题的效率,提升企业分析洞察能力和决策能力。

评论

发布
暂无评论
多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!_大数据_白鲸开源_InfoQ写作社区