支持在 Kubernetes 运行,添加多种连接器,SeaTunnel 2.1.2 版本正式发布!
添加图片注释,不超过 140 字(可选)在 Apache SeaTunnel(Incubating) 2.1.1 发布后一个月左右的时间里,社区接受了来自全球的团队或个人累计近百个 PR,为大家带来 2.1.2 版本。该版本提高了稳定性,并在功能、文档、示例等方面得到优化。本文将为大家介绍 Apache SeaTunnel (Incubating) 2.1.2 版本更新内容。
Release Note:
https://github.com/apache/incubator-seatunnel/blob/2.1.2/release-note.md
下载地址:https://seatunnel.apache.org/download
01 主要功能
更新添加 Webhook 和 Http2 种连接器,主要增强 Http 相关数据处理能力。特别感谢 tmljob 同学的贡献。
01 Webhook
用户可以通过该连接器实现任务的调度,事件的调度,数据的推送等各式各样的实用功能,只需输出端提供 Http 服务能力的支持即可。详情见https://seatunnel.apache.org/docs/2.1.2/connector/source/Webhook02 Http 支持读取 Http 接口数据,为上游提供通过 Http 完成数据传输到 SeaTunnel 做进一步处理的能力,Http 是一个通用标准的接口,可以通过这种方式完成各种业务的接入。使用方式如下:Http { url = "http://date.jsontest.com/" result_table_name= "response_body" }
FlinkSQL 模块添加了 Kafka 和 ElasticSearch 连接器,现在 SeaTunnel 可以用 SQL 来读取写入这些数据源的数据了。Transfrom 方面添加了 UUID 和 Replace 的支持,可以更加灵活地对数据进行简单处理。同时支持了自定义函数的添加,帮助用户实现各种自定义业务逻辑。03 支持在 Kubernetes 上运行 SeaTunnelKubernetes 已经成为云原生时代的必备组件,SeaTunnel 自然需要提供对应的支持。官方适配 SeaTunnel 运行在 Kubernetes,教程见https://seatunnel.apache.org/docs/2.1.2/start/kubernetes
02 具体更新内容
01 [Connector]
添加 Spark webhook connector 的支持
优化 Connector 的 Jar 包结构
添加 Spark Replace transform 组件
添加 Spark Uuid transform 组件
Flink 的 JDBC source 添加了对 Oracle 适配
添加 Flink HTTP connector 的支持
添加 Flink 注册自定义函数功能
Flink SQL 模块添加 Kafka 和 ElasticSearch connector 的支持
02 [Core]
添加 Flink application 运行模式支持
支持 Flink 配置的动态添加
03 [Bug Fix]
修复 Clickhouse Sink 组件部分类型转换问题
修复部分情况下 Spark 运行脚本第一次会运行失败的问题
修复部分情况下在 Spark on yarn cluster 模式无法获取配置文件问题
修复 Spark extraJavaOptions 不能为空的问题
修复 Spark standalone cluster 模式下无法解压内部文件问题
修复 Clickhouse Sink 无法正常处理多节点配置问题
修复 Flink SQL 配置解析错误
修复 Flink JDBC Mysql 类型匹配不全的问题
修复变量在 Flink 模式下无法设置的问题
修复 SeaTunnel 在 Flink 模式下配置无法检查的问题
04 优化
升级 Jackson 版本至 12.6
添加部署 SeaTunnel 到 Kubernetes 的向导
调整部分泛型类型代码
添加 Flink SQL e2e 模块
Flink JDBC connector 添加 pre sql 和 post sql 特性
使用 @AutoService 生成 SPI 文件
Flink FakeSourceStream 支持 mock 数据
支持通过 Flink JDBC connector 读取 Hive 数据
ClickhouseFile 支持 ReplicatedMergeTree 引擎
支持 Hive sink 保存 ORC 格式数据
支持 Spark Redis sink 自定义过期时间
添加 Spark JDBC 事务隔离级别配置
用 Jackson 替换代码里的 Fastjson
03 致谢感谢
以下参与贡献的同学(为 GitHub ID,排名不分先后),正是大家的付出与努力,让我们能够快速推出这个版本,也欢迎更多的同学参与到 Apache SeaTunnel(Incubating) 社区贡献中。v-wx-v, GezimSejdiu, zhongjiajie, CalvinKirs, ruanwenjun, tmljob, Hisoka-X, 1996fanrui, wuchunfu, legendtkl, mans2singh, whb-bigdata, xpleaf, wuzhenhua01, chang-wd, quanzhian, taokelu, gleiyu, chenhu, dijiekstra, tobezhou33, LingangJiang, mosence, asdf2014, waywtdcc, Emor-nj, dik111, forecasted
版权声明: 本文为 InfoQ 作者【Apache SeaTunnel】的原创文章。
原文链接:【http://xie.infoq.cn/article/5470d378da3495c5747395bf8】。文章转载请联系作者。
评论