写点什么

支持在 Kubernetes 运行,添加多种连接器,SeaTunnel 2.1.2 版本正式发布!

  • 2022 年 6 月 22 日
  • 本文字数:1546 字

    阅读完需:约 5 分钟

支持在 Kubernetes 运行,添加多种连接器,SeaTunnel 2.1.2 版本正式发布!

​添加图片注释,不超过 140 字(可选)在 Apache SeaTunnel(Incubating) 2.1.1 发布后一个月左右的时间里,社区接受了来自全球的团队或个人累计近百个 PR,为大家带来 2.1.2 版本。该版本提高了稳定性,并在功能、文档、示例等方面得到优化。本文将为大家介绍 Apache SeaTunnel (Incubating) 2.1.2 版本更新内容。


Release Note:

https://github.com/apache/incubator-seatunnel/blob/2.1.2/release-note.md

下载地址:https://seatunnel.apache.org/download


01 主要功能


更新添加 Webhook 和 Http2 种连接器,主要增强 Http 相关数据处理能力。特别感谢 tmljob 同学的贡献。


01 Webhook


用户可以通过该连接器实现任务的调度,事件的调度,数据的推送等各式各样的实用功能,只需输出端提供 Http 服务能力的支持即可。详情见https://seatunnel.apache.org/docs/2.1.2/connector/source/Webhook02 Http 支持读取 Http 接口数据,为上游提供通过 Http 完成数据传输到 SeaTunnel 做进一步处理的能力,Http 是一个通用标准的接口,可以通过这种方式完成各种业务的接入。使用方式如下:Http { url = "http://date.jsontest.com/" result_table_name= "response_body" }


FlinkSQL 模块添加了 Kafka 和 ElasticSearch 连接器,现在 SeaTunnel 可以用 SQL 来读取写入这些数据源的数据了。Transfrom 方面添加了 UUID 和 Replace 的支持,可以更加灵活地对数据进行简单处理。同时支持了自定义函数的添加,帮助用户实现各种自定义业务逻辑。03 支持在 Kubernetes 上运行 SeaTunnelKubernetes 已经成为云原生时代的必备组件,SeaTunnel 自然需要提供对应的支持。官方适配 SeaTunnel 运行在 Kubernetes,教程见https://seatunnel.apache.org/docs/2.1.2/start/kubernetes


02 具体更新内容


01 [Connector]


  • 添加 Spark webhook connector 的支持

  • 优化 Connector 的 Jar 包结构

  • 添加 Spark Replace transform 组件

  • 添加 Spark Uuid transform 组件

  • Flink 的 JDBC source 添加了对 Oracle 适配

  • 添加 Flink HTTP connector 的支持

  • 添加 Flink 注册自定义函数功能

  • Flink SQL 模块添加 Kafka 和 ElasticSearch connector 的支持


02 [Core]


  • 添加 Flink application 运行模式支持

  • 支持 Flink 配置的动态添加


03 [Bug Fix]


  • 修复 Clickhouse Sink 组件部分类型转换问题

  • 修复部分情况下 Spark 运行脚本第一次会运行失败的问题

  • 修复部分情况下在 Spark on yarn cluster 模式无法获取配置文件问题

  • 修复 Spark extraJavaOptions 不能为空的问题

  • 修复 Spark standalone cluster 模式下无法解压内部文件问题

  • 修复 Clickhouse Sink 无法正常处理多节点配置问题

  • 修复 Flink SQL 配置解析错误

  • 修复 Flink JDBC Mysql 类型匹配不全的问题

  • 修复变量在 Flink 模式下无法设置的问题

  • 修复 SeaTunnel 在 Flink 模式下配置无法检查的问题


04 优化


  • 升级 Jackson 版本至 12.6

  • 添加部署 SeaTunnel 到 Kubernetes 的向导

  • 调整部分泛型类型代码

  • 添加 Flink SQL e2e 模块

  • Flink JDBC connector 添加 pre sql 和 post sql 特性

  • 使用 @AutoService 生成 SPI 文件

  • Flink FakeSourceStream 支持 mock 数据

  • 支持通过 Flink JDBC connector 读取 Hive 数据

  • ClickhouseFile 支持 ReplicatedMergeTree 引擎

  • 支持 Hive sink 保存 ORC 格式数据

  • 支持 Spark Redis sink 自定义过期时间

  • 添加 Spark JDBC 事务隔离级别配置

  • 用 Jackson 替换代码里的 Fastjson


03 致谢感谢


以下参与贡献的同学(为 GitHub ID,排名不分先后),正是大家的付出与努力,让我们能够快速推出这个版本,也欢迎更多的同学参与到 Apache SeaTunnel(Incubating) 社区贡献中。v-wx-v, GezimSejdiu, zhongjiajie, CalvinKirs, ruanwenjun, tmljob, Hisoka-X, 1996fanrui, wuchunfu, legendtkl, mans2singh, whb-bigdata, xpleaf, wuzhenhua01, chang-wd, quanzhian, taokelu, gleiyu, chenhu, dijiekstra, tobezhou33, LingangJiang, mosence, asdf2014, waywtdcc, Emor-nj, dik111, forecasted

发布于: 刚刚阅读数: 3
用户头像

还未添加个人签名 2022.03.07 加入

Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台。

评论

发布
暂无评论
支持在 Kubernetes 运行,添加多种连接器,SeaTunnel 2.1.2 版本正式发布!_Apache_Apache SeaTunnel_InfoQ写作社区