写点什么

官宣!Taier1.3 新版本正式发布,新鲜功能抢先体验

作者:数栈DTinsight
  • 2022-11-09
    浙江
  • 本文字数:1322 字

    阅读完需:约 4 分钟

2022 年 11 月 7 日,Taier1.3 版本正式发布!

Taier 是一个大数据分布式可视化的 DAG 任务调度系统,旨在降低 ETL 开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

Taier 自今年 2 月份开源之后,得到了社区开发者的广泛支持,我们积极吸收社区开发者的意见建议,不断迭代版本,目前已发布了 Taier1.1、Taier1.2 这两个大的版本更新。

本次发布的 Taier1.3 版本,我们新增了 Flink Standalone 组件,融合了 DataSourceX 的模块,并新增了 Python、Shell、ClickHouse、Doris SQL 等多种任务,任务数据源绑定,任务支持指定队列运行,并进行了部署优化,同时对官网社区的 UI 进行了全新的升级改造。

目前新版本已在 Github 与 Gitee 上线,同时使用文档也在社区推送,大家可以随时下载查阅,欢迎大家前往体验(喜欢我们的项目欢迎大家点个 Star),体验地址:

Github:

https://github.com/DTStack/Taier

Gitee:

https://gitee.com/dtstack_dev_0/taier

社区官网:

https://dtstack.github.io/Taier/

同时为了方便没有钉钉的开发者们更好的交流 Taier 开源技术,我们新建了 Taier 开源技术微信交流群,欢迎大家加入一起探讨开源技术~



Taier1.3 版本详解

01 新增 Flink Standalone

新增 Flink Standalone 组件,可以通过 Flink Standalone 使用 Flink SQL、数据同步、实时采集等任务相关功能。移除 Taier 对 Hadoop 组件的强依赖,支持轻量化的数据处理。



02 DataSourceX 融合

Taier 融合 DataSourceX 模块,移除 Taier 外部插件依赖。新增数据源插件相关特性,支持后续 Taier 对接更多的 RDBMS 类型的 SQL 任务。

03 新增 Python、Shell 任务

新增 Script 组件,支持 Python、Shell 任务类型,可以在 Taier 上通过脚本类型任务进行操作。




04 新增 ClickHouse、Doris SQL 任务

新增 ClickHouse、Doris SQL 任务类型,支持数据同步脚本模式到 ClickHouse、Doris,再进行任务调度处理。

05 任务数据源绑定

控制台组件移除 SQL 类型组件配置,SQL 任务直接和数据源互相绑定,支持任务和数据源一对一的执行,将 SQL 执行域细分到具体的单个数据源。



06 任务支持指定队列运行

Hadoop 类型任务支持指定队列运行,队列资源隔离细分到任务级别。

07 部署优化

Taier 优化单机部署,优化前后端部署操作,简化 docker 镜像部署流程,降低上手难度。

08 官网升级

Taier 社区新官网上线,UI 设计全面升级。



后续版本规划

Taier 今年更新了 3 个大的版本,按照社区规划,后续版本我们计划重点围绕关键点:

● 完善 Taier Datasource 模板支持 SQL 任务

● HadoopMR、Spark Jar、PySpark 任务支持

● 任务告警

● Windows 开发环境适配

我们欢迎社区的开发者们一起参与到 Taier 的版本建设中来,同时大家如果有其他的意见建议也可以给我们提一个 Issue 或者 PR,大家可以来一起探讨怎么更好的共建项目。感兴趣的小伙伴们可以加入我们的技术交流社群,一起交流 Taier 的技术问题及难点,共建 Taier!

袋鼠云开源框架钉钉技术交流群(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack/Taier

用户头像

还未添加个人签名 2021-05-06 加入

还未添加个人简介

评论

发布
暂无评论
官宣!Taier1.3 新版本正式发布,新鲜功能抢先体验_数栈DTinsight_InfoQ写作社区