开源项目丨 Taier1.2 版本发布,新增工作流、租户绑定简化等多项功能
2022 年 7 月 26 日,Taier1.2 版本正式发布!
本次版本发布更新功能:
新增工作流
新增 OceanBase SQL
新增 Flink jar 任务
数据同步、实时采集支持脏数据管理
Hive UDF
控制台 UI 升级
租户绑定简化
新版本的使用文档已在社区中推送,大家可以随时下载查阅,欢迎大家体验新版本功能**(喜欢我们的项目欢迎大家点个 Star)**,体验地址:
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev_0/taier
社区:
https://dtstack.github.io/Taier/
Taier1.2 版本介绍
Taier 是一个大数据分布式可视化的 DAG 任务调度系统,旨在降低 ETL 开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
Taier 脱胎于袋鼠云数栈,技术实现来源于数栈分布式调度引擎 DAGScheduleX,是数栈产品的重要基础设施之一,负责大数据平台所有任务实例的调度运行。
2022 年 2 月 22 日,Taier 正式开源并发布 1.0 版本。
2022 年 5 月 8 日,Taier1.1 版本发布,更新对 Flink 的支持升级到 Flink1.12,支持多种流类型任务等功能。
2022 年 7 月 26 日,Taier1.2 版本发布,本次发布重点新增工作流功能,实现配置化编排业务;租户简化绑定,不同类型计算组件无强制依赖等功能。
Taier1.2 新增功能详解
1.新增工作流
通过可视化操作拖动任务节点到画板中,手动连接上下游任务组成依赖关系,形成一个 DAG 的工作流。同时支持任意类型的任务通过工作流拖拽的方式,直接实现配置化编排业务
2.新增 OceanBase SQL
新增 OceanBaseSQL 任务,支持 OceanBaseSQL 的任务调度和运维展示。
3.新增 Flink jar 任务
支持上传自定义开发的 Flink jar 任务,通过 Taier 提交运行和监控。
4. 数据同步、实时采集支持脏数据管理
数据同步、实时采集支持脏数据管理,可以配置脏数据数量限制和保存方式,可保存至数据库实时查看。
5.Hive UDF
Hive SQL 支持 udf 函数开发配置。
6.控制台 UI 升级
控制台交互和页面全新升级,通过树形结构展示组件配置信息,同时支持扩展自定义组件进行配置。
7.租户绑定简化
集群和租户绑定简化,移除租户对接集群 schema 的强制绑定关系,不同类型计算组件无强制依赖;优化任务开发流程逻辑,支持自定义扩展任务类型。
未来规划
Taier 自今年 2 月份开源以来,已更新迭代 Taier1.1、Taier1.2 两个版本,目前 Taier1.3 的版本已在规划中,在新版本中我们将着重解决以下几个问题:
支持 Flink Standalone 不依赖 Hadoop 也可以使用 Flink 相关的功能,降低上手环境成本
适配开发者 Window 环境,支持 Window 环境下的任务提交流程
DatouSourceX 版本升级,新增更多的数据源类型支持
除了不断保持迭代更新外,Taier 将持续保持每月一次开源技术直播,帮助 Taier 开发者们更好的使用产品,欢迎有兴趣的小伙伴们加入我们的交流社群(钉钉 qun:30537511),一起交流 Taier 的技术问题及难点,和 Taier 一起共同进步!
袋鼠云开源框架钉钉技术交流群(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack
版权声明: 本文为 InfoQ 作者【数栈DTinsight】的原创文章。
原文链接:【http://xie.infoq.cn/article/b3a537f8cead8079a53c8d157】。文章转载请联系作者。
评论