写点什么

工作流调度

2 人感兴趣 · 10 次引用

  • 最新
  • 推荐

BIGO 如何做到夜间同时运行 2.4K 个工作流实例?

主要介绍了 BIGO 如何使用 DophinScheduler 来调度以 Spark 为主的多种类型的离线任务,以及为了满足业务需求、提升用户使用体验,在 DS 和 Spark 上所做的各种改进。

Apache DolphinScheduler 简单任务定义及复杂的跨节点传参

Apache DolphinScheduler是一款非常不错的调度工具,可单机集群可容 器,可调度sql、存储过程、http、大数据等,也可使用shell、python、java、flink等语言及工具,功能强大类型丰富,适合各类调度型任务,社区及项目也十分活跃,Github中已有8.5k的star👍

小海豚“变身”全新智能调度引擎,深入浅出在 DDS 的实践开发应用

​主要会跟大家介绍宇动源-DDS(自研的图形化数据开发工作室)、大数据架构、DDS产品和使用中遇到的问题,包括在迁移过程中的调研情况、遇到的困难、解决方案以及针对需求的优化,还有一些心得体会,希望你有所收获。

https://static001.geekbang.org/infoq/c2/c25ead72dd2c7bbe07b6d957345dd8c2.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

老板要我开发一个简单的工作流引擎

用户头像
Java小咖秀
2021-03-20

一天,老板找到我,说要做个简单的工作流引擎。 我查了一天啥是工作流,然后做出了如下版本: 按顺序添加任意个审批人组成一个链表,最后加一个结束节点 记录当前审批人,当审批完后,审批人向后移动一位

https://static001.geekbang.org/infoq/6c/6c0616d424d4449a8a0074d05c852f42.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深度解读:Apache DolphinScheduler 新架构与特性,性能提升 2~3 倍

用户头像
代立冬
2020-09-04

经过长达  5 个多月的辛苦努力,Apache Dolphin Scheduler(Incubating) 社区很高兴的宣布DolphinScheduler 1.3.1 版本正式发布。DolphinScheduler-1.3.1 有超过 30 名贡献者参与开发,性能较 1.2 版本有 2 ~ 3 倍的提升,增加了诸如 K8s支持、多目录管理等重

从 0 到 1 搭建大数据平台之调度系统

用户头像
数据社
2020-08-04

目前大数据平台经常会用来跑一些批任务,跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据,定时跑hive/spark任务,定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。

https://static001.geekbang.org/infoq/76/7699c2b5dfbbec1f2874c5d7be96f252.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Apache DolphinScheduler 新特性与 Roadmap 路线

用户头像
代立冬
2020-05-31

1、Apache DolphinScheduler社区情况介绍 2、缘何研发DolphinScheduler? 3、即将发布的1.3.0的新特性讲解 架构演进 多目录支持 条件分支 datax/sqoop ambari插件 4、Roadmap

工作流调度_工作流调度技术文章_InfoQ写作社区