大数据任务调度_大数据任务调度技术文章

大数据任务调度

1 人感兴趣 · 10 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/4d/4dc527602d847dab59c787a9b0d37cdf.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

挑战海量数据：基于 Apache DolphinScheduler 对千亿级数据应用实践

Apache DolphinScheduler

2022-10-11

对于千亿级数据量的数据同步需求，进行分析和选型后，最终决定使用DolphinScheduler进行任务调度，并周期调度 DataX、SparkSQL 等方式进行海量数据迁移。

大数据任务调度任务调度 dophinscheduler 大数据调度

https://static001.geekbang.org/infoq/00/001e49a94df28fffe08cdec084492a0d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

扫盲篇 - 什么是分布式任务调度

TASKCTL

2021-05-27

我们可以先思考一下下面业务场景的解决方案：

大数据分布式分布式锁分布式任务调度 zookeeper分布式锁

https://static001.geekbang.org/infoq/cb/cb03588d7f363a56d4936ebe09a2ceac.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

花一分钟体验大数据任务调度系统 - Apache DolphinScheduler 第一个官方 Docker 镜像

代立冬

2021-01-20

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在近期发布了其第一个官方 Docker 镜像。

大数据 workflow 任务编排

https://static001.geekbang.org/infoq/e9/e9a8181c9647823fce0dbe7c5f3a764e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Apache DolphinScheduler 是如何走进 Apache 的

代立冬

2020-11-09

Apache DolphinScheduler的诞生的完整介绍，DolphinScheduler简称”DS”, 中文名 “小海豚调度”（海豚聪明、人性化，又左右脑可互相换班，终生不用睡觉）。希望 DolphinScheduler 就像它的名字一样，成为一个“开箱即用”的灵活易用的调度系统

大数据数据湖调度 DolphinScheduler Apache DolphinScheduler

https://static001.geekbang.org/infoq/6c/6c0616d424d4449a8a0074d05c852f42.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大数据任务调度 - 有向无环图 (DAG) 之拓扑排序

代立冬

2020-09-11

有向无环图(DAG) 是大数据任务调度的核心基础知识，其源自于大学时期的数据结构，可能很多伙伴已经还给老师了，哈哈

大数据数据结构 DAG 拓扑排序 Apache DolphinScheduler

深度解读：Apache DolphinScheduler 新架构与特性，性能提升 2~3 倍

代立冬

2020-09-04

经过长达 5 个多月的辛苦努力，Apache Dolphin Scheduler(Incubating) 社区很高兴的宣布DolphinScheduler 1.3.1 版本正式发布。DolphinScheduler-1.3.1 有超过 30 名贡献者参与开发，性能较 1.2 版本有 2 ~ 3 倍的提升，增加了诸如 K8s支持、多目录管理等重

大数据开源工作流调度开源社区