工作流调度
2 人感兴趣 · 10 次引用
- 最新
- 推荐
BIGO 如何做到夜间同时运行 2.4K 个工作流实例？
主要介绍了 BIGO 如何使用 DophinScheduler 来调度以 Spark 为主的多种类型的离线任务，以及为了满足业务需求、提升用户使用体验，在 DS 和 Spark 上所做的各种改进。
Apache DolphinScheduler 简单任务定义及复杂的跨节点传参
Apache DolphinScheduler是一款非常不错的调度工具，可单机集群可容 器，可调度sql、存储过程、http、大数据等，也可使用shell、python、java、flink等语言及工具，功能强大类型丰富，适合各类调度型任务，社区及项目也十分活跃，Github中已有8.5k的star👍
小海豚“变身”全新智能调度引擎，深入浅出在 DDS 的实践开发应用
主要会跟大家介绍宇动源-DDS（自研的图形化数据开发工作室）、大数据架构、DDS产品和使用中遇到的问题，包括在迁移过程中的调研情况、遇到的困难、解决方案以及针对需求的优化，还有一些心得体会，希望你有所收获。
从 0 到 1 搭建大数据平台之调度系统
目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。
