写点什么

大数据调度

0 人感兴趣 · 5 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/86/8684eba973e1794fe2bd4449575c039c.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

突破单点瓶颈、挑战海量离线任务,Apache Dolphinscheduler 在生鲜电商领域的落地实践

惊喜:文末有插件推荐,随着大数据的进一步发展,不管是离线任务量还是实时任务量都变得越来越多,对调度系统的要求也越来越高,不仅要求系统稳定还要求操作简单,上手方便。

https://static001.geekbang.org/infoq/4d/4dc527602d847dab59c787a9b0d37cdf.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

挑战海量数据:基于 Apache DolphinScheduler 对千亿级数据应用实践

对于千亿级数据量的数据同步需求,进行分析和选型后,最终决定使用DolphinScheduler进行任务调度,并周期调度 DataX、SparkSQL 等方式进行海量数据迁移。

Apache DolphinScheduler 简单任务定义及复杂的跨节点传参

Apache DolphinScheduler是一款非常不错的调度工具,可单机集群可容 器,可调度sql、存储过程、http、大数据等,也可使用shell、python、java、flink等语言及工具,功能强大类型丰富,适合各类调度型任务,社区及项目也十分活跃,Github中已有8.5k的star👍

小海豚“变身”全新智能调度引擎,深入浅出在 DDS 的实践开发应用

​主要会跟大家介绍宇动源-DDS(自研的图形化数据开发工作室)、大数据架构、DDS产品和使用中遇到的问题,包括在迁移过程中的调研情况、遇到的困难、解决方案以及针对需求的优化,还有一些心得体会,希望你有所收获。

大数据调度_大数据调度技术文章_InfoQ写作社区