写点什么

oozie

0 人感兴趣 · 3 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/15/15dea94e8ca9cd7e38b5049d593fc6bf.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Oozie 平台调度

利用shell脚本通过crontab进行定时执行,这样实现的话比较简单,但是随着多个job复杂度的提升,无论是协调工作还是任务监控都变得麻烦,我们选择使用oozie来对工作流进行调度监控。

https://static001.geekbang.org/infoq/a8/a8e648f83a451247db54d19f3b127e16.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Apache Oozie 基本原理与工作流类型

Oozie 是一个用来管理Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG(有向无环图)调度一系列的Map/Reduce或者Hive等任务。Oozie 工作流由hPDL(Hadoop Process

https://static001.geekbang.org/infoq/15/15dea94e8ca9cd7e38b5049d593fc6bf.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Apache Oozie 深入原理讲解

Oozie 是一个用来管理 Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG(有向无环图)调度一系列的Map/Reduce或者Hive等任务。Oozie 工作流由hPDL(Hadoop Process

oozie_oozie技术文章_InfoQ写作社区