oozie
0 人感兴趣 · 3 次引用
- 最新
- 推荐
![https://static001.geekbang.org/infoq/15/15dea94e8ca9cd7e38b5049d593fc6bf.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/15/15dea94e8ca9cd7e38b5049d593fc6bf.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
Oozie 平台调度
利用shell脚本通过crontab进行定时执行,这样实现的话比较简单,但是随着多个job复杂度的提升,无论是协调工作还是任务监控都变得麻烦,我们选择使用oozie来对工作流进行调度监控。
![https://static001.geekbang.org/infoq/a8/a8e648f83a451247db54d19f3b127e16.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/a8/a8e648f83a451247db54d19f3b127e16.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
Apache Oozie 基本原理与工作流类型
Oozie 是一个用来管理Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG(有向无环图)调度一系列的Map/Reduce或者Hive等任务。Oozie 工作流由hPDL(Hadoop Process