写点什么

airflow

0 人感兴趣 · 2 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/30/302af929f117ed838d436eec370bcf04.jpeg?x-oss-process=image/resize,w_416,h_234

SmartNews:基于 Flink 加速 Hive 日表生产的实践

用户头像
Apache Flink
2021 年 8 月 25 日

将 Flink 无缝地集成到以 Airflow 和 Hive 为主的批处理系统的技术挑战和应对方案。

https://static001.geekbang.org/infoq/1a/1ade4bb8582c34fb9a26d4ef885df1c6.png?x-oss-process=image/resize,w_416,h_234

你不可不知的任务调度神器 -AirFlow

用户头像
王知无
2021 年 1 月 17 日

Airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundation 孵化。AirFlow 将workflow编排为tasks组成的DAGs,调度器在一组workers上按照指定的依赖关系执行tasks。

airflow_airflow技术文章_InfoQ写作平台