airflow
0 人感兴趣 · 12 次引用
- 最新
- 推荐
ByteHouse+Apache Airflow：高效简化数据管理流程
Apache Airflow与ByteHouse相结合，为管理和执行数据流程提供了强大而高效的解决方案。本文突出了使用Apache Airflow与ByteHouse的主要优势和特点，展示如何简化数据工作流程并推动业务成功。
白鲸开源发布迁移工具 Airphin 并开源，2 步迁移 Airflow 至 Dolphinscheduler
白鲸开源正式发布调度系统迁移工具 Airphin，并宣布将其开源。借助 Airphin，用户可 2 步将调度系统从 Airflow 迁移至 Apache DolphinScheduler，为有调度系统迁移需要的用户带来极大便利。
大数据调度平台 Airflow（八）：Airflow 分布式集群搭建及测试
参照单节点安装Airflow中安装anconda及python3.7
大数据调度平台 Airflow（七）：Airflow 分布式集群搭建原因及其他扩展
在稳定性要求较高的场景中，例如：金融交易系统，airflow一般采用集群、高可用方式搭建部署，airflow对应的进程分布在多个节点上运行，形成Airflow集群、高可用部署，架构图如下：
大数据调度平台 Airflow（六）：Airflow Operators 及案例
Airflow中最重要的还是各种Operator，其允许生成特定类型的任务，这个任务在实例化时称为DAG中的任务节点，所有的Operator均派生自BaseOparator,并且继承了许多属性和方法。关于BaseOperator的参数可以参照：
大数据调度平台 Airflow（四）：Airflow WebUI 操作介绍
DAG有对应的id,其id全局唯一，DAG是airflow的核心概念，任务装载到DAG中，封装成任务依赖链条，DAG决定这些任务的执行规则。
大数据调度平台 Airflow（三）：Airflow 单机搭建
Airflow是基于Python的，就是Python中的一个包。安装要求Python3.6版本之上，Metadata DataBase支持PostgreSQL9.6+，MySQL5.7+，SQLLite3.15.0+。
大数据调度平台 Airflow（二）：Airflow 架构及原理
Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图：
SmartNews：基于 Flink 加速 Hive 日表生产的实践
将 Flink 无缝地集成到以 Airflow 和 Hive 为主的批处理系统的技术挑战和应对方案。
你不可不知的任务调度神器 -AirFlow
Airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。AirFlow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。
