Flink 检查点、保存点及状态恢复 -13

1.检查点、保存点及状态恢复



接下来几小节会介绍检查点、保存点、状态恢复，Flink所独有的保存点



2.一致性检查

（1）Flink故障恢复机制需要基于应用状态的一致性检查点

（2）有状态的流式应用的一致性检查点是在所有任务处理完等量的原始输入后对全部任务状态进行的一个拷贝



3.朴素算法



（1）暂停接收输入流

（2）等待已经流入系统的数据被完全处理

（3）将所有任务状态拷贝到远程持久化存储生成检查点

（4）恢复所有数据流接收



注意Flink不是这么实现的



4.检查点实例



（1）数据源任务：负责数字递增（1、2、3...）流中读取数据

（2）数字流会被分为奇数和偶数

（3）求和算子任务分别对它们求和

（4）数据源算子的任务会把输入流的当前偏移量存为状态；

（5）求和算子的任务会办法当前和值存为状态