Flink 从保存点启动应用 -18

用户头像
小知识点
关注
发布于: 2020 年 09 月 06 日

1.Flink从保存点启动的模式

(1)正在运行的应用生成一个保存点

(2)在应用启动时,用保存点初始化状态



2.Flink状态分布在不同TaskManager上

(1)每个应用都会包含很多算子,每个算子又可以定义一个或多个键值或算子状态

(2)算子会在一个或多个任务上并行执行

(3)一个应用会包含多个状态

(4)多个状态分布在不同TaskManager进程内的算子任务上



3.生成保存点和从保存点恢复应用



(1)在生成保存点的时候,所有任务的状态都会拷贝到某个持久存储位置

(2)保存点的状态副本会按照算子标识和状态名称进行组织

(3)该算子标识和状态名能将保存点的状态数据映射到应用启动后的算子状态上

(4)当应用从保存点启动时,Flink会将保存点的数据分发到对应算子的任务上



4.应用从保存点启动发生改动

(1)如果应用从保存点启动发生改动,那么保存点中的状态只有在应用还保留着那些含有对应标识和状态名称的算子时才可以映射成功

(2)默认情况下,Flink会给每个算子生成一个唯一标识,但是标识是根据前置算子生成的,这意味着任何一个前置算子发生改变,将会导致标识发生改变。这样改动空间比较有限

(3)建议手动定义算子标识,不适用Flink默认分配机制



用户头像

小知识点

关注

奇迹的出现往往就在再坚持一下的时候! 2018.04.02 加入

还未添加个人简介

评论

发布
暂无评论
Flink从保存点启动应用-18