写点什么

Flink 状态管理 -8

用户头像
小知识点
关注
发布于: 2020 年 08 月 26 日
Flink状态管理-8

(1)内置状态与用户自定义状态,对于 Flink 来说是一样的

(2)任务状态:函数里所有需要任务去维护,并用来计算结果的数据都属于任务状态

(3)可以把状态想象成,任务的业务逻辑,需要读取本地或实例变量


2.带有状态的数据流任务

(1)接收数据

(2)任务对状态进行读取

(3)任务对状态进行更新

(4)根据状态和输入数据计算结果

3.状态管理难点

(1)高效、可靠第管理状态

(2)数据量巨大、可能超出内存的状态

(3)如何保证发生故障时候状态不丢失

(4)所有状态一致性、故障处理、高效存取都由 Flink 框架负责搞定

4.Flink 状态

(1)在 Flink 中状态都是和特定算子相关联

(2)Flink 运行层知道算子有哪些状态

(3)算子需要对状态进行注册

(4)根据作用域不同状态分为:算子状态(operator state)和键值分区状态(keyed state)


用户头像

小知识点

关注

奇迹的出现往往就在再坚持一下的时候! 2018.04.02 加入

还未添加个人简介

评论

发布
暂无评论
Flink状态管理-8