写点什么

Flink 任务执行 -3

用户头像
小知识点
关注
发布于: 2020 年 08 月 21 日

1.TaskManager上算子运行

(1)可以同时执行多个任务

(2)每个TaskManager可以有多个Slot

(3)每个Slot可执行过高算子,但是每个Slot中只能有一个同样的算子

(4)TaskManager中的多个任务可以在同一个进程内高兴第执行,数据交换无需访问网络

(5)任务过于集中,使得TaskManager负载过高,从而导致性能下降

(6)后面控制任务调度会讲到



2.TaskManager运行

(1)TaskManager会在同一个JVM进程内以多线程方式执行任务

(2)和独立进程相比,线程更加轻量级并且通信开销更低

(3)但是无法严格隔离任务

(4)只要有一个任务运行异常,就可能沙溪TaskManager,导致TaskManager上的所有任务失败

(5)可以将TaskManager配置成一个TaskManager有一个Slot

(6)通过在TaskManager内部采用线性并行级每个主机上多部署TaskManager



用户头像

小知识点

关注

奇迹的出现往往就在再坚持一下的时候! 2018.04.02 加入

还未添加个人简介

评论

发布
暂无评论
Flink任务执行-3