「Spark 从精通到重新入门 (二)」Spark 中不可不知的动态资源分配

尔达Erda

2021-12-15

资源是影响 Spark 应用执行效率的一个重要因素。Spark 应用中真正执行 task 的组件是 Executor，可以通过spark.executor.instances 指定 Spark 应用的 Executor 的数量。在运行过程中，无论 Executor上是否有task在执行，都会被一直占有直到此Spark应用结束。