sparksql 内核解析 - 读书笔记
收获
收获 1:执行流程
(1) 语法中的 Context 节点转换成 对应的 LogicalPlan 节点,成为一棵未解析的逻辑算子树 (Unresolved LogicalPlan), 此时的逻辑算子树是最初形态。
(2)由 Analyzer 将一系列的规则在 Unresolved LogicalPlan 上,对树上的节点绑定各种数据信息,生成解析后的逻辑算子树 (Analyzer LogicalPlan) 。
(3)Optimizer 将优化 rule 作用在 (2)的结果上,改写低效结构,生成优化后的逻辑算子树(Optimized LogicalPlan)。


评论