Spark 源码_Spark 源码技术文章

Spark 源码

0 人感兴趣 · 7 次引用

关注

03-21

本文主要讲4个方面： 1. 调⽤链系统概述； 2. 调⽤链系统的演进； 3. 调⽤链的底层实现逻辑； 4. Span内容组成。

2022-03-07

上一篇介绍了Endpoint的构建流程，采用sparkEnv → NettyRpcEnv → Dispatcher的构建顺序。并且探讨了最基础的Driver和Executor的职责与关系

2022-01-15

上一篇，我们把消息如何最终传递到RpcEndpoint做了一个研究探讨，如下图所示。但留了一个小尾巴，即如果是RpcRequest的话，还需要回复消息给client端，这个是如何实现的呢？

2022-01-15

上一篇，我们从接收到消息到RpcEndpoint的过程做了简单的梳理，理清了以下几个概念

2022-01-13

上一篇，https://xie.infoq.cn/article/3bac4574de003e458556a81d2，对spark网络进行了初探，了解了client端与server端大概的构成，以及一个非常简单的交互模型。

2021-08-30

Spark 源码阅读第二篇来啦。非常详细的带你从 Spark-submit 一个任务到 Driver 被启动的整个过程

2021-08-30

最近开始阅读Spark源码，会按照Spark核心的各个组件进行梳理并输出