写点什么

Spark 源码

0 人感兴趣 · 7 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/eb/eba3aa8befc4473cf2e05c1cdab0e1c3.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

精准测试之分布式调用链底层逻辑

本文主要讲4个方面: 1. 调⽤链系统概述; 2. 调⽤链系统的演进; 3. 调⽤链的底层实现逻辑; 4. Span内容组成。

https://static001.geekbang.org/infoq/f6/f611c1f3dfb478c1b4f7ea082be90693.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大画 Spark :: 网络 (5)-Spark 中的 server 端和 client 端

用户头像
dclar
2022-03-07

上一篇介绍了Endpoint的构建流程,采用sparkEnv → NettyRpcEnv → Dispatcher的构建顺序。并且探讨了最基础的Driver和Executor的职责与关系

https://static001.geekbang.org/infoq/49/49e75b9870dbd1fc9e733edb9abe3839.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大画 Spark :: 网络 (3)- 回复消息机制 OneWayMessage 与 RpcRequest 对比

用户头像
dclar
2022-01-15

上一篇,我们把消息如何最终传递到RpcEndpoint做了一个研究探讨,如下图所示。但留了一个小尾巴,即如果是RpcRequest的话,还需要回复消息给client端,这个是如何实现的呢?

https://static001.geekbang.org/infoq/83/832cd00b9ebd27c2ad6fc7eff923a067.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大画 Spark :: 网络 (2)- 下篇 - 通过网络收取消息的过程

用户头像
dclar
2022-01-15

上一篇,我们从接收到消息到RpcEndpoint的过程做了简单的梳理,理清了以下几个概念

https://static001.geekbang.org/infoq/70/70b28f7c2d35d80b519b3a33b6d2a80c.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大画 Spark :: 网络 (2)- 上篇 - 通过网络收取消息的过程

用户头像
dclar
2022-01-13

上一篇,https://xie.infoq.cn/article/3bac4574de003e458556a81d2,对spark网络进行了初探,了解了client端与server端大概的构成,以及一个非常简单的交互模型。

https://static001.geekbang.org/infoq/57/57a2384576df62b02c355b904cc336bf.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Spark 源码阅读 02:从 Spark-Submit 到 Driver 启动

Spark 源码阅读第二篇来啦。非常详细的带你从 Spark-submit 一个任务到 Driver 被启动的整个过程

https://static001.geekbang.org/infoq/57/57a2384576df62b02c355b904cc336bf.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Spark 源码阅读 01:环境搭建

最近开始阅读Spark源码,会按照Spark核心的各个组件进行梳理并输出

Spark 源码_Spark 源码技术文章_InfoQ写作社区