Spark RDD 详解

1.     什么是 RDD

●为什么要有 RDD?

在许多迭代式算法(比如机器学习、图算法等)和交互式数据挖掘中，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。但是，之前的 MapReduce 框架采用非循环式的数据流模型，把中间结果写入到 HDFS 中，带来了大量的数据复制、磁盘 IO 和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce)，并没有提供一种通用的数据抽象。

AMP 实验室发表的一篇关于 RDD 的论文:《Resilient DistributedDatasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》就是为了解决这些问题的

RDD 提供了一个抽象的数据模型，让我们不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换操作(函数)，不同 RDD 之间的转换操作之间还可以形成依赖关系，进而实现管道化，从而避免了中间结果的存储，大大降低了数据复制、磁盘 IO 和序列化开销，并且还提供了更多的 API(map/reduec/filter/groupBy...)

●RDD 是什么?

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集，是 Spark 中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。

单词拆解

- Dataset: 它是一个集合，可以存放很多元素

- Distributed ：它里面的元素是分布式存储的，可以用于分布式计算

- Resilient ：它是弹性的，RDD 里面的中的数据可以保存在内存中或者磁盘里面

●总结

RDD 将 Spark 的底层的细节都隐藏起来了(自动容错、位置感知、任务调度执行，失败重试…)

让开发者可以像操作本地集合一样以函数式编程的方式操作 RDD 这个分布式数据集进行各种并行计算

2.      RDD 的主要属性

1.A list of partitions ：

一组分片(Partition)/一个分区(Partition)列表，即数据集的基本组成单位。

对于 RDD 来说，每个分片都会被一个计算任务处理，分片数决定并行度。

用户可以在创建 RDD 时指定 RDD 的分片个数，如果没有指定，那么就会采用默认值。

2.A function for computing each split ：

一个函数会被作用在每一个分区。

  Spark 中 RDD 的计算是以分片为单位的，compute 函数会被作用到每个分区上

3.A list of dependencies on other RDDs：

一个 RDD 会依赖于其他多个 RDD。

  RDD 的每次转换都会生成一个新的 RDD，所以 RDD 之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark 可以通过这个依赖关系重新计算丢失的分区数据，而不是对 RDD 的所有分区进行重新计算。(Spark 的容错机制)

4.Optionally, a Partitioner for key-valueRDDs (e.g. to say that the RDD is hash-partitioned)：

可选项,对于 KV 类型的 RDD 会有一个 Partitioner，即 RDD 的分区函数，默认为 HashPartitioner

5.Optionally, a list of preferred locationsto compute each split on (e.g. block locations for an HDFS file)：

可选项,一个列表，存储存取每个 Partition 的优先位置(preferred location)。

对于一个 HDFS 文件来说，这个列表保存的就是每个 Partition 所在的块的位置。按照"移动数据不如移动计算"的理念，Spark 在进行任务调度的时候，会尽可能选择那些存有数据的 worker 节点来进行任务计算。

●总结

RDD 是一个数据集的表示，不仅表示了数据集，还表示了这个数据集从哪来，如何计算，主要属性包括

1.分区列表

2.计算函数

3.依赖关系

4.分区函数(默认是 hash)

5.最佳位置

分区列表、分区函数、最佳位置，这三个属性其实说的就是数据集在哪，在哪计算更合适，如何分区

计算函数、依赖关系，这两个属性其实说的是数据集怎么来的