[Spark]-源码解析-RDD的五大特征体现

1.概述

　　众所周知,RDD有五大特性.

　　　　i). A list of partitions

　　　　    RDD是由多个分区(partition)组成的一个集合

　　　　ii). A function for computing each split

　　　　    对RDD的每一个计算,等于对这个RDD的每一个分区执行一个计算

　　　　iii). A list of dependencies on other RDDs

　　　　　 每一个RDD都会记录它的父RDD的依赖(如果是第一个,则会是对数据源的依赖)

　　　　iv). Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

　　　　　  如果RDD里存放的是Key-Value的形式.则可以传入一个自定义的分区函数进行分区(比如自定义按Key分区,则会将不同RDD的相同Key都集中在一个Partition中)

　　　　v). Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

　　　　　 计算就近原则.计算会尽可能的放入split所在的节点中

　　接下来从源码角度,体现出这五大特性

2.这耳熟能详的五大特性的真正出处

　　

 

3.五大特性的源码体现如下:

/**
* Implemented by subclasses to compute a given partition.
*
* 可以看出compute是所有RDD子类都必须实现的 用于计算给定的分区的 抽象方法..
*
注意这里 compute的入参是 split: Partition 因此所有的计算都是以Partition为基准的(特性2)
*/
@DeveloperApi
def compute(split: Partition, context: TaskContext): Iterator[T]
/**
* Implemented by subclasses to return the set of partitions in this RDD. This method will only
* be called once, so it is safe to implement a time-consuming computation in it.
*
* The partitions in this array must satisfy the following property:
*
`rdd.partitions.zipWithIndex.forall { case (partition, index) => partition.index == index }`
*
* 可以看出 getPartitions 是所有RDD子类都必须实现的. 用于返回RDD的分区集
*
这也说明 RDD 本身是由 Partition(分区) 组成的 (特性1)
*
另外:这个方法只会被调用一次. 这说明了RDD的一个隐藏特性: RDD是不可变的
*/
protected def getPartitions: Array[Partition]
/**
* Implemented by subclasses to return how this RDD depends on parent RDDs. This method will only
* be called once, so it is safe to implement a time-consuming computation in it.
*
* getDependencies 获取这个RDD的依赖关系. 注意: deps 是由RDD的构造传入的.
*
这说明 RDD必然会记录它依赖(构造必须传入) (特性3)
*/
protected def getDependencies: Seq[Dependency[_]] = deps
/**
* Optionally overridden by subclasses to specify placement preferences.
*
* getPreferredLocations 获取这个RDD存储路径. Seq[String] 因为有副本概念.Seq(0)就是首选地址 (特性5)
*/
protected def getPreferredLocations(split: Partition): Seq[String] = Nil
/** Optionally overridden by subclasses to specify how they are partitioned.
*
* partitioner 分区函数. 如果需要就可以自定义分区算法覆盖分区函数 (特性4)
*/
@transient val partitioner: Option[Partitioner] = None