俏皮马里奥

文章
3
资源
0
加入时间
2年10月24天

spark基础之RDD详解一 什么是RDD,有什么特点?二 RDD与MapReduce比较三 RDD有哪些类型四 RDD的分区和分区函数五 什么是RDD首选位置六 RDD的依赖关系七 RDD的操作

一 什么是RDD,有什么特点?RDD: Resilient Distributed Dataset,弹性分布式数据集。特点:# 它是一种数据的集合# 它可以被分区,每一个分区分布在不同的集群中节点,从而使得RDD可以被并行处理,所以它是分布式的# 提供容错性,它将计算转换一个成一个有向无环图(DAG)的任务集合,方便利用血缘关系进行数据恢复# 中间计算结果缓存在内存二