冷酷苗条

文章
6
资源
0
加入时间
3年2月0天

Spark入门——4: Spark的存储管理模块

我们在运用Spark的时候,基本都是在于RDD打交道,实际上处理数据都是通过RDD提供的接口来操作。然而我们底层的数据到底是如何管理的呢?这正是今天我要学习的内容。       1,存储模块框架:     架构上讲,分为通信层和存储层。         1)通信层面采用主从方式实现通信(主从节点间互换消息);         2)存储层负责提供接口来存储数据(可把数据存储到内存,磁