Spark入门——4: Spark的存储管理模块
我们在运用Spark的时候,基本都是在于RDD打交道,实际上处理数据都是通过RDD提供的接口来操作。然而我们底层的数据到底是如何管理的呢?这正是今天我要学习的内容。 1,存储模块框架: 架构上讲,分为通信层和存储层。 1)通信层面采用主从方式实现通信(主从节点间互换消息); 2)存储层负责提供接口来存储数据(可把数据存储到内存,磁