害怕黑米

文章
4
资源
0
加入时间
2年10月18天

大数据技术架构(组件)23——Spark:Spark Core-Overall Architecture&Run Schema

这样独立的好处在于每个程序在独立的JVM中调度各自的任务,从资源层面上的隔离结合执行调度层面的隔离保证每个应用相互独立,提高其稳定性。5、Executor上的BlockManager提供了内存和磁盘的共同存储机制,所以在迭代计算产生中间结果的时候不需要存储到分布式系统中,这样后续可以直接读取中间结果,避免了网络IO或者磁盘IO。2、Spark服务和集群管理器无关,只要能够获取到executor进程使其执行任务,并且进程间可以互相通信,那么底层采用什么样的管理器(如mesos/yarn)都是可以的

什么是光存储

 光存储是由光盘表面的介质影响的,光盘上有凹凸不平的小坑,光照射到上面有不同的反射,再转化为0、1的数字信号就成了光存储。 光盘只