踏实悟空

文章
4
资源
0
加入时间
2年10月21天

Spark Core 总结1-RDD的缓存、checkpoint

RDD的缓存(持久化)Spark速度非常快的原因之一,就是在不同操作中可以在内存中持久化或缓存个数据集。当持久化某个RDD后,每一个节点都将把计算的分片结果保存在内存中,并在对此RDD或衍生出的RDD进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD相关的持久化和缓存,是Spark最重要的特征之一。可以说,缓存是Spark构建迭代式算法和快速交互式查询的关键。如果一个有持久化数据的节点发...

VMWare克隆Centos之后,网卡设置

编辑网卡设备1  vi /etc/udev/rules.d/70-persistent-net.rules会看到有2块网卡eth0和eth1,eth0为克隆系统的,eth1为重新生成# PCI device 0x8086:0x100f (e1000)#SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="