Spark 从Cache与Persist入手,浅谈缓存类别的关系与区别我们为什么要在spark中使用Cache?
我们为什么要在spark中使用Cache?我们先做一个简单的测试读取一个本地文件做一次collect操作:(仅做测试用,生产中使用collect容易发生driver OOM等问题,不推荐使用)val rdd=sc.textFile("file:///home/hadoop/data/input.txt")val rdd=sc.textFile("file:///home/hadoop/dat...