Spark 调优之RDD持久化级别及kryo序列化性能测试MEMORY_ONLYMEMORY_ONLY_SER 未使用kryo序列化MEMORY_ONLY_SER 使用kryo序列化未注册MEMORY_ONLY_SER 使用kryo序列化并注册注册kryo序列化并开启RDD压缩对比表格
我们上篇文章中讲了，RDD的持久化是spark优化中必须掌握的，并且，在内存不足的情况下，我们可以将持久化类型选择为MEMORY_ONLY_SER，减少内存的占用，持久化更多的partition，并且不同的序列化方法也会影响序列化性能。下面，我们就来测试下，持久化级别和序列化方法的选择对RDD持久化大小的影响。我选择了一个170.9MB的日志文件，传到了百度网盘 提取码：ffae 测试环境是win...
