我是靠谱客的博主 迅速舞蹈,这篇文章主要介绍spark 将数据序列化存放内存,现在分享给大家,希望可以做个参考。

在spark shell客户端启动后执行

scala> var rdd =  sc.textFile("hdfs://mycluster/spark/data/acc.txt")
rdd: org.apache.spark.rdd.RDD[String] = hdfs://mycluster/spark/data/acc.txt MapPartitionsRDD[6] at textFile at <console>:24

scala> rdd.cache()
res1: org.apache.spark.rdd.RDD[String] = hdfs://mycluster/spark/data/acc.txt MapPartitionsRDD[6] at textFile at <console>:24

scala> rdd.count()
res2: Long = 2 

查看spark web ui:
在这里插入图片描述
显示没有序列化的数据在内存中大小为208B
执行命令删除该数据:

scala> rdd.unpersist()
res3: org.apache.spark.rdd.RDD[String] @scala.reflect.internal.annotations.uncheckedBounds = hdfs://mycluster/spark/data/acc.txt MapPartitionsRDD[6] at textFile at <console>:24

在这里插入图片描述
重新序列化后存放内存,执行命令:

scala> import org.apache.spark.storage.StorageLevel
import org.apache.spark.storage.StorageLevel

scala> rdd.persist(StorageLevel.MEMORY_ONLY_SER)
res4: org.apache.spark.rdd.RDD[String] = hdfs://mycluster/spark/data/acc.txt MapPartitionsRDD[6] at textFile at <console>:24

scala> rdd.count()
res5: Long = 2 

查看结果只有45B:
在这里插入图片描述
结论:显示同样大小的数据在序列化后存放内存所占用空间会显著变小

最后

以上就是迅速舞蹈最近收集整理的关于spark 将数据序列化存放内存的全部内容,更多相关spark内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(62)

评论列表共有 0 条评论

立即
投稿
返回
顶部