Spark中MapPartition和Map的区别

56 阅读 0 评论 37 点赞

我是靠谱客的博主诚心手机，最近开发中收集的这篇文章主要介绍Spark中MapPartition和Map的区别，觉得挺不错的，现在分享给大家，希望可以做个参考。

1、map()：每次处理一条数据

2、mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后，原 RDD 中分区的
数据才能释放，可能导致 OOM。

开发指导：当内存空间较大的时候建议使用 mapPartition()，以提高处理效率。

以上就是诚心手机为你收集整理的Spark中MapPartition和Map的区别的全部内容，希望文章能够帮你解决Spark中MapPartition和Map的区别所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。