1、map()：每次处理一条数据
2、mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后，原 RDD 中分区的
数据才能释放，可能导致 OOM。
开发指导：
当内存空间较大的时候建议使用 mapPartition()，以提高处理效率。
最后
以上就是诚心手机最近收集整理的关于Spark中MapPartition和Map的区别的全部内容，更多相关Spark中MapPartition和Map内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复