概述
Spark参数
- set hive.mapred.,ode = nonstrict ;用来保证能算笛卡尔积
- set spark.driver.mapResultSize = 6g;
- set spark.executor.memory = 15g;
- set soark.driver.cores = 3 ;driver的堆内存
- set spark.executor.cores = 3; 每个executor的堆内存
- set spark shuffle.hdfs.enabled = true; 中间落入hdfs,用于重试成本高的
- set spark.shuffle.io.maxRetries = 1 ;
- set spark.shuffle.io.retrywait = 0s;
- set spark.network.timeout = 120s;
最后
以上就是美丽路人为你收集整理的spark参数调优Spark参数的全部内容，希望文章能够帮你解决spark参数调优Spark参数所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复