我是靠谱客的博主 刻苦便当,这篇文章主要介绍Yarn参数优化,现在分享给大家,希望可以做个参考。

1.AM资源比例上线:

##定义队列最多同时可以运行的AM数量。

所有队列的ApplicationMaster资源比例上限可通过参数yarn.scheduler.capacity. maximum-am-resource-percent设置(可看做默认值)支持浮点数,如:10c的队列单个am<1c,2G>

则0.6表示同时最多运行6个AM

2.yarn.local.dir 配置

  优点:对于密集读写型作业,缓解单个磁盘io

最后

以上就是刻苦便当最近收集整理的关于Yarn参数优化的全部内容,更多相关Yarn参数优化内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(108)

评论列表共有 0 条评论

立即
投稿
返回
顶部