单身小蜜蜂

文章
6
资源
0
加入时间
2年10月17天

Spark Web UI 监控

日常铺垫本人最终用于大数据集测试的集群中包含4个节点,每个节点是一个worker,每个worker上启动一个Executor,其中Driver也跑在master上。每个Executor可使用的核数为2,可用的内存为2g,集群中所有Executor最大可用核数为8。 conf/spark-defaults.conf 部分参数配置如下: spark.master ...