友好鸵鸟

文章
4
资源
0
加入时间
2年10月17天

Spark-Join优化之Broadcast

适用场景进行join中至少有一个RDD的数据量比较少(比如几百M,或者1-2G)因为,每个Executor的内存中,都会驻留一份广播变量的全量数据Broadcast与map进行join代码示例创建RDDval list1 = List((jame,23), (wade,3), (kobe,24))val list2 = List((jame,cave), (wa...