虚幻灯泡

文章
1
资源
0
加入时间
3年0月9天

Caused by: java.io.NotSerializableException: org.apache.spark.SparkContext

当你执行各种转换(map,flatMap,filter等等)的时候,会有以下转换:1、在driver节点上序列化,2、上传到合适的集群中的节点,3、在节点上执行反序列化,4、最后在节点上执行。当然你也可以在本地运行,除了没有网络传输,其他的过程都一样的,这样的好处就是方便调试在你部署之前。在这个例子中,你在class Test1中定义了一个方法,并运用在了map中,Spar