我是靠谱客的博主 天真歌曲，这篇文章主要介绍hadoop：MR报错Error in last collector was:java.lang.NullPointerException，现在分享给大家，希望可以做个参考。
报错
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
2826-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was:java.lang.NullPointerException 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:423) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:82) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:710) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:782) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.mapred.MapTask.run(MapTask.java:347) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at java.security.AccessController.doPrivileged(Native Method) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at javax.security.auth.Subject.doAs(Subject.java:422) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - Caused by: java.lang.NullPointerException 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1025) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:408) 26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - ... 9 more
原因
1、可能是在调用设置的value类的某个方法时，找不到该方法。
2、可能是在Driver中设置的setMapOutputValueClass与实际在map中定义的输出类型不一致。
如我的代码的map中，设置value的输出为Group
复制代码
1org.apache.parquet.example.data.Group;
该类没有compareTo方法，而map结束后，会对数据进行排序（一次快排，一次递归，感兴趣可自行了解mr流程）。所以会调用value类的compareTo方法。
如果value类没有compareTo方法，则会报空指针异常。
解决
如果需要输出Group，可在map中先输出Text，在reduce中再将其转换成Group。
或者自定义一个类，继承Group，并自己写compareTo方法。
最后
以上就是天真歌曲最近收集整理的关于hadoop：MR报错Error in last collector was:java.lang.NullPointerException的全部内容，更多相关hadoop：MR报错Error内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复