hadoop：MR报错Error in last collector was:java.lang.NullPointerException

报错

26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was:java.lang.NullPointerException
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:423)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:82)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:710)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:782)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:347)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at java.security.AccessController.doPrivileged(Native Method)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at javax.security.auth.Subject.doAs(Subject.java:422)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO - Caused by: java.lang.NullPointerException
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1025)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:408)
26-01-2021 11:13:41 CST PbopPrimeNewCustomerDroolsData INFO -
... 9 more

原因

1、可能是在调用设置的value类的某个方法时，找不到该方法。

2、可能是在Driver中设置的setMapOutputValueClass与实际在map中定义的输出类型不一致。

如我的代码的map中，设置value的输出为Group

org.apache.parquet.example.data.Group;

该类没有compareTo方法，而map结束后，会对数据进行排序（一次快排，一次递归，感兴趣可自行了解mr流程）。所以会调用value类的compareTo方法。

如果value类没有compareTo方法，则会报空指针异常。

解决

如果需要输出Group，可在map中先输出Text，在reduce中再将其转换成Group。

或者自定义一个类，继承Group，并自己写compareTo方法。

最后

以上就是天真歌曲为你收集整理的hadoop：MR报错Error in last collector was:java.lang.NullPointerException的全部内容，希望文章能够帮你解决hadoop：MR报错Error in last collector was:java.lang.NullPointerException所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。