eclipse下开发mapreduce程序设置reduce个数无效的问题及解决

reduce个数是可以根据集群和项目具体情况设置的，新接口中用job.setNumReduceTasks(n);即可设置，但前几天用eclipse调试mapreduce程序时发现无论设置reduce个数是多少，运行时仍然只有一个reduce，输出目录里也只有一个输出文件part-r-00000。

看运行日志中启动的是LocalJobRunner， 网上查询得知hadoop有本地、伪分布、完全分布三种模式，LocalJobRunner是运行的本地模式，所以只能有一个reduce，但我明明配置了集群！

接下来查看源代码看看能不能找出启动LocalJobRunner的原因：首先主方法中job.waitForCompletion()内部调用了job类的submit()方法，submit()方法又调用了jobClient.submitJobInternal(conf)来提交作业，这个方法比较复杂，但用到了JobID jobId = jobSubmitClient.getNewJobId()来获取jobId，注意到本地模式运行日志中的jobId有“local”字样，估计本地模式和分布模式的差异可能在这里开始产生。再看这个jobSubmitClient的类型是接口JobSubmissionProtocol，这个接口有两个实现类JobTracker和LocalJobRunner！在JobClient类中用了一个init方法来初始化jobSubmitClient，代码如下：

public void init(JobConf conf) throws IOException {
String tracker = conf.get("mapred.job.tracker", "local");
tasklogtimeout = conf.getInt(
TASKLOG_PULL_TIMEOUT_KEY, DEFAULT_TASKLOG_TIMEOUT);
this.ugi = UserGroupInformation.getCurrentUser();
if ("local".equals(tracker)) {
conf.setNumMapTasks(1);
this.jobSubmitClient = new LocalJobRunner(conf);
} else {
this.rpcJobSubmitClient =
createRPCProxy(JobTracker.getAddress(conf), conf);
this.jobSubmitClient = createProxy(this.rpcJobSubmitClient, conf);
}
}

最后

以上就是愤怒灯泡为你收集整理的eclipse下开发mapreduce程序设置reduce个数无效的问题及解决的全部内容，希望文章能够帮你解决eclipse下开发mapreduce程序设置reduce个数无效的问题及解决所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。