hadoop streaming 多路输出

hadoop streaming工具很好的支持python 等各种脚本语言的map-reduce程序，开发方便高效，但是它没有直接支持多路输出（或者由于自己孤陋寡闻不知道），所以自己实现了一个多路输出的工具包，在hadoop streaming任务中添加简单配置即可实现多路输出。具体如下

第一步：

package test.lmc.com.cn;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat;

public class TestMultipleOutputFormat extends MultipleTextOutputFormat<Text, Text> {

	/**
	 *if value is end with "#flag"
	 *return outputfilename with filename+"-flag" 
	 *flag is recommend to be A - Z
	 */
	protected String generateFileNameForKeyValue(Text key, Text value, String name) 
	{
		String strValue = value.toString();
		int valueLength = strValue.length();
		String outputName = name;
		int index = strValue.lastIndexOf("#");
		if(-1 != index && (index+2) == valueLength)
		{
			String newValu

最后

以上就是秀丽耳机为你收集整理的hadoop streaming 多路输出的全部内容，希望文章能够帮你解决hadoop streaming 多路输出所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。