MapReduce数据去空去重进阶版及数据乱码解决方法前言改进注意：一定以注意编码问题，对文件进行清洗时一定要确保是UTF-8的编码，最好在爬虫保存数据时设定编码，不要保存为GBK编码，不然清洗出来的数据就成乱码了，hadoop中默认编码就是UTF-8的，如果数据量很大不好转码就只能在map函数获取数据前先转码，也就是把String line = value.toString();替换为String line = new String(value.getBytes(), 0, value.get

72 阅读 0 评论 48 点赞

我是靠谱客的博主坚定超短裙，最近开发中收集的这篇文章主要介绍MapReduce数据去空去重进阶版及数据乱码解决方法前言改进注意：一定以注意编码问题，对文件进行清洗时一定要确保是UTF-8的编码，最好在爬虫保存数据时设定编码，不要保存为GBK编码，不然清洗出来的数据就成乱码了，hadoop中默认编码就是UTF-8的，如果数据量很大不好转码就只能在map函数获取数据前先转码，也就是把String line = value.toString();替换为String line = new String(value.getBytes(), 0, value.get，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

前言

之前写过一篇MapReduce对CSV文件去空去重，虽然能实现功能但是还有很多地方需要改进，刚好有新爬好的智联招聘的职位信息，所以再来一遍，爬取智联招聘的代码链接https://blog.csdn.net/weixin_42063239/article/details/88524079

这里只对职位名称或职位描述字段为空的数据删除，因为爬出来的数据比较规范没有空值和重复值，可以自己人为制造一些不符合规范的数据

话不多说上代码，改进了的地方在代码后列出，详细注释上一篇有就不写了，链接https://blog.csdn.net/weixin_42063239/article/details/88315036

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
public class Zhilian {
public static Text nullData = new Text("");
public static Text text = new Text("");
public static class Map extends Mapper<Object, Text, Text, Text>{
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
if(isRightData(line)){
String data = line.replace(",", "|");
text.set(data);
context.write(text, nullData);
}
}
//只判断职位名称和职位描述是否为空
boolean isRightData(String line){
Boolean flag = true;
String[] items = line.split(",");
if(items[7].trim().isEmpty() || items[8].trim().isEmpty()){
flag = false;
}
return flag;
}
}
public static class Reduce extends Reducer<Text, Text, Text, Text> {
public void reduce(Text key, Iterable<Text> value, Context context) throws IOException, InterruptedException {
context.write(key, nullData);
}
}
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Configuration conf = new Configuration();
Job job = Job.getInstance();
job.setMapperClass(Map.class);
job.setCombinerClass(Reduce.class);
job.setReducerClass(Reduce.class);
job.setJarByClass(Zhilian.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(NullWritable.class);
Path in = new Path("hdfs://192.168.1.101:9000/in/zhilian.csv");
Path out = new Path("hdfs://192.168.1.101:9000/out/");
FileSystem fileSystem = FileSystem.get(conf);
fileSystem.delete(out, true);
FileInputFormat.addInputPath(job, in);
FileOutputFormat.setOutputPath(job, out);
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}