获取成绩表的最高记录

1.编写成绩表A.txt文本

A.txt：

语文 96
数学 102
英语 130
物理 19
化学 44
生物 44
语文 109
数学 118
英语 141
物理 72
化学 21
生物 7
语文 92
数学 103
英语 139
物理 20
化学 58
生物 12
语文 107
数学 112
英语 133
物理 88
化学 11
生物 22

2.编写FindMax.java代码

//mapper

public static class FindMaxMapper extends Mapper<LongWritable, Text,Text,IntWritable>{
        Text course = new Text();
        IntWritable score = new IntWritable();
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String [] values = value.toString().trim().split(" ");
            course.set(values[0]);
            score.set(Integer.parseInt(values[1]));
            context.write(course,score);

        }
    }

//reducer
    public static class FindMaxReducer extends Reducer<Text,IntWritable,Text,IntWritable>{
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int maxScore = -1;
            Text course = new Text();
            for(IntWritable score:values){
                if (score.get()>maxScore){
                    maxScore = score.get();
                    course = key;
                }
            }
            context.write(course,new IntWritable(maxScore));
        }
    }

//driver
    public static void main(String [] args) throws Exception{
        if (args.length != 2){
            System.out.println("FindMax <input> <output>");
            System.exit(-1);
        }

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf,"findmax");
        job.setJarByClass(FindMax.class);
        job.setMapperClass(FindMaxMapper.class);
        job.setReducerClass(FindMaxReducer.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        job.setNumReduceTasks(1);
        FileInputFormat.addInputPath(job,new Path(args[0]));
        FileSystem.get(conf).delete(new Path(args[1]),true);
        FileOutputFormat.setOutputPath(job,new Path(args[1]));
        System.out.println(job.waitForCompletion(true) ? 0 : 1);

    }

3.编译生成FindMax.jar包。
4.将FindMax.jar包和A.txt文本上传至Hadoop的/opt目录下。
5.（先打开集群）将hadoop中/opt目录下的A.txt文件上传到HDFS的"/user2/root/目录下。
        上传命令：hdfs dfs -put /opt/A.txt /user2/root/
6.以hadoop jar提交任务给集群：
    命令：
  hadoop jar FindMax.jar /user2/root/A.txt /user2/root/optput03
7.在HDFS中/user2/root/output03/part-r-00000下即可查看结果

最后

以上就是自信巨人为你收集整理的获取成绩表的最高记录的全部内容，希望文章能够帮你解决获取成绩表的最高记录所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。