educoder平台MapReduce基础实战

下载本文档

阅读 167
下载 24
格式 docx
大小 17.59 KB
约6页
2025-05-20 发布于天津市
收藏
评论
点赞(0)
海报
举报

1/6页

2/6页

3/6页

在线预览已结束，请下载后查看完整版，加入VIP享文档下载特权

文本预览下载提示常见问题

/Begi*MapReduce 第 1 关：成绩统计过关代码 importjava.io.IOException;importjava.util.StringTokenizer;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.*;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;importorg.apache.hadoop.util.GenericOptionsParser;publicclassWordCount{publicstaticclassTokenizerMapperextendsMapper{privatefinalstaticIntWritableone=newIntWritable(1);privateTextword=newText();privateintmaxValue=0;publicvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{StringTokenizeritr=newStringTokenizer(value.toString(),"\n");while(itr.hasMoreTokens()){String[]str=itr.nextToken().split("");Stringname=str[0];one.set(Integer.parseInt(str[1]));word.set(name);context.write(word,one);}//context.write(word,one);}}publicstaticclassIntSumReducerextendsReducer{privateIntWritableresult=newIntWritable();publicvoidreduce(Textkey,Iterablevalues,Contextcontext)throwsIOException,InterruptedException{intmaxAge=0;intage=0;for(IntWritableintWritable:values){maxAge=Math.max(maxAge,intWritable.get());}result.set(maxAge);context.write(key,result);}//}publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();Jobjob=newJob(conf,"wordcount");job.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);Stringinputfile="/user/test/input";StringoutputFile="/user/test/output/";FileInputFormat.addInputPath(job,newPath(inputfile));FileOu...

1、当您付费下载文档后，您只拥有了使用权限，并不意味着购买了版权，文档只能用于自身使用，不得用于其他商业用途（如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利）。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。
3、如文档内容存在违规，或者侵犯商业秘密、侵犯著作权等，请点击“违规举报”。

碎片内容

educoder平台MapReduce基础实战

/Begi*MapReduce 第 1 关：成绩统计过关代码 importjava

IOException;importjava

StringTokenizer;importjava

IOException;importjava

StringTokenizer;importorg

apache

hadoop

Configuration;importorg

apache

hadoop

Path;importorg

apache

hadoop

*;importorg

apache

hadoop

Text;importorg

apache

hadoop

mapreduce

Job;importorg

apache

hadoop

mapreduce

Mapper;importorg

apache

hadoop

mapreduce

Reducer;importorg

apache

hadoop

mapreduce

FileInputFormat;importorg

apache

hadoop

mapreduce

output

FileOutputFormat;importorg

apache

hadoop

GenericOptionsParser;publicclassWordCount{publicstaticclassTokenizerMapperextendsMapper{privatefinalstaticIntWritableone=newIntWritable(1);privateTextword=newText();privateintmaxValue=0;publicvoidmap(LongWritablekey,Textvalue,Contextcontext)thro

您可能关注的文档

wxg + 关注: 实名认证
内容提供者

该用户很懒，什么也没介绍

收藏店铺进入空间

educoder平台MapReduce基础实战

educoder平台MapReduce基础实战

您可能关注的文档

相关文档

热门下载

相关标签