Mapredu ce 程序设计报告 姓名： 学号： 题目： 莎士比亚文集倒排索引算法 1、 实验环境 联想 pc机 虚拟机：VM 10.0 操作系统：Centos 6.4 Hadoop版本：hadoop 1.2.1 Jdk版本：jdk-7u25 Eclipse版本：eclipse-SDK-4.2.2-linux-gtk-x86_64 2、 实验设计及源程序 2.1 实验说明 对莎士比亚文集文档数据进行处理，对莎士比亚文集文档数据进行倒排索引 处理，结果输出到指定文件 2.2 实验设计 （1）InvertedIndexMapper 类 这个类实现 Mapper 接口中的 map 方法，输入参数中的 value 是文本文件中的一行，利用正则表达式对数据进行处理，使文本中的非字母和数字符号转换成空格，然后利用StringTokenizer 将这个字符串拆成单词，最后将输出结果,outkey 为单词+单词所在的文件名，outvalue 为 1。 public static class InvertedIndexMapper extends Mapper{ private final static IntWritable one = new IntWritable(1); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { //获取文件名以及预处理 FileSplit filesplit =(FileSplit)context.getInputSplit(); String filename =filesplit.getPath().getName(); String line=value.toString(); String s; //利用正则表达式除去非数字和字母的符号 Pattern p =Pattern.compile("[^\\w+]"); Matcher m=p.matcher(line); String line2=m.replaceAll(" "); StringTokenizer itr = new StringTokenizer(line2); //按照空格对字符串进行划分 while (itr.hasMoreTokens()) { s=itr.nextToken().toLowerCase(); if(!ls.contains(s)){ Text filename_num=new Text(s+","+filename);//将单词和单词所在的文件名进行合并 context.write(filename_num, one); } } } } (2)InvertedIndexPartitioner 类 这个类是自定义的Partitioner 类,通过复写getPartition() 方法来自定义子集的分区key。将 key 按照分隔符进行分割，取 key 的前面部分进行分区，将相同的（即单词相同）分入同一个reduce。 public static class InvertedIndexPartitioner extends HashPartitioner{ public int getPartition(Text key,IntWritable value,int numReduceTasks){ Text key1 =new Text(...
