搜索引擎中文分词原理与实现VIP免费

搜索引擎中文分词原理与实现因为中文文本中，词和词之间不像英文一样存在边界，所以中文分词是一个专业处理中文信息的搜索引擎首先面对的问题，需要靠程序来切分出词。一、Lucene中的中文分词Lucene在中处理中文的常用方法有三种，以“咬死猎人的狗”为例说明之：单字：【咬】【死】【猎】【人】【的】【狗】二元覆盖：【咬死】【死猎】【猎人】【人的】【的狗】分词：【咬】【死】【猎人】【的】【狗】Lucene中的StandardTokenizer采用单子分词方式，CJKTokenizer采用二元覆盖方式。1、Lucene切分原理Lucene中负责语言处理的部分在org.apache.lucene.analysis包，其中，TokenStream类用来进行基本的分词工作，Analyzer类是TokenStream的包装类，负责整个解析工作，Analyzer类接收整段文本，解析出有意义的词语。通常不需要直接调用分词的处理类analysis，而是由Lucene内存内部来调用，其中：（1）在索引阶段，调用addDocument（doc）时，Lucene内部使用Analyzer来处理每个需要索引的列，具体如下图：图1Lucene对索引文本的处理IndexWriterindex=newIndexWriter(indexDirectory,newCnAnalyzer(),//用于支持分词的分析器!incremental,IndexWriter.MaxFieldLength.UNLIMITED);（2）在搜索阶段，调用QueryParser.parse（queryText）来解析查询串时，QueryParser会调用Analyzer来拆分查询字符串，但是对于通配符等查询不会调用Analyzer。Analyzeranalyzer=newCnAnalyzer();//支持中文的分词QueryParserparser=newQueryParser(Version.LUCENE_CURRENT,"title",analyzer);因为在索引和搜索阶段都调用了分词过程，索引和搜索的切分处理要尽量一致，所以分词效果改变后需要重建索引。为了测试Lucene的切分效果，下面是直接调用Analysis的例子：Analyzeranalyzer=newCnAnalyzer();//创建一个中文分析器TokenStreamts=analyzer.tokenStream("myfield",newStringReader("待切分文本"));//取得Token流while(ts.incrementToken()){//取得下一个词System.out.println("token:"+ts);}2、Lucene中的Analyzer为了更好地搜索中文，通过下图来了解一下在Lucene中通过WhitespaceTokenizer、WordDelimiterFilter、LowercaseFilter处理英文字符串的流程：图2Lucene处理英文字符串流程二、查找词典算法词典格式可以是方便人工查看和编辑的文本文件格式，也可以是方便机器读入的二进制格式。词典的最基本文本文件格式就是每行一个词。在基于词典的中文分词方法中，词典匹配算法是基础。一般词典规模都在几十万词以上，所以为了保证切分速度，需要选择一个好的查找词典算法。1、标准Trie树一个数字搜索Trie树的一个节点只保留一个字符，如果一个单词比一个字符长，则包含第一个字符的节点有指针指向下一个字符的节点，依次类推。这样组成一个层次结构的树，树的第一层包括所有单词的第一个字符，树的第二层包括所有单词的第二个字符，依次类推，数字搜索树的最大高度是词典中最长单词的长度。比如：如下单词序列组成的词典（asatbebyheinisitofonorto）会生成如下图所示的数字搜索树：图3数字搜索树数字搜索树的结构独立于生成树时单词进入的顺序，这里，Trie树的高度是2。因为树的高度很小，在数字搜索Trie树种搜索一个单词的速度很快。但是，这是以内存消耗为代价的，树中每个节点都需要很多内存。假设每个词都是由26个小写英文字母中的一个组成的，这个节点中会有26个指针。所以不太可能直接用这样的数字搜索树来存储中文这样的大字符集。Trie树在实现上有一个树类（SearchTrie）和一个节点类（TrieNode）。SearchTrie的主要方法有两个：（1）增加单词到搜索树，方法原型是：addWord（Stringword）。（2）从文本的指定位置开始匹配单词，方法原型是：matchLong（Stringtext,intoffset）。2、三叉Trie树在一个三叉搜索树（TernarySearchTrie）中，每一个节点包括一个字符，但和数字搜索树不同，三叉搜索树只有三个指针：一个指向左边的树；一个指向右边的树；还有一个向下，指向单词的下一个数据单元。三叉搜索树是二叉搜索树和数字搜索树的混合体。它有和数字搜索树差不多的速度但是和二叉搜索树一样只需...