自然语言处理NPL最大概率分词算法

NLP基于最大概率的汉语切分 Ytinrete 要求： 基于最大概率的汉语切分 目标：采用最大概率法进行汉语切分。 其中：n-gram 用bigram，平滑方法至少用Laplace 平滑。 输入：接收一个文本，文本名称为：corpu s_for_test.tx t 输出：切分结果文本， 其中：切分表示：用一个字节的空格“ ”分隔，如：我们 在 学习 。 每个标点符号都单算一个切分单元。 输出文件名为：学号.tx t Bigram 参数训练语料：corpu s_for_train.tx t 注：请严格按此格式输出，以便得到正确评测结果 切分性能评价： 分 切分结果评测 F*100, F=2P*R/(P+R) 特别注意:代码雷同问题 本次作业最后得分会综合考虑：切分性能、代码、文档等几个方面。 第三次作业上交的截止时间：2014 年 1 月 7 日 24:00 1 .关于最大概率分词 基本思想是： 一个待切分的汉字串可能包含多种分词结果，将其中概率最大的作为该字串的分词结果。 根据： 由于语言的规律性，句子中前面出现的词对后面可能出现的词有很强的预示作用。 公式1： 其中 w 表示词， s 表示待切分字符串。 公式2： 例如： S：有意见分歧 W1: 有/ 意见/ 分歧/ W2: 有意/ 见/ 分歧/ P(W1)=P(有)×P(意见)×P(分歧) ＝1.8*10-9 P(W2)=P(有意)×P(见)×P(分歧) ＝1*10-11 P(W1)> P(W2) 所以选择 W1 历史信息过长，计算存在困难 p(wi|w1w2…wi-1) 为了便于计算，通常考虑的历史不能太长，一般只考虑前面n-1 个词构成的历史。 即： p(wi|wi-n+1…wi-1) 1212( | )* ()(| )()( )()(,,...,)()* ()*...*()iiP S WP WP W SP WP SP WP wwwP wP wP wn()iiwP w在语料库中的出现次数语料库中的总词数Nn-gram n 较大时： က 提供了更多的语境信息，语境更具区别性。但是，参数个数多、计算代价大、训练语料需要多、参数估计不可靠。 n 较小时： က 语境信息少，不具区别性。但是，参数个数少、计算代价小、训练语料，无需太多、参数估计可靠。 题目要求使用bigram，即考虑前一个词，即考虑左邻词。 左邻词 假设对字串从左到右进行扫描，可以得到w1 ,w2 ,…,wi-1 wi,…等若干候选词，如果wi-1 的尾字跟wi 的首字邻接，就称wi-1 为wi 的左邻词。比如上面例中，候选词“有”就是候选词“意见”的左邻词，“意见”和“见”都是“分歧”的左邻词。字串最左边的词没有左邻词。 最佳左邻词 如果某个候选词wi 有若干个左邻...