基于隐马尔科夫模型的词性标注讲义

基于隐马尔科夫模型的词性标注于江德安阳师范学院自然语言处理小组2009 年 4 月 7 日内容提要 词性标注基于 HMM 的词性标注基于规则的词性标注后面经常用到的公式)()|()()(),()|(WPTWPTPWPWTPWTP)|()()|(TWPTPWTP,...),|()...,|()|()(2101201iiitttPtttPttPTP)|()...|()|()(11201ii ttPttPttPTP),...,,,,...,|()...,,,|()|()|(11111212211wwwtttwPwwttwPtwPTWPiiiii)|()...|()|()|(2211ii twPtwPtwPTWP二元一元词性标注的任务 自然语言中一词多类的现象 把这篇报道编辑一下 把 /q-p-v-n 这 /r 篇 /q 报道 /v-n 编辑 /v-n 一 /m-c 下 /f-q-v Time flies like an arrow Time/n-v flies/v-n like/p-v an/Det arrow/n 所谓词性标注就是用计算机来自动地给文本中的词标注词类（如：名词、动词）。 意义 为更高层次的自然语言文本加工提供素材 为语言学的研究，提供翔实的资料 从加工过的文本中获取词类及频度的词性标注知识词性标注的实质：寻找最优路径4×1×1×2×2×2×3 ＝ 96 种可能性，哪种可能性最大？隐马尔可夫模型简要回顾 隐马尔可夫模型是在马尔可夫链的基础之上发展起来的。由于实际问题比马尔可夫模型所描述的更为复杂，观察到的事件并不是与状态一一对应，而是通过一组概率分布相联系，这样的模型就称为隐马尔可夫模型（ HMM ）。 HMM 是一个双重随机过程，其中之一是马尔可夫链，这是基本随机过程，它描述状态的转移。另一个随机过程描述状态和观察值之间的统计对应关系。这样，站在观察者的角度，只能看到观察值，不像马尔可夫链模型中的观察值和状态一一对应，因此不能直接看到状态，而是通过一个随机过程去感知状态的存在及其特性。因而称之为“隐”马尔可夫模型。HMM 的形式描述 对于一个随机事件，有一个观察值序列：O1,...,OT 该事件隐含着一个状态序列：X1,...,XT 一个隐马尔可夫模型 (HMM) 是一个五元组： (ΩX , ΩO, A, B, π )其中： ΩX = {q1,...qN} ：状态的有限集合 ΩO = {v1,...,vM} ：观察值的有限集合 A = {aij} ， aij = p(Xt+1 = qj |Xt = qi) ：转移概率 B = {bik} ， bik = p(Ot = vk | Xt = qi) ：输出概率 π = {πi} ， πi = p(X1 = qi) ：初始状态分布（初始概率）HMM 的三个基本问题令 λ = {A,B,π} 为给定 HMM 的参数，令 σ...