人工智能 技术篇自 然 语 言 处 理第九章本 章 导 读 随着信息技术的发展,以及智能设备在实际生活中的广泛应用,自然语言处理技术迅速升级为人工智能必不可少的研究热点之一。自然语言处理技术实现了人与机器之间的自然语言交流,为人们的生活带来了诸多便利。 本章首先介绍自然语言处理的基本概念、发展历程、研究方向和基本框架,然后详细介绍自然语言处理的层次化过程和基本流程,最后分析自然语言处理技术的某一应用方向,即情感分析。学习目标熟悉自然语言处理的基本概念和基本框架。掌握理解自然语言处理的过程划分。掌握自然语言处理的基本流程。目 录 4自然语言处理概述自然语言处理的过程划分自然语言处理的基本流程01020304案例分析:情感分析 自然语言处理概述01 自然语言处理( natural language processing , NLP )主要研究用电子计算机模拟人的语言交际过程,使计算机能理解和运用人们生活中使用的自然语言,并实现人机之间的自然语言通信,从而进一步实现计算机代替人进行部分脑力劳动的目标。其中,部分脑力劳动主要包括查询资料、解答问题、摘录文献、汇编资料,以及一切与自然语言信息有关的加工处理。 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向,它主要包括自然语言理解和自然语言生成两方面内容。 自然语言理解又称为计算语言学,是指将自然语言转化成易于计算机程序理解和处理的形式。自然语言生成则是将存储于计算机中的数据转化为人们能够理解的自然语言。自然语言处理的基本概念9.1.1 自然语言处理的发展历程可分为 5 个时期,如图所示。 1968年,语义信息检索系统SIR可以记住用户通过英语告诉它的事实,并对这些事实进行演绎推理,最后回答用户提出的问题。1954年,美国乔治敦大学与I B M 公 司 合作,在IBM701计算机上将俄语 翻 译 成 英语,进行了第一次机器翻译实验。1972年,第一个允许用户用普通英语同计算机对话的人机接口系统LUNAR诞生。美国人工智能公司(AIC)生产的英语人机接口Intellect引入了知识表示和推理机制。21世纪后语料库规模和硬件计算力的大幅提升,促进了自然语言处理的迅速发展。以关键词匹配技术为主的时期萌芽起步时期以句法-语义分析技术为主的时期基于知识表示和推理的时期基于大规模语料库的时期20世纪40年代起20世纪60年代起20世纪70年代起20世纪80年代起21世纪 自然语言处理的发展历程9.1.2自然语言处理的发展历程 自然语言...