第1章 信息检索的相关概念VIP免费

现代信息检索MODERNINFORMATIONRETRIEVAL第一章信息检索的相关概念提纲信息检索的基本概念信息检索的历史信息检索和其他学科的关系信息检索的基本流程提纲信息检索的基本概念信息检索的历史信息检索和其他学科的关系信息检索的基本流程信息检索的基本概念信息检索产生信息检索简介信息检索概念信息检索的基本概念信息检索产生信息检索简介信息检索概念信息过载(INFORMATIONOVERLOAD)全世界每年产生1到2EB(1EB≈1018B)信息，相当于地球上每个人大概产生250MB信息,其中纸质信息仅占所有信息的0.3%(Lyman&Hal03)静态网页有上百亿，动态及隐藏网页至少是静态网页的500倍。TomLandauer认为人的大脑只能存储量，一辈子只能接触6G的信息量。INTERNET增长(1)INTERNET增长(2)全球数字化进程加快1998年，美国前副总统戈尔提出数字化地球的概念。1998年，江泽民总书记提出数字中国战略构想。1999年，北京市市长刘淇提出数字北京概念。全世界启动了数字图书馆、数字博物馆在内的一系列工程，另外包括虚拟博物馆、数字电影、交互电视、会议电视、远程教育、遥感、GPS等在内的服务或应用也产生大量文本和多媒体数据。问题！一方面，人们可以获得的信息的来源非常广泛。另一方面，人们如何快速、准确、全面地获得自己所需要的信息？非常困难！信息量太大，而且信息冗余度大、质量良莠不齐、格式不一、位置分散、关联复杂、语言繁多用户需求的表达和理解非常困难信息的理解非常困难—自然语言文本、图片、视频信息检索是研究如何解决上述问题的一门学科！IR系统用户需求相关结果信息检索的基本概念信息检索产生信息检索简介信息检索概念信息检索信息检索简介(1)InformationRetrieval这个术语产生于CalvinMooers1948年在MIT的硕士论文。InformationRetrieval(IR)：从文档集合中返回满足用户需求的相关信息的过程。作为一门学科，是研究信息的获(acquisition表示(representation)、存(storage)、组织(organization)和访问(access)的一门学问。信息检索简介(2)信息检索可以看成计算机科学Science)和图书情报学的交叉学科。(Computer(Library&Info.Science)以计算机为手段，处理信息对象和其他学科也融合：语言学、认知科学等检索来自英文单词Retrieval，有些人把它翻译成获取。其本义是“获得与输入要求相匹配的输出”。和我们平时所理解的搜索意义上的检索不一样。信息检索简介(3)IR不仅仅是搜索，IR系统也不仅仅是搜索引擎。例1：返回与信息检索相关的网页→搜索引擎(SearchEngine,SE)例2：毛主席的生日是哪天？→问答系统(QuestionAnswering,QA)例3：返回联想PC的型号、配置、价格等信息信息抽取(InformationExtraction,IE)例4：订阅有关NBA的新闻信息过滤(InformationFiltering)、信息推荐也可以这样说，狭义的IR通常是指InformationSearch,而广义的IR包含非常多的内容(SE,QA,Search,IE等)。本课程介绍的是广义的IR.信息检索的基本概念信息检索产生信息检索简介信息检索中的基本概念信息检索中的基本概念—用户需求用户需求(UserNeed,UN):用户需要获得的信息.严格地说，UN只存在于用户的内心，但是通常用文本严格地说，UN只存在于用户的内心，但是通常用文本来描述，如查找与2006世界杯相关的新闻，有时也称为主题(Topic)UN提交给检索系统时称为查询(Query)，如2006世界杯，对同一个UN，不同人不同时候可以构造出不同的Query，比如上述需求也可表示成2006世界杯新闻，Query在IR系统中往往还有内部表示信息检索中的基本概念—文档与文档集文档(Document)：检索的对象可以是文本，也可以是图像、视频、语音等多媒体文档，textretrieval/imageretrieval/videoretrieval/speechretrieval/multimediaretrieval可以是无格式、半格式、有格式的文档集合(Collection)：所有待检索的文档构成的集合也称为Repository，Corpus信息检索的基本概念—相关度相关(relevant、相关度relevance)相关取决于用户的判断，是一个主观概念不同用户做出的判断很难保证一致.即使是同一用户在不同时期、...