信息检索系统的评价VIP免费

提问1试解释信息检索系统的内涵。2什么是”评价”？第十一章信息检索系统评价11.1评价研究概述一、意义评价（Evaluation）：发现和收集关于某种活动的数据，从中判断该项活动的质量及达到预期目标程度的行为。简单地说，评价就是对系统的价值和效率进行测评。信息检索系统评价：根据给定的指标体系，采用一定的方法和程序，对信息检索系统的功能、特性和运营状况进行评测，或对有关假设、预期效益、性能值进行验证，以确定系统达到了何种水平、投入成本是否值得、是否可以改进和如何改进，乃至系统是否应生存下去。第十一章信息检索系统评价11.1评价研究概述一、意义信息检索系统的评价研究，一直是信息检索领域的一项重要研究内容。多年来人们进行了大量的评价试验和多角度的探索。原因在于，检索系统评价工作在为研究者验证检索系统效益、比较各种检索技术的优劣、改进现有检索系统、开发新的应用领域等方面，都具有不可替代的作用。第十一章信息检索系统评价11.1评价研究概述一、意义主要意义：了解已有检索系统的功能，找出缺陷并改进；比较各种检索系统的优劣；提高提高效率和效益；有助于新的检索系统的设计；丰富信息检索的理论。第十一章信息检索系统评价11.1评价研究概述二、评价范围与类型信息检索系统是一个有众多功能模块组成的集合体。评价可以从不同角度、基于不同目的和方法来进行。评价范围：各种类型的检索系统及组成要素。评价类型：•宏观评价：着眼于检索系统的宏观方面，如情报源类型、系统结构、收录范围、利用率等。•个别评价：仅对系统的某一性能、功能进行评价。•性能评价(performanceevaluation)：面向用户的评价，测定检索系统的质量或服务效果。也称为检索效果评价(effectivenessevaluation)。第十一章信息检索系统评价11.1评价研究概述二、评价范围与类型评价类型：•效益评价（benefitsevaluation）：测定系统或用户获得的的经济效益和社会效益。(有直接的、潜在的；难以直接计量)•费用/效果评价（costeffectivenessevaluation）：考察系统达到的性能与费用消耗之间的关系。（用户、系统两方面）•费用/效益评价（costbenefitsevaluation）：考察系统的服务效益与费用消耗间的关系。（计量难度较大）(详见P207的解释)第十一章信息检索系统评价11.2评价指标一、评价指标体系要评价一个检索系统，必须有一套科学的评价标准。建立检索系统评价指标体系应遵循的原则：各指标应定义单一、明确，具有可操作性。评价指标最好能够量化或计量。指标要完善、细致、全面。下面给出传统检索系统评价指标体系模型：（供参考）第十一章信息检索系统评价11.2评价指标综合指标体系学习费用实验费用收录范围使用方便性检索结果形式查全率新颖性可存取性查准率存贮空间开销研制费用运行费用灵活性检索性能用户费用数据质量响应时间系统费用可靠性逐一评价这些指标，可以判定检索系统的优劣。其中，比较重要的是检索性能指标。11.2评价指标问题:什么是查全率、查准率?第十一章信息检索系统评价11.2评价指标二、主要性能指标及分析1．查全率和查准率查全率(Recallratio，R)：衡量一次检索中与提问相关的文献有多少篇被检出。（衡量检出相关文献的能力）量数据库中的相关文献总检出的相关文献量R第十一章信息检索系统评价11.2评价指标二、主要性能指标及分析1．查全率和查准率查准率(Precisionratio，P)：衡量被检出的文献中有多少篇与提问相关。（衡量检索的精确度）检出文献总量检出的相关文献量P第十一章信息检索系统评价11.2评价指标二、主要性能指标及分析例：设某检索系统的数据库中共有相关文献20篇。针对某一个提问，检出文献总数为30篇，其中相关文献数为15篇。求查全率R、查准率P。%752015R%503015P第十一章信息检索系统评价11.2评价指标二、主要性能指标及分析为便于分析，我们给出数学语言描述：设某文献库所存储的文献总量为L。对某一给定提问，a—表示被检出的与提问相关的文献数；（前例a=15）b—表示被检出的与提问无关的文献数；（误检，前例b=15）c—表示与提问相关，但未被检出的文献数（漏检，前例...