《网络信息检索与搜素引擎系统开发》考试参考资料Brilliance搜索引擎：从互联网等信息源中以一定的策略采集所需信息，经加工处理(如对网页进行去重处理、抽取信息、索引、生成主题词标引、生成自动文摘、信息分类、对相似网页进行聚类等)，将用户感兴趣的内容按照一定的规则排序后，以超链等形式提供给用户的系统。搜索引擎主要包括信息采集、信息加工、信息检索与检索结果提供这几个部分搜索引擎分类：目录索引式搜索引擎、自动式搜索引擎、元搜索引擎、分布式搜索引擎自动搜索引擎：利用Robot采集相关网页。在进信息加工后(如：分析页面内容;生成索引;摘要;分类)，根据用户给出的查询项进行检索，并将检索结果按相关性排序(可根据匹配程度、查询项出现的位置/频次、网页链接质量等)后返回给用户。•优点：自动采集，信息量大，更新较及时。•缺点：检索时缺乏在语义层次上的深层分析。•查准率查准率(precision)用来评价检索结果中有多少文档是和用户需求相关的。查准率=检索结果中和查询相关的文档数÷检索结果中的文档总数×100%•查全率查全率：文档库中所有相关文档中到底有多少被系统检索出来查全率=检索结果中和查询相关的文档数÷文档库中所有和查询相关的文档数×100%网络信息检索的未来：1.以智能化为核心的智能检索2.多媒体信息检索3.跨语言检索4.个性化检索案例检索1.输入待解决问题的要求、初始条件及其他相关信息2.根据问题要求及初始条件，从案例库中提取一组与当前问题相似的案例3.从相似的案例中找出最接近当前问题的案例，通过对目标方案的修改来解决当前问题。4.问题解决后，当前的解即可新的案例存入案例库中，以备后用页面遍历算法广度优先：先采集完同一层的网页，在采集下一层的网页。深度优先：先沿一条路径采到叶节点，再从同层其他路径进行采集网页信息抽取的大致流程1、通过网络蜘蛛爬取页面，预处理后得到纯文本页面信息；2、对页面进行预处理，去掉JavaScript、图片、Flash等无关内容；3、找到对应的头部和尾部标志，并在其中抽取相应的内容；4、将抽取到的属性信息存入数据表。对LuceneDemo的测试1、控制台方式（1）建立索引。在控制台cmd方式下输入：“javaorg.apache.lucene.demo.IndexFiles“d:\workshop\docs””(设待索引文件在d:\workshop\docs下)，则对目标文件夹(即d:\workshop\docs)下所有文件建立索引，同时在当前命令行所在位置将生成index文件夹。（2）javaorg.apache.lucene.demo.SearchFiles，则在当前路径下找index文件夹并进行检索，要在存放索引文件的父目录中执行上述语句。这时将会出现“EnterQuery:”提示符，在其后输入关键字后回车，即可得到查询结果，不支持中文检索。2、Web方式cmd模式下利用Lucene自带的Demo对指定位置的html文件建立索引并存放在指定的位置。（1）将D:\lucene-2.4.0\lucene-2.4.0\luceneweb.war复制到Tomcat安装路径的\webapps，输入http://localhost:8080/luceneweb，会打开lucene的自带的Demo程序。（2）在新建的这个luceneweb文件夹下新建一docs文件夹，将一些txt、html等类型的文件复制到这个docs中。（3）对指定路径下的文件建立索引。cmd下输：javaorg.apache.lucene.demo.IndexHTML–create–index“D:\eclipse\java\Tomcat5.5\webapps\luceneweb\index”“D:\eclipse\java\Tomcat5.5\webapps\luceneweb\docs”–第一个参数是存放索引的目的地，第二个参数是存放待索引的文件的源位置（4）为使Lucene的demo能找到索引文件，需修改Tomcat安装路径下的webapps\Luceneweb\configration.jsp，使之能指向正确的索引位置。修改“StringindexLocation”使之指向正确的Index文件夹，StringindexLocation=“..\\webapps\\luceneweb\\index”;（5）在Tomcat运行状态下，在浏览器中输入http://localhost:8080/luceneweb。在文本框中输入关键字，如“＋Lucene＋windows”，按照指定的与关系来进行检索。Lucene索引和检索的主要流程步骤1：构建索引，实例化IndexWriter。在IndexWriter的构造函数中，第一个参数是有关索引位置的，如果采用FSDirectory方式，就要指定存放索引的位置；第二个参数是绑定分析器Ana...
