搜索引擎的信息覆盖率VIP免费

搜索引擎的信息覆盖率评测模型研究孟涛09808049指导教师：李晓明教授2002年6月引言互联网信息资源数量的指数级增长、网络信息博物馆对网页资源的要求需要一套有效的办法评测搜集系统的搜集性能，本文的工作由此展开网页搜集的不完全性WWW有向图结构结构本身所致（入度为0或不存在路径）优先排序、搜集系统资源所限导致不断出现的新网页无法搜集三类重要的信息覆盖率数量覆盖率质量覆盖率可视信息覆盖率模型建立覆盖率=搜集网页数/实际WWW网页数覆盖率=样本覆盖数/样本容量模型图示数量覆盖率：随机IP法模型修正与误差分析结果：5.72%缺点：无法区别该IP地址的网站大小，存在大量的无效IP地址改进方法：利用链接关系作链接扩展，减小上述的不利影响修正结果：23.5%数量覆盖率：广度优先法试验结果与误差分析局部角度，利用网页间链接关系结果：选取5组样本求覆盖率均值41.6%误差修正：大约10%的网页无法通过链接到达，对结果乘以90%处理得37.4%误差修正原理网页重要性评价因素网页URL属性：域名长短，目录深度网页作为有向图的节点：链接表示着认可度的传递，通常入度越大越重要网页本身的内容：与查询用户宽主题查询词的匹配程度两类重要的权值算法之一：PageRank学术论文引用统计原理在WWW上的扩展PR(A)=niTiCTiPR1)(/)(两类重要的权值算法之二：HITS（Hyperlink-InducedTopicSearch）权威型权值目录型权值A(p)=H(p)=miFiH1)(niTiA1)(质量覆盖率：广度优先法PageRank算法需要与WWW相近的链接结构，采用广度优先遍历取样初始样本对得到的数十万网页用PageRank算法计算权值，得到前面约5%的网页作为重要网页样本选取5组样本，计算均值得到结果为47%对其中的两组样本，改变重要性标准（百分比），分析覆盖率的变化情况（5%平缓）图示质量覆盖率：主题查询法递交若干查询词给搜索引擎，返回的结果集，进行链接扩展（目的）用HITS算法分别计算目录型权值和权威型权值在前列的网页集合作为样本八组查询词得样本均值：42.9%和53%模型修正与误差分析缺点：对所有的链接一视同仁改进方法:考察导向词与查询词的匹配度，实现扩展HITS算法修正结果：46.2%和50.3%两类质量覆盖率评测方法评价两种评测方法的结果很好的吻合它们分别从客观与主观的角度着手证明此评测模型是有效的得到WebInfoMall有效信息覆盖率数据我的主要工作（1）实现通过HTTP1.0协议抓取网页实现从网页中提取所有的URL链接实现随机IP产生器，IP扫描器实现反向域名两级解析（DNS、DB）我的主要工作（2）实现PageRank算法实现HITS算法旨在改进天网系统的网页权值排序问题我的主要工作（3）实现多播程序对Webinfomall服务器群验证URL是否已被覆盖实现“多生产者——多消费者”的多进程运行模型进行巨量Web信息处理总结提出了质量覆盖率概念，建立了一个有效的网络信息质量覆盖率评测模型依据该模型，对“天网”搜索引擎及“燕穹”Web信息博物馆的网页数据进行了有效评估所做的网页权值计算工作为天网的进一步改进打下重要基础谢谢！