主题网络爬虫关键技术研究 VIP专享VIP免费

第一章绪论1.1背景与意义随着Internet的飞速发展，互联网信息呈指数增长。根据中国互联网络信息中心（CNNIC）于2017年8月4日在京发布第40次《中国互联网络发展状况统计报告》[1]数据显示:“截至2017年6月，中国网民规模达到7.51亿，占全球网民总数的五分之一。互联网普及率为54.3%；截至2017年6月，我国IPv4地址数量达到3.38亿个、IPv6地址数量达到21283块/32地址，二者总量均居世界第二；中国网站数量为506万个，半年增长4.8%。”如此大量的网站中包含着不计其数的网页，网页是信息的载体，人们一般通过百度、谷歌等通用搜索引擎去从互联网上获取想要的信息。然而，利用通用搜索引擎搜索出的信息，往往比较宽泛。为了解决这种问题，满足特定用户的需求，垂直搜索引擎应运而生。垂直搜索引擎针对的是一个特定的行业，是通用搜索引擎的细分，其将某一领域的网页信息进行整合，处理后再以某种形式返回给用户。垂直搜索针引擎对某一领域，为特定用户或特定需求提供相关的信息和服务，相对于通用搜索引擎，其查询更加准确。垂直搜索引擎相较于通用搜索引擎来说，专注于某一领域或专业，所以显得更加专注、具体及深入。主题网络爬虫，又称聚焦爬虫是垂直搜索引擎的重要组成部分，所以对主题网络爬虫的研究具有重要的意义。主题网络爬虫是一个自动从互联网上抓取网页的程序，它根据预设的主题去访问互联网上与主题相关的链接，获取网页信息。通用网络爬虫从若干种子链接开始，先抓取种子链接的网页，然后从这些网页中抽取新的链接放入待抓取队列中，直到满足系统设定的抓取结束条件或者待抓取队列为空。相比之下，主题网络爬虫的抓取流程较为复杂，抓取的过程中需要根据主题相似度算法预测链接与主题的相关度来决定是否将链接放入待抓取队列中。另外，爬虫抓取到的网页会被系统存储，然后，进行分析、过滤，最后建立索引。对于主题网络爬虫来说，这一过程的分析结果还能对后续的抓取给出反馈。1.2主题网络爬虫的国内外研究现状ni[2]在WorldWideWeb大会上第一次提出了聚焦爬虫（Focusedcrawler）这一概念，并设计并实现了FocusProiect系统[3]。主题爬虫技术一经提出很快获得了国内外专家学者的广泛关注。国内外学者对其进行了深入的研究，不仅创新并设计了很多高效的主题识别算法及主题搜索策略，并且设计并实现了一些实用的主题爬虫系统。接下来，从理论与实现的系统两个方面介绍主题网络爬虫的国内外研究现状。1.2.1主题识别算法及主题搜索策略[4]等人提出利用鱼群算法(Fish-Search算法)来指导爬虫爬行，该算法假设主题相关页面逻辑上想接近来搜索主题相关的网页。Shark-Search爬虫[5]，该算法是对Fish-Search算法的改进，相对于Fish-Search算法利用二值模型来计算主题相关性，其根据链接锚文本和网页主题相关内容计算出的相关性值为[0-1]内的值。该算法能提高主题爬虫的召回率。Best-First爬虫[6]，由CHOJ等人在1998年提出，其主要思想是构建一个待抓取队列，按照评价策略对队列中的链接进行评价，挑选最好的链接进行抓取。LarryPage和SergeyBrin[7]在20世纪90年代后期发明了PageRank算法，其在Google搜索引擎中使用，用于衡量特定网页相对于搜索引擎索引中的其他网页的重要程度。Kleinberg博士于1997年首先提出HITS算法，通过迭代计算获取到某个最优价值网页。目前，这两种算法也是典型的基于链接结构的搜索方法。Diligenti[8]利用“语境图”（ContexGraphs）构造分类器来指导爬虫爬行方向。将会优先访问离主题页面较近的页面，认为此部分页面的主题相关度较高。Johnson等人提出基于SVM分类模型引导主题网络爬虫爬行[9]。Rennie等人提出了面向机器学习的自适应算法引导主题网络爬虫爬行[10]，核心思想是利用Q(λ)学习算法引导爬虫以最小的代价穿越隧道到达相关页面。Gao等人提出了聚焦协作爬行方法完成地理位置上的主题爬行[11]。Shokouhi等人提出了一种名为Gcrawler[12]的智能爬虫，该爬虫利用遗传算法估算最优路径并扩展初始关键词。彭涛等人提出了基于隧道穿越技术的主题爬行方法，该方法将爬虫隧道分为黑色隧道和灰色隧道，采用用探索方式穿越黑色隧道，采用局部分析和网页分块的...