基于python的网络爬虫设计【摘要】近年来，随着网络应用的逐渐扩展和深化,如何高效的猎取网上数据成为了无数公司和个人的追求,在大数据时代，谁掌握了更多的数据，谁就可以获得更高的利益,而网络爬虫是其中最为常用的一种从网上爬取数据的手段。 网络爬虫,即Web Spider，是一个很形象的名字.假如把互联网比方成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的.从网站某一个页面(通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页，这样一直循环下去,直到把这个网站所有的网页都抓取完为止。假如把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。 那么，既然网络爬虫有着如此先进快捷的特点，我们该如何实现它呢？在众多面对对象的语言中，首选python，因为python是一种“解释型的、面对对象的、带有动态语义的”高级程序，可以使人在编程时保持自己的风格,并且编写的程序清楚易懂，有着很宽阔的应用前景。 关键词 python 爬虫 数据1 前言1.1本编程设计的目的和意义随着网络的迅速进展,万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(例如传统的通用搜索引擎AltaVista,Yahoo！和Google等)作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是,这些通用性搜索引擎也存在着一定的局限性，如： (1） 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关怀的网页。 （2） 通用搜索引擎的目标是尽可能大的网络覆盖率,有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深. (3） 万维网数据形式的丰富和网络技术的不断进展，图片、数据库、音频/视频多媒体等不同数据大量出现,通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和猎取。 (4） 通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。 为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序,它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，猎取所需要的信息。与通用爬虫(generalpurpose web crawler）不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页,为面对主题的...
