网络爬虫的设计与实现-毕业论文VIP专享VIP免费

摘要摘要网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。本文通过JAVA实现了一个基于广度优先算法的多线程爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。通过实现这一爬虫程序，可以搜集某一站点的URLs，并将搜集到的URLs存入数据库。【关键字】网络爬虫；JAVA；广度优先；多线程。ⅠABSTRACTABSTRACTSPIDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsearchengines,alsocanbeaDirectionalinformationcollector,collectsspecificallyinformationsfromsomewebsites,suchasHRinformations,houserentinformations.Inthispaper,useJAVAimplementsabreadth-firstalgorithmmulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousebreadth-firstcrawlingstrategy,andhowtoimplementbreadth-firstcrawling;whytousemulti-threading,andhowtoimplementmulti-thread;datastructure;HTMLcodeparse.etc.ThisSPIDERcancollectURLsfromonewebsite,andstoreURLsintodatabase.【KEYWORD】SPIDER;JAVA;BreadthFirstSearch;multi-threads.II目录第一章引言.............................................1第二章相关技术介绍...............................22.1JAVA线程...............................................22.1.1线程概述........................................22.1.2JAVA线程模型...................................22.1.3创建线程........................................32.1.4JAVA中的线程的生命周期...................42.1.5JAVA线程的结束方式..........................42.1.6多线程同步....................................52.2URL消重.................................................52.2.1URL消重的意义.................................52.2.2网络爬虫URL去重储存库设计............52.2.3LRU算法实现URL消重..........................72.3URL类访问网络......................................82.4爬行策略浅析...................................82.4.1宽度或深度优先搜索策略.................82.4.2聚焦搜索策略.................................92.4.3基于内容评价的搜索策略.................92.4.4基于链接结构评价的搜索策略.......102.4.5基于巩固学习的聚焦搜索..............112.4.6基于语境图的聚焦搜索.................11第三章系统需求分析及模块设计............133.1系统需求分析...................................133.2SPIDER体系结构....................................133.3各主要功能模块（类）设计..............143.4SPIDER工作过程....................................14第四章系统分析与设计..........................164.1SPIDER构造分析....................................164.2爬行策略分析...................................174.3URL抽取，解析和保存..........................184.3.1URL抽取..........................................184.3.2URL解析..........................................194.3.3URL保存..........................................19第五章系统实现....................................215.1实现工具..........................................215.2爬虫工作..........................................215.3URL解析...............................................225.4URL队列管理........................................245.4.1URL消重处理...................................245.4.2URL等待队列维护............................265.4.3数据库设计...................................27第六章系统测试.....................................