基于主题网络爬虫的信息数据采集方法的讨论与应用 互联网上的各种信息以数百万级的方式增长着,而这些信息又大多是散乱分布的，无法满足人们所要求的整合信息分析的需求,传统的采集和收集方法又很难满足要求。因此本文提出利用主题网络爬虫的概念和方法，运用正则表达式去匹配出网页中所需要的特定信息数据，有效的增强爬虫程序的适用性、缩短用户猎取信息的时间。并将此方法应用于二手房信息数据采集中，包括价格、户型、楼层等基本数据,建立起了一个统一的二手房数据库。 【关键词】主题网络爬虫 正则表达式 二手房 1 引言 互联网上的信息数据以爆炸式的方式增长着，而这些信息数据内容又大多是基于页面形式的,其中包含一些非结构化的数据,如文字、图像、视频等。假如只是采纳人工化的方式对信息数据进行采集,已经很难满足人们的要求了。因此有必要采纳某种技术或手段从互联网上自动采集信息数据. 网络爬虫能实现对互联网信息数据的自动采集，从而弥补了人工采集的缺陷。网络爬虫是随着搜索引擎进展而产生的一种通用信息采集技术，是搜索引擎中的核心部分,它根据用户要求从互联网上下载网页,尽可能多的抓取网页中的相关链接和内容,并能沿着链接继续爬行，是一种能力强大的信息采集程序. 2 主题网络爬虫 主题网络爬虫是在通用网络爬虫的基础上进行的延伸，根据某一领域内特定的主题进行相关信息的查询,搜索互联网抓取下载网页，从网页中采集相关信息数据和超链接.它并不会访问所有的网页，而是在访问前就推断超链接、锚文本、文本等与主题的相关度，根据相关度的高低来决定访问的优先级顺序. 主题网络爬虫的主要思想就是:把用户搜索的查询词作为主题，从选定的初始 URL 出发,访问网页中的所有超链接,根据某种搜索策略对这些URL 进行主题相关度预测，将符合要求的 URL 加入待访问队列中，并根据某种优先级排序从队列中抽取 URL 来作为下一次要访问的对象，根据这种规律执行下去，直到待访问队列为空或者满足某种停止条件为止. 3 基于主题网络爬虫的信息数据采集方法与应用 通过分析网站页面时发现，页面中关于某一项主题的结构和框架都是一样的，因此可以考虑运用正则表达式去匹配出页面中我们所需要的链接和内容.下面以安居客网站为例进行二手房数据的采集。 3.1 网站页面分析 3。1.1 链接地址页面分析 通过观察安居客青岛市二手房的房源列表，我们发现,每一条房源信息的组织结构是一样的,如房源地址的链接是上下结构排...
