通用互联网信息采集系统设计与初步实现杜义华 及俊川(中华人民共和国科学院计算机网络信息中心 管理服务中心 ，北京 100864)摘要：通过建立网页资源库、结合 Spider 技术、内容分析技术，引入顾客数据项和替代抽取指令编辑器等，提供和定制可视化通用性较强互联网信息采集系统，能定期自动跟踪有关网站或网页，进行比较分析、抽取、规整入库、分类等从互联网上猎取所需信息。本文重要分析和简介其设计实现思路。核心词：互联网信息采集系统 网络信息挖掘 中图法分类号：TP393 文献标记码：A 文章编号：0310206Design and Implementation of a Internet Information Gather & Process SystemDU Yi-hua ，JI Jun-chuan(Dept. of OA ，Computer Network Information Center ，Chinese Academy of Science Beijing 10084,China)Abstract ： By using web page database technology 、 SPIDER searching technology and content parsing technology ， providing with User-Defined field config tool and batch Get & Replace script language editor ， We develop a flexible visual Internet Information Gather & Process System ， which according to user’s setting ， can automatic track Web 、 filter information 、 Gather information 、 extract information 、 classify information and save to database termly .This paper introduces the design and implementation of the system in detail.Keywords：Internet Information Gather & Process System ；Web Mining引言现状信息多、有用少、分布杂乱无章、不断进展变化是互联网上信息资源特点，信息来源异构性是网络信息难以采集整顿再运用焦点[1]。近年来关于 web 信息运用讨论诸多，大多集中在搜索引擎技术[2]，旨在运用先进系统和人工智能技术，以一定方略在互联网中收集、发现、理解、组织信息后为顾客提供网页、图片、软件等检索服务。互联网信息采集系统是对 Internet 上某些或某类站点进行内容分析和分类整顿，从网页中提取有效数据加工得到所需要常常是该领域绝大某些资料，是新一代网络应用方向，其不同于搜索引擎，纯智能化技术不能满足需要，不同于基于代理因特网信息猎取 WebClone系统[3]及各类离线浏览器，她们下载是页面，不能...
