北京理工大学珠海学院 2020 届本科生毕业设计数据科学—基于机器学习的数据分析数据科学—基于机器学习的数据分析摘要Web 网页数据挖掘技术在上个世纪 80 年代早就已经有了初步的研究，随着互联网的迅速开展和大规模数据时代的开展，从“冰山一角”的大量数据中寻找潜在有用的价值信息，数据挖掘技术起到了不可忽视的作用，并成为当下最抢手的钻研热点之一。近年来，该技术快速进步，在工程、医学与科学等多种行业都取得了巨大的成果，其研究价值也随之增高。随之传统的 Web 爬虫技术也称为网页机器人或者网页蜘蛛，它是一个对网页数据进行批量的下载的程序。面向传统的 Web 页面的网络爬虫通常采用的方式是对网页中的超链接关系的对外进行扩展，从而获取整个互联网中页面的信息。基于 python 的 Web 爬虫需要对网站中的各个节点之间的进行研究，以便获得整个网站的节点关系图。在网络爬虫开发中，Python 是最为普遍运用的设计言语。Python 在爬虫设计中具备特殊的优势，其丰厚的开源库和优异的代码封装使得 Python 爬虫逐步成为了潮流。I北京理工大学珠海学院 2020 届本科生毕业设计本次毕业设计就是在这个背景下进行的，主要采用了 python 语言设计程序，其丰富的库函数能够找出网页的 xml 结构，并运用正则表达式对数据进行筛选。最后将数据存入 mysql 数据库展开保存，方便后续的操作。本文旨在方便考研调剂挖掘，为考研学子以后咨询信息提供了一条更加便捷和可行的方法。关键词：数据挖掘；考研；python；爬虫II北京理工大学珠海学院 2020 届本科生毕业设计AbstractWeb page data mining technology has already had preliminary research in the early 1980s. With the rapid development of the Internet and the development of large-scale data era, it is looking for potentially useful value information from the large amount of data in the "Iceberg". Data mining technology has played a role that cannot be ignored, and has become one of the most sought-after research hotspots. In recent years, the technology has made rapid progress and has achieved great results in various industries such as engineering, medicine and science, and its research value has also increased...
