山东建筑大学课 程 设 计 成 果 报 告题 目: 基于 Python 得网络爬虫设计课 程: 计算机网络 A院 (部): 管理工程学院专 业: 信息管理与信息系统班 级: 学生姓名:学 号: 指导老师: 完成日期: 目 录1 设计目得.....................................................................................................................12 设计任务内容 ............................................................................................................. 0 3 网络爬虫程序 总体 设计 ............................................................................................. 0 4 网络爬虫程序 详细 设计 ............................................................................................ 0 4 、 1 设计环境与目标分析 ........................................................................................ 0 4 、 1 、 1 设计环境 .................................................................................................. 0 4 、 1 、 2 目标分析 .................................................................................................. 0 4 、 2 爬虫运行流程分析 ............................................................................................ 1 4 、 3 控制模块详细设计 ............................................................................................ 1 4 、 3 爬虫模块详细设计 ............................................................................................ 2 4 、 3 、 1 URL 管理器设计 ..................................................................................... 2 4 、 3 、 2 网页下载器设计 ...................................................................................... 2 4 、 3 、 3 网页解析器设计 ...................................................................................... 2 4 、 4 数据输出器详细设计 ........................................................................................ 3 5 调试与测试 .............
