“py thon 爬虫”课程标准 一、课程性质 本课程是大数据技术与应用专业的一门专业核心课（技术技能课），旨在对学生的程序设计思想和技能进行强化，培养学生利用主流scrapy框架进行爬虫项目的设计和开发的能力。 先导课程：web 应用开发技术、python 基础、数据库基础 建议学时： 二、设计思路 本课程依据网页爬虫开发岗位的PGSD 能力要求而设置，主要工作时根据需求进行数据采集，获得有效数据，课程对应的职业能力分析具体如表1-1 所示。 表1-1 “python 爬虫”课程对应PGSD 能力要求 能力类别 编号 内容 职业能力 P-A1.1 明确爬虫的目的、主题 P-A1.2 明确爬虫的数据，含字段、时间范围等 P-A1.3 明确爬虫的步骤、工具 P-A2.1 能够使用ullib 实现网页下载 P-A2.2 能够使用正则表达式获取网页数据 P-A2.3 能够使用beautifulsoup 工具选择数据 P-A2.4 能够使用xpath、css 选择数据 P-A2.5 能够使用scrapy 编写网页爬虫程序 P-A2.6 能够使用item、pipeline 实现数据序列化与存储 P-A2.7 能够使用scrapy 实现网页递归爬取 P-A2.8 能够进行网站爬虫程序综合开发 通用能力 G-A1 具备信息收集和信息处理能力 G-A2 具备结构化思维和数据化思维能力 G-A3 具备一定的互联网和网页知识 G-A4 具备一定的数学素养 G-A5 具 备 良 好 的 语 言 表 达 能 力 和 沟 通 能 力 G-A6 对 数 据 具 有 敏 感 性 ， 有 一 定 的 设 计 和 创 新 能 力 G-A7 具 有 健 康 的 体 魄 和 积 极 的 心 态 ， 具 有 一 定 的 抗 压 能 力 社 会 能 力 S-A1 具 备 法 律 意 识 ， 能 自 觉 遵 守 相 关 法 律 、 行 业 规 范 和 企 业 规 章 制 度 ， 保 守 企 业 商 业 机 密 S-A2 遵 守 互 联 网 安 全 意 识 和 伦 理 道 德 ， 能 防 范 信 息 泄 露 ， 保 护 数 据 安 全 S-A3 具 备 团 队 意 识 ， 能 有 效 地 与 其 他 部 门 沟 通 S-A4 具 有 环 境 适 应 能 力 ， 耐 心 细 致 的 工 作 态 度 ， 精 益 求 精 的 工 匠 精 神 发 展 能 力 D-A1 具 备 互 联 网 思 维 能 力 和 数 据 产 品 能 力 D-A2 具 备 创 新 意 识 ， 并 在 工 作 或 创 业 中 灵 活 应 用 D-A3...
