下载后可任意编辑《大数据技术与应用基础》教学大纲学 时：60代 码：适用专业：制 定： 审 核：批 准： 一、课程的地位、性质和任务大数据技术的进展，已被列为国家重大进展战略。而在过去的几年里，无论是聚焦大数据进展的《促进大数据进展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用进展的重视。目前国内大数据进展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术讨论的热情越来越高，在未来几年，各领域的数据分析都将大规模应用。本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具 。考虑到当前大数据进展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各种类型工具的特点和应用。二、课程教学基本要求1. 了解大数据的进展和基本概念，理解并掌握大数据的特征及主要技术层面。2. 掌握 Scrapy 环境的搭建，了解网络爬虫猎取数据的过程，熟悉爬虫项目的创建。3. 深刻了解 hadoop 的基础理论，理解并掌握 Hadoop 单机及集群环境的部署方法。4. 掌握 HDFS 的基本概念和 HDFS 在 hadoop 中的作用，理解并识记 HDFS 的使用，了解 HDFS 的JAVA API 接口及数据流原理；让学生明白 Map 过程与 Reduce 过程这两个独立部分各自的原理及合作途径，知道如何独立编写满足自己需求的 MapReduce 程序。5. 理解 HBase 中涉及的基本概念，掌握 HBase 的简单应用；让学生了解数据仓库的基础概念，熟悉 Hive 与 HDFS、MapReduce 直接的关怀。6. 熟悉 Spark 和 RDD 的基本概念，熟悉 spark 接口的使用，解决实战时的步骤及思路。7. 明白 Hadoop 和 Storm 之间的差别，掌握对 Storm 的使用。理解 Apex 的工作过程并能简单应用。8. 了解 Druid 的基本概念、应用场景以及集群架构，掌握批量数据加载、流数据加载的操作。了解 Flink 的重要概念和基本架构，掌握 Flink 简单的使用实例。9. 理解 Elasticsearch 的基本架构，掌握 Elasticsearch 的一些入门操作。了解并基本掌握怎样利用所学的工具对目标实例进行数据分...
