《大数据处理与云计算》教学大纲

《大数据处理与云计算》教学大纲课程类别:专业教育课 课程名称：大数据处理与云计算开课单位：信息与通信工程学院 课程编号：N03050703总 学 时:40 学 分:2。5适用专业：信息工程专业先修课程：无一、课程在教学计划中的地位、作用大数据处理与云计算是信息工程专业高年级学生开设的一门专业教育课。本课程主要学习大数据处理和云计算的相关原理和技术，根据实际需求,构建相应的大数据处理和云计算平台框架.通过本课程学习，使学生掌握大数据的采集、传输、处理和应用的技术，了解 Hadoop 分布式系统基础架构，掌握 HDFS 和 MapReduce 技术。了解 HBase、Hive、Zookeeper、Avro、Pig 等相关大数据技术，与实际工程应用相结合,构建相应的云计算平台。教学应当结合实际实验条件，培育学生实践动手能力，了解大数据技术进展现状，促进大数据相关教学改革。二、课程教学内容、要求及学时分配第一章 大数据与云计算概况1、了解大数据概念2、了解大数据的产生、应用和作用3、了解云计算技术的概述4、了解云计算的特点及技术分类5、了解大数据与云计算、物联网之间的关系第二章 大数据处理与云计算的关键技术1、理解大数据处理的基本流程2、掌握大数据的关键技术3、理解大数据的处理工具4、了解大数据面临的挑战5、理解云计算及关系型数据库第三章 Hadoop1、了解Hadoop概述2、了解 Hadoop进展简史3、理解Hadoop的功能与作用4、了解 Hadoop的优缺点5、了解Hadoop的应用现状和进展趋势6、掌握Hadoop项目及其结构7、掌握Hadoop的体系结构8、掌握HDFS的体系结构第四章 MaReduce1、理解分布式并行编程2、理解MapReduce模型概述3、掌握Map和Reduce函数4、掌握MapReduce工作流程5、掌握并行计算的实现6、掌握新的 MapReduce 框架：Yarn7、理解新旧 Hadoop MapReduce 框架的对比第五章 HDFS1、理解HDFS的假设与目标2、理解HDFS的相关概念3、掌握HDFS体系结构4、掌握HDFS命名空间5、掌握HDFS存储原理6、掌握通讯协议7、理解数据错误和异常8、理解从 HDFS 看分布式文件系统的设计需求第六章 Zookeeper1、了解Zookeeper简介2、掌握Zookeeper的工作原理3、理解Zookeeper的数据模型第七章 HBase海量实时处理实战技巧1、理解HBase简介和架构2、掌握HBase核心知识点3、掌握HBase高级应用4、理解HBase应用场景5、理解HBase常用接口和SQL引擎层实战6、理解基于Hadoop V1和V2使用HBase的异同第八章 基于Hadoop V2的Hive/Pig开发技巧1、理解...