大数据实训方案

大数据实训教学大纲一、实训目标 基于 Hadoop 为核心,通过实训，达成以下目的:认识大数据，认识大数据技术在新时代对企业的重要性。掌握 Linux 的基础知识和应用掌握 hadoop 集群环境的搭建。熟悉 HDFS 分布式文件系统的原理，掌握 HDFS 的 API 的开发。通过实际案例的开发，了解 MapReduce 原理，掌握 MapReduce 的开发技术。了解 Hive，学习 Hive 集群的搭建。掌握 Hive 的 DML 和 DDL 相关技术。认识 ZooKeeper，学些 ZooKeeper 集群的搭建，了解 ZooKeeper 在 Hadoop 集群中的作用.了解 HBase 原理和架构，掌握 HBase API 编程,掌握 HBase 数据的导入和导出。通过综合案例实践，掌握 Hadoop 以及相关框架的开发和应用.二、实训课程内容介绍1、 课程大纲项目实战技能培训项目阶段任务分解说明任务说明项目启动实习总动员项目管理培训 1、学生分组2、通过案例初步认识大数据技术速成Linux 入门技术培训1、Linux 简介、安装2、常用命令3、文件权限及操作4、用户及权限管理5、Linux 下搭建 Java 开发环境Hadoop 入门1、Hadoop 介绍2、Hadoop 安装配置3、hadoop 初始化和测试4、配置 ssh 免密码登陆配置和 ssh 原理HDFS1、HDFS 原理2、HDFS 的 shell 操作3、HDFS 原理4、HDFS 的 java 接口5、Hadoop RPC6、HDFS 读取数据过程 Map-Reduce1、MR 介绍2、WordCount 执行流程和代码编写3、MR 排序4、Combiner 编程5、shuffle 过程Hive1、Hive 入门安装2、DDL 数据定义语言3、DML 数据操作语言4、Hive 安装 mysql metastore5、Hive 分区表6、Hive 的 UDF7、倒排索引ZooKeeper1、ZooKeeper 介绍2、ZooKeeper 客户端使用3、hadoop 集群搭建4、Hadoop 集群测试Hbase1、HBase 入门2、HBaseJava 编程3、Hbase 架构讲解4、MR on Hbase5、Hive on Hbase6、Hbase 集群管理7、Hbase 数据导入8、Hbase 备份与恢复 项目验收准备1、 制定验收规则2、 如何制作 PPT3、 如何演说发布总结项目验收项目验收、关闭经验总结1、 项目验收与评分2、 项目关闭:总结项目经验与教训3、 职业规划