Hadoop 平台搭建方案 一、Hadoop 简介 Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台。以 Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和 MapReduce（Google MapReduce 的开源实现）为核心的 Hadoop 为用户提供了系统底层细节透明的分布式基础架构。 对于 Hadoop 的集群来讲，可以分成两大类角色：Master 和 Salve。一个 HDFS集群是由一个 NameNode 和若干个 DataNode 组成的。其中 NameNode 作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce 框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任 务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个 Job 被提交 时，JobTracker 接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控 TaskTracker 的执行。 从上面的介绍可以看出，HDFS 和 MapReduce 共同组成了 Hadoop 分布式系统体系结构的核心。HDFS 在集群上实现分布式文件系统，MapReduce 在集群上实现了分布式计算和任务处理。HDFS 在 MapReduce 任务处理过程中提供了文件操作和存储等支持 ，MapReduce 在 HDFS 的基础上实现了任务的分发、跟 踪 、执行等工 作，并收集结果 ，二 者 相 互 作用，完 成了 Hadoop 分布式集群的主要 任务。 二 、系统安 装 及 日 常 维 护 须 知 服务器型 号 ：IBM X3850 X5 1.平时操作注 意 事 项 ： 机 器上安 装 的有 CentOS_6.4_64 位 操作系统和 Windows server 2000 操作系统。 当重新启 动 时，想 进 入 CentOS 系统，需 要 先 插 上 CentOS 的 U 盘 启 动 盘 ，然后F12 选 择 从 USB 设 备 启 动 ，系统就会自 动 进 入CentOS 系统。 若不插U 盘 启 动 盘 ，系统将会自 动 进 入 机 器上原 来的 windows server 2000系统。不会像 普 通 个人 计算机 那 样 出现操作系统选 择 的界 面。 2.U 盘 启 动 盘 制 作方 式： 由于此 服务器不支持 CentOS 的系统引 导 ，安 装 的时候 不识 别 CentOS6.4_64位 系统光 盘 。于是采 用将系统...
