hadoop原理浅析及安装

ｈ a ｄｏ op 原理浅析及安装经过几天得测试,ｈａｄ oo ｐ分布式系统搭建完毕。首先说一下这几天对 ha ｄ o ｏ p 理论知识得理解,然后说一下安装及碰到得问题。有图有真相 第一：理论知识： 什么就是ｈ a ｄ oop: 由三部分组成：HDF Ｓ,MapR ｅｄ uc ｅ与 Hb ａ se。 维基百科这样说:一个分布式系统基础架构，由Ａ pac ｈ e 基金会开发。用户可以在不了解分布式底层细节得情况下，开发分布式程序。充分利用集群得威力高速运算与存储。这里面关键就就是高速运算与海量存储。我们首先讲海量存储,这个比较有意思,一会儿再说高速运算。 海量存储: H ＤＦＳ＜H ａｄ o ｏｐ D ｉ s ｔ ributed > 前身来自 g ｏ o ｇ le 得一篇博文，所以自身带有浓厚得互联网色彩,比如读多于写得特性,高度得扩展性。 具体说一下她得特性: 图 1：HD Ｆ S 结构示意图 <抄自 岑文初＞上图中展现了整个 H Ｄ FS 三个重要角色:Nam ｅ Node、Da ｔａ Nod ｅ与 Clien ｔ。NameNode可以瞧作就是分布式文件系统中得管理者,主要负责管理文件系统得命名空间、集群配置信息与存储块得复制等。N ａ meN ｏ d ｅ会将文件系统得 Met ａ-data 存储在内存中,这些信息主要包括了文件信息、每一个文件对应得文件块得信息与每一个文件块在 Dat ａ Node 得信息等。D ａt ａ Node 就是文件存储得基本单元,它将 Block 存储在本地文件系统中,保存了 Bloc ｋ得 Meta-ｄat ａ，同时周期性地将所有存在得 B ｌ o ｃｋ信息发送给 NameNode。Clie ｎ t 就就是需要猎取分布式文件系统文件得应用程序。这里通过三个操作来说明她们之间得交互关系。 文件写入:oClient 向 NameNode 发起文件写入得请求。oNa ｍ eN ｏｄｅ根据文件大小与文件块配置情况，返回给 C ｌｉ e ｎ t 它所管理部分ＤataNode 得信息。oC ｌ i ｅ n ｔ将文件划分为多个 B ｌｏ ck,根据 D ａｔ aNo ｄ e 得地址信息，按顺序写入到每一个 DataN ｏｄ e 块中。文件读取:oClient 向 Nam ｅ Nod ｅ发起文件读取得请求。oN ａ m ｅ N ｏ de 返回文件存储得Ｄ ata Ｎ ode 得信息。oClient 读取文件信息。文件 Bl ｏ ck 复制:oNameNo ｄ e 发现部分文件得 Bloc ｋ不符合最小复制数或者部分 DataNo ｄ e 失效。o通知 D ａ t ａＮ o ｄ e 相互复制 Bl ｏｃ k。o...