第二讲+Hadoop综述

Hadoop 综述Dong主要内容2第一篇 HDFS 分布式文件系统第二篇 MapReduce 第三篇 Hbase 简单介绍第一篇 HDFS3一： The Design of HDFS二： HDFS Concepts三：应用程序示例四： Data Flow第一篇 HDFS 分布式文件系统1 The Design of HDFSVery large files大数据集合为目标数以千万计的文件典型文件大小一般都在千兆至 T 字节Streaming data access write-one-read-many 访问模型 文件创建、写，关闭之后不需要改变简化数据一致性 适合 MapReduce 框架，或者 web crawlerCommodity hardware 错误检测和快速、自动的恢复是 HDFS 的核心架构目标1 The Design of HDFSLow-latency data access流式读为主比之关注数据访问的低延迟，更关键在于数据访问的高吞吐量arbitrary file modifications严格要求在任何时候只有一个 writer 在文件尾在异构的软硬件平台间的可移植性移动计算Java 编写2 HDFS ConceptsblocksNamenodes and DatanodesThe Command-Line Interface通信接口2.1 HDFS Concepts-blocksfiles in HDFS are broken into block-sized chunks(64 MB by default) 1.减少元数据的量2.有利于顺序读写（在磁盘上数据顺序存放）3.副本的默认数目是 3a file can be larger than any single disk in the network.making the unit of abstraction a block rather than a file simplifies the storage subsystem. 2.2 HDFS Concepts-Namenodes and DatanodesBasic modelNamenodeDataNode心跳机制2.2.1 HDFS Concepts-Namenodes and Datanodes- Basic model Basic model ：Master / Slaves / Client Corresponding implementation: Master– NameNode Slaves–DataNodes Client –DFSClient 2.2.1 HDFS Concepts-Namenodes and Datanodes- Basic model查看块信息 hadoop fsck –files –blocks部分运行结果2.2.2 HDFS Concepts-Namenodes and Datanodes- NameNodemanages the filesystem namespace元数据信息包括：文件信息，根目录 hdfs://master:9000/每一个文件对应的文件块的信息每一个文件块在 DataNode 的信息persistent state of the filesystem metadata. Namenode folders structureNamenode n...