通用大数据存储与分析处理平台总体建设方案(Hadoop)I目录1.................................................................................................................................Hadoop11.1概述....................................................................................................11.1.1Hadoop能做什么.....................................................................11.2特点....................................................................................................11.3软件设计.............................................................................................11.3.1Hadoop中的文件格式.............................................................11.3.2机架感知................................................................................101.4Hadoop知识学习篇..........................................................................111.4.1RPC.......................................................................................111.4.2Avro、Thrift...........................................................................111.4.3Java接口...............................................................................111.4.4FileSystem总结.......................................................................11.4.5文件读取过程/文件写入过程....................................................41.4.6Hadoop均衡器........................................................................11.4.7Hadoop存档............................................................................11.4.8数据完整性..............................................................................31.4.9压缩.........................................................................................41.4.10.............................................................................................序列化【优点】61.4.11......................................................................................................序列化框架111.4.12.............................................MapReduce过程中的序列化与反序列化201.4.13...........................................................................................√HDFS数据结构251.4.14..........................................................................................MapReduce框架261.4.15.................................................................................MapReduce工作机制391.4.16........................................................................................推测执行【优点】421.4.17.......................................................................................重用JVM【优化】431.4.18.....................................................................................................................IDS431.4.19..........................................................................................................输入格式431.4.20..........................................................................................................输出格式151.4.21...............................................................................................................计数器201.4.22........................................................................................................√排序技术241.4.23.................................................................................................................√连接331.4...
