云计算第二章总结

Google 云计算技术包括：Google 文件系统 GFS、分布式计算编程模型 MapReduce、分布式锁服务 Chubby、分布式结构化数据表 Bigtable。简述谷歌文件系统 GFS：GFS 是 一 个 大 型 的 分 布 式 文 件 系 统 ， 它 为 Goole 云 计 算 提 供 海 量 存 储 ， 并 且 与Chubby、MapReduce 及 Bigtable 等技术结合十分紧密,处于所有 核心技术的底层。GFS 将整个系统的节点分为哪几类角色：Client(客户端)、Master（主服务器）、Chunk Server(数据块服务器）。Master 是 GFS 的管理节点,在逻辑上只有一个，他保存系统的元数据，负责整个文件系统的管理,是 GFS 文件系统中的“大脑”。Chunk Server 负责具体的存储工作.数据以文件的形式存储在 Chunk Server 的个数可以有多个，他的数目直接决定了 GFS 的规模。GFS 将文件根据固定大小进行分块，默认是64MB，每一块称为一个 Chunk（数据块），每个 Chunk 都有一个对应的索引号(Index）。GFS 具有哪些特点:1、采纳中心服务器模式：GFS 采纳中心服务器模式管理整个文件系统,增加新的 Chunk Server 是一件非常容易的事情.2、不缓存数据：缓存机制是提升文件系统的性能的一个重要手段，通用文件系统为了提高性能，一般需要实现复杂的缓存机制。GFS 文件系统根据应用的特点,没有实现缓存,因为 GFS 的数据在 Chunk Server 上是以文件的形式存储.3、在用户态下实现4、只提供专用接口GFS 容错机制包含：1、Master 容错：Master 上保存了 GFS 文件系统的三种元数据.（1）、命名空间，也就是整个文件系统的目录结构。（2）、Chunk 与文件名的映射表（3）、Chunk 副本的位置信息，每一个 Chunk 默认有三个副本。前两种 GFS 通过操作日志来提供容错功能。第三种直接保存各个 Chunk Server 上，当 master 发生故障时，迅速恢复以上元数据。为了防止 master 彻底死机,GFS 提供了 master 远程的实时备份。2、Chunk Server 容错：GFS 采纳副本的方式实现其容错。假如相关副本丢失或不可恢复，master 自动将副本复制到其他 Chunk Server。GFS 把每一个文件划分成多个 Chunk,GFS 系统管理技术：1、大规模集群安装技术 2、故障检测技术 3、节点动态加入技术 4、节能技术分布式数据处理 MapReduce：什么是 MapReduce？Map（映射）Reduce（化简)是 Google 提出的一个软件架构，是一种处理海量数据的并行编程模式，用于...