Google系统架构之道

Go o gle 系统架构之道 Go o gle 是可扩展性系统设计之王。Go o gle 一直的目标就是构建高性能高可扩展性的基础设施来支持它们的产品。平台 操作系统：Linux 丰富语言：Pytho n，Java，C++现状 在 2006年大约有 450,000台廉价服务器。 在 2005年 Go o gle 就索引了 80亿 Web页面，现在没人知道具体是多少。 目前在 Go o gle 有超过 200个 GFS集群。一个集群可以有 1,000或者甚至 5,000台机器。 成千上万的机器从容量为 5 Peta字节的 GFS集群服务器中检索数据，集群总读写吞吐量可以达到 40G/秒 目前在 Go o gle 已有 6000个 MapReduce程序，而且每月有上百个新程序出现。 在 BigTable中记录了几十亿的 URL，几百 T的卫星图象和数亿用户的使用偏好。分层Go o gle 系统架构可以大致分成三层： 产品应用层：搜索，广告，电子邮件，地图，视频，聊天，博客 基础设施层：GFS，MapReduce和 BigTable 计算平台层：分布在一堆不同的数据中心中一堆机器 确保公司里的人以很小的代价、能很容易地部署起他所需要的系统 重视单个应用的成本，将更多的钱投到能防止日志数据丢失的硬件上，而不是其他什么方面。可靠的存储系统 GFS (Google File Sy stem) 建立起一个高可靠、高可扩展的存储系统是做任何应用的核心需求。GFS就是Google 使用的一个核心存储平台。 GFS -是一个大型分布式结构化的日志文件系统，Google 在里面存放了大量的数据。 为什么自建 GFS，而不是利用其他现成的产品，其主要原因是自建能对系统有更大的掌控力，且对 Google 来说，该平台还要满足自己独特的一些需求：o 实现能跨越各个数据中心的高可靠性的处理o 具有可连接千万网络节点的能力o 能提供巨大读写带宽的支持o 实现以 G 为单位的大数据块处理o 高效的跨节点操作分发技术，降低瓶颈问题的发生 GFS系统又分 Master和 Chunk服务器o Master服务器负责存放能指示各种数据文件属性的元数据。这些数据以 64MB为单位存储在文件系统中。客户程序通过与 Master服务器对话，获知用户需要数据都存放在那些Chunk服务器中。o Chunk服务器是系统实际存放数据地方。每个 Chunk通常会被复制到 3个不同的 Chunk服务器上以防止某台服务器出现问题。一旦从 Master服务器上得到指示，客户程序就会直接从 Chunk服务器读取文件。 一个新上线应用即可以使用已有的 GFS集...