电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

存储能力详细方案-参考

存储能力详细方案-参考_第1页
1/7
存储能力详细方案-参考_第2页
2/7
存储能力详细方案-参考_第3页
3/7
1.1.1.1.1.1Hadoop 存储能力详细方案Hadoop 采用 HDFS 作为其底层文件存储方式。HDFS 是分布式文件系统,适合于存储大数据文件,通过将大数据文件切分成多个小数据文件,并且分散存放在多台 DataNode 服务器,同时提供数据冗余机制保证数据安全。本次 Hadoop 存储节点为:300 台 DataNode 服务节点。存储数据安全及分配机制:采用 3 备份机制保证数据安全,同时为系统保留 10%的临时数据交换空间,当数据量超过集群总容量的 90%时,建议增加节点。存储总容量:300 台数据节点,每个节点 36T 的磁盘容量,除去 10%的临时数据交换空间,同时 HDFS 中一份数据存放着 3 份备份;最终存储容量公式如下可用存储容量=节点数*单节点磁盘容量*(1-临时数据交换空间比例)三 HDFS文件备份数量;即:可用存储容量=300X36X(1-10%)F3=3240T;目录规划:针对不同的数据用途和支撑方式进行存储容量划分,存放在HDFS 中的数据分为接口层,处理层,共享层。接口层主要为原始数据,处理层为存放在 HDFS 中数据经 Hive 映射之后数据,共享层为经数据深度沉淀之后存放在 HBase 中。接口层:总容量*50%处理层:总容量*30%共享层:总容量*20%1.1.1.1.1.2Storm 存储能力详细方案Storm 流数据处理采用 linux 文件系统作为其存储,数据盘采用 raid5 保证数据安全。存储总容量为:30 台服务器,每台 36T,采用 Raid5 磁盘阵列之后,数据容量为原来的 75%,并建议预留 10%的空间;最终可用存储计算公式如下:可用存储容量=节点数*单节点磁盘容量*Raid5 后的磁盘容量比例*(1-临时数据交换空间比例);即:可用存储容量=30X36X75%X(1-10%)=729T;1.1.1.1.1.3Redis 存储能力详细方案Redis 包含平台 Redis 内存数据库和前置 Redis 内存数据库,平台 Redis 内存数据库集群用于存放 Storm 处理后数据,对外提供低延迟数据服务;前置 Redis 内存数据库存放应用级数据对外提供服务。平台 Redis 内存数据库集群:集群通过一台路由服务器根据一套算法将表的 Key 值打算后分散存放到 7 个RedisMaster 服务器中,同时每一个 Master 节点对应一个 Slave 节点保证数据安全,通过路由服务器实现高可用。存储容量为:14 台数据服务器,7 个 Master 节点,对应 7 个 Slave 节点,每一节点内存为 512G,为保证 KV 查询的高效性,建议预留 30%的空间;最终可用存储计算公式如下:可用存储容量=节点数 F 热备*单节...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

存储能力详细方案-参考

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部