分布式存储技术架构方案在线存储近线存储校期归档存储1. 需求分析1・1•应用数据流逻辑架构如下图表示，整个系统应用数据流结构。根据数据流和应用情况，得出下面要求:1）用于存放流数据的存储分为在线、近线和长期归档三部分，容量需求分别不低于 150TB、600TB 和 4PB；2）另有用于管理和索引的数据库、以及服务器虚拟化数据，各占5TB 的空间，共 10TB 空间；3）在线数据保留 7 天（可根据要求进行灵活修改），7 天后自动迁移到近线存储（采用廉价磁盘）；迁移后，对应用访问的路径不变。更长时间的数据（如 100 天），将按照策略归档到离线光盘库设备；4）流数据的性能需求o 在线存储能够支撑 3 路 200MB/s 写入流、12 路 100MB/s 写入流和 15 路 lOOMB/s 读取流，即近 2GB/S 持续写和 1.5GB/S 持续读的并发读写需求。o 在线到近线的迁移速度，应达到 2OOMB/s。o 近线存储读取速度，可以达到单路 80MB/S,支持大于 15 路读，总共 1.2GB/s 读。5）自动解决在线存储上的碎片问题，保证性能；1.2.需求分析1.2.1. 管理数据库和虚拟化数据融合部署流数据为典型的顺序 I/O,OLTP 类型管理数据库根据程序类型，存在随机和顺序 I/O 多种情况，服务器虚拟化在存储介质中表现为封装好的文件，具备空间局部性特征。国际主流数据中心建设模式倾向扁平化、大二层组网，融合架构兼具可控性和高扩展性，因此建议合并部署。1）流数据部署在高性能分布式存储-提供极高的 I/O 吞吐性能,并按照在线、近线和离线三部级存储进行署。下面的文字将主要对这部分需求进行讨论和分析。2）管理数据库部署在通用磁盘阵列存储上，提供高效的 OLTP性能、集成于应用的管理和数据保护功能。这部分存储容量需求为 5TB,主流的企业级存储都可满足要求。3）服务器虚拟化部署在高性能分布式存储上，充分利用分布式存储性能优势和数据多副本优势,提供高可靠的集群文件系统功能。由于虚拟化服务器主要使用计算资源，而分布式存储 I/O 需求较大，有效利用技术优势，利用 Hypervisor 底层充分整合分布式存储，构建智能的软件定义的数据中心。1.2.2.在线和近线存储性能分析在线存储可用容量需求为 150TB。性能方面，用于生产的性能需求为：并发达到 1.8GB/S 的持续写入和 1.5GB 的持续读取。1、近线存储性能指标：这就要求，近线存储能够满足以下的并发 I/O 要求：1.8GB/S 的写入，同时还有 1.2GB/s 的读取，以及向磁带库（三级存...
