图片存储服务器 1、存储架构 同时,客户对图片的访问比较频繁。因此,图片存储服务器必须采用 CDN 分布式、分级处理热点数据、专业缓存层、防盗链功能,从架构上尽量减少读取图片所需的 I/ O 操作次数。 CDN分布式Web服务器(SOAP,REST,WebDAV接口)NFS/CIFS、GlusterFS硬件设备(SSD、SAS、FC、SATA盘)分级存储缓存、负载均衡存储策略服务接口元数据管理器(数据库) 2、接口协议 从 w eb 页面上,上传的文件直接根据 GFS 接口协议将图片存入 GFS 系统中,用户可以通过 GFS 可以自主选择存储备份情况,这样即使某块磁盘死掉并不会造成图片丢失。 GFS 访问接口协议的制定: GFS 访问接口的编写: 3、目录存储规则 前端存储使用的域名一直保持不变,后端存储目录对用户是透明的,当存储或访问图片时,通过目录规则,请求将访问后台不同的存储服务器。 当存储空间随着时间增加达到系统的空间/负载的瓶颈。GFS 定期启用新的存储节点。 4、重 点:自动 数据分层技 术 分层存储是根据数据的重 要 性 、访问频率 、保留 时间、容 量、性 能等 指 标 ,将数据采取不同的存储方 式分别 存储在 不同性 能的存储设备上,通过分级存储管理实 现 数据在 存储设备之间的自动迁移,即把那些不常被访问的数据或过时的数据转移到速度较慢、成本较低的存储介质上,例如 SATA 磁盘,以此来降低硬件成本;而把那些经常被访问或重要的数据放在速度较快、成本较高的光纤磁盘甚至固态硬盘(SSD)上,以此来提升性能。因此如何将各个级别存储中数据统一管理起来便成了最为关键的问题。 图 自动存储数据分层架构 自动分层存储主要抛弃了分层存储中甄别数据和迁移数据的人工操作,而实现了智能化和自动化,自动实现对热点数据的甄别和迁移: (1 )存储层次的确定:硬盘架构和文件系统 性能高低和上层文件 IO 需求是用来界定存储层次的关键指标。 硬盘架构:当上层要求访问某些数据的时候,应当具有较高的并发度,而不是高带宽,所选择的硬盘架构应该是 RAID5 而不是 RAID3; 文件系统:当大量的文件平均尺寸小于 1KB 时,所选用的文件系统 BLOCK SIZE 应该为 1KB 而不是 4KB。 潜在问题: (1)数据管理层自动利用 SSD 来加快 I/O 和减少延迟性,但整个环境的其他部分必须足够快才能够充分利用它的优点; (2)如果数据被以近似均匀的频率访问,则数据分层会异常困难和复杂; (3)数据...