长春贝福科技开发有限公司 基于 Lu stre I/O 大文件存储解决方案 Lu stre 文件系统 长春贝福科技开发有限公司 一、什么是 Lu stre 文件系统 Lu stre 是 HP， Intel，Clu ster File Sy stem 公司联合美国能源部开发的 Linu x集群并行文件系统。该系统目前推出 1.0 的发布版本，是第一个基于对象存储设备的，开源的并行文件系统。其结构如图所示，它由客户端，两个 MDS，OSD 设备池通过高速的以太网或 QWS Net 所构成。目前可以支持 1000 个客户端节点的 I/O 请求，两个 MDS 采用共享存储设备的 Activ e－Standby 方式的容错机制，存储设备跟普通的，基于块的 IDE 存储设备不同，是基于对象的智能存储设备。Lu stre 采用分布式的锁管理机制来实现并发控制，元数据和文件数据的通讯链路分开管理。 Lustre系统结构图 长春贝福科技开发有限公司 二、 Lu stre 应用领域 Lustre 是面向集群的存储架构，它是基于 Linux 平台的开源集群（并行）文件系统，提供与 POSIX 兼容的文件系统接口。Lustre 两个最大特征是高扩展性和高性能，能够支持数万客户端系统、PB 级存储容量、数百 GB 的聚合 I/O 吞吐量。Lustre 是 Scale-Out 存储架构，借助强大的横向扩展能力，通过增加服务器即可方便扩展系统总存储容量和性能。Lustre 的集群和并行架构，非常适合众多客户端并发进行大文件读写的场合，但目前对于小文件应用非常不适用，尤其是海量小文件应用 LOSF（Lots Of Small Files）。Lustre 广泛应用于各种环境，目前部署最多的为高性能计算 HPC，世界超级计算机 TOP 10 中的 70%，TOP 30中的 50%，TOP 100 中的 40%均部署了 Lustre。另外，Lustre 在石油、天然气、制造、富媒体、金融等行业领域也被大量部署应用。 三、Lu stre Stripe Lustre 采用对象存储技术，将大文件分片并以类似 RAID0 的方式分散存储在多个 OST 上，一个文件对应多个 OST 上的对象。Lustre 系统中，每个文件对应MDT 上的一个元数据文件，inode 以扩展属性记录了数据分片布局信息，包括stripe_count（对象数）, stripe_size（分片大小）, stripe_offset（起始 OST）以及每个 OST 对象信息。当客户数据端访问文件时，首先从 MDS 请求文件元数据并获得分片布局信息（stripe layout），然后直接与多个 OST 同时交互进行并发读写。Lustre 这种数据分片策略，提高了多用户访问的并...
