海量视频数据存储、检索、提取目录1.海量视频存储背景：...........................................................................................................32.海量视频存储DFS：.............................................................................................................32.1DFS工作机理..............................................................................................................32.2DFS技术特点..............................................................................................................43.开源Hadoop分布式存储系统.............................................................................................63.1Hadoop简介................................................................................................................63.2HDFS的实现................................................................................................................73.3Mapreduce的实现......................................................................................................84.分布式系统Hadoop平台的密文存储检索方案.................................................................94.1方案简介.....................................................................................................................94.2系统架构...................................................................................................................104.3实现细节...................................................................................................................111.海量视频存储背景：安防技术的进步之快是有目共睹的，图像高清化，传输网络化、存储云化，应用智能平台化等，行业专用视频监控网络和快速发展的家庭安全防范服务领域将很快成为下一个市场重点，随着市场重心的转移，为适应新的市场特点和需求，技术和方案也在悄然的发生变化。随着安防视频监控系统技术的进步和规模的增长对存储的要求也在发生深刻的变化，对存储系统的容量、扩展性、性价比、性能、管理性、稳定性等都提出了新的要求，传统的存储方式已经不能满足要求。为满足安防视频监控的新要求，解决城市级海量视频数据存储、检索难题，以视频、图片文件存储和管理为核心的面向大规模数据密集型应用的、可伸缩的分布式文件系统DFS(DistributedFileSystem)被提出。2.海量视频存储DFS：2.1DFS工作机理DFS它通过分布式集群架构将网络中普通PC、通用服务器及各种存储设备集合起来协同工作，并通过专用数据接口，向用户提供海量数据存储、管理和访问服务。部署方式上支持全网分散部署，或在数据中心集中部署。存储介质支持普通硬盘及通用存储设备。在普通PC或通用服务器集群上部署的DFS可以达到NAS/SAN的冗余及可靠性，同时又能提供NAS/SAN无法达到的高吞吐量及强大的水平扩展能力。DFS通过元数据和存储数据分离，控制流和数据流分离，通过负载均衡和数据并发访问策略，在普通硬件条件下获得高效的传输速率以及PB级的存储容量，DFS针对音视频文件进行特别优化，支持分布式集群架构下的音视频文件帧级别的查询及定位。为安防视频监控实现智能分析、智能检索奠定基础。2.2DFS技术特点2.2.1多服务器同时对外服务DFS性能优异，支持高并发、带宽饱和利用。云存储系统将控制流和数据流分离，数据访问时多个存储服务器同时对外提供服务，实现高并发访问。自动均衡负载，将不同客户端的访问负载均衡到不同的存储服务器上。系统性能随节点规模的增加呈线性增长。系统的规模越大，云存储系统的优势越明显,没有性能瓶颈。有利于超大规模城市级监控网络的形成。2.2.2多数据块副本实现冗余高度可靠，采用多个数据块副本的方式实现冗余可靠，数据在不同的存储节点上具有多个块副本，任意节点发生故障，系统将自动复制数据块副本到新的存储节点上，数据不丢失...
