2024年大数据存储架构和算法研究综述VIP免费

龙源期刊网http://www.qikan.com.cn大数据存储架构和算法研究综述ﻫ作者:杨俊杰廖卓凡冯超超来源:《计算机应用》20１6年第09期摘要:随着大数据计算需求的增长，集群的处理速度需要得到快速的提升,然而目前大数据处理框架的处理性能已逐渐满足不了这种快速增长的需求。由于集群的存储架构是分布式存储,因此数据的存放在大数据处理过程中成为影响集群的处理性能的因素之一。首先,对当今的分布式文件存储系统的结构进行了介绍;接着,根据不同的优化目标,例如减少网络负载、负载均衡、降低能耗和高容错性等,对近年国内外大数据存储算法的研究进行了总结,分析和对比了已有算法的优点以及存在的问题;最后,对大数据存储架构和优化算法设计的挑战和未来研究方向作了展望。关键词：大数据;数据部署;分布式文件系统;ＭapＲedｕce;Hadｏｏp中图分类号:TP3９3文献标志码:AAｂstract：Wｉｔhthｅgｒowiｎgdemandofbigdatacomputing,theproceｓｓiｎgｓpｅedｏｆthecluｓterｎeedstobeｉmpｒｏｖedrapｉｄly.Hoｗｅver，theprｏceｓsingpｅrfｏrmaｎcｅｏfｔheｅｘｉｓtｉｎgbｉgｄａtaframeｗoｒkcannotsaｔisｆｙthｅreqｕiremｅntｏfｔｈecoｍｐutingdeｖeｌopmentgradｕalｌy.Aｓtheframｅｗｏrｋofthestｏraｇeiｓdistribｕtｅｄ，theｐlaｃemeｎtoｆdatａｔobｅprｏcessedhａsbecomeoneoftｈeｋeｙfａctｏrsａfｆectｉnｇthepeｒfｏrｍanceofｔhｅｃｌuｓter.Ｆirstｌｙ,ｔhecｕrrentdistｒibutedｆｉlｅsyｓtｅmstructurewａsｉntｒoduced.Thenthepｏpulaｒｄａtapｌａceｍenｔalgｏｒｉtｈmsweｒesumｍａriｚedａｎｄclaｓｓiｆiedaccordingtoｄifｆeｒｅntoptimiｚaｔiongoals，ｓuchasnetworklｏａｄbａlance,enerｇyｓavingandfauｌttoleranｃe.Finaｌly，futurｅcｈaｌlｅngesandreｓearｃhdｉrecｔｉonsｉｎthｅarｅａofｓtｏraｇefrａｍeｗｏrkaｎｄalgorithｍswｅreｐresented.英文关键词Ｋeywｏｒｄｓ：ｂigdａｔa;dａｔaplacemｅnｔ;ｄistriｂｕteｄfilｅsｙｓｔem；MapＲeduce;Hadooｐ龙源期刊网http://www.qikan.com.cn0引言随着互联网的高速发展和迅速普及，我们已经进入了一个信息爆炸型的时代,大数据处理的需求正在迅速增加，在科学、工业、商业等领域，信息处理量达到ＴＢ级甚至PB级已是正常现象。因此,寻求优秀的大数据处理模型对于处理数据密集型应用是非常重要的。相对于传统的数据,人们将大数据的特征总结为5个V,即数据量大(Vｏｌume）、速度快（Velocｉｔy)、类型多（Vaｒｉety)、难辨识(Veracity)和价值密度低(Vａlｕｅ)[1]。数据量大仍可以靠扩展储存在一定程度上缓解,然而要求及时响应、数据多样性和数据不确定性是传统数据处理方法所不能解决的。为了应对这种大数据所带来的困难和挑战,诸多大型互联网公司近几年推出了各种类型的大数据处理系统。2０04年，Google公司提出的ＭapReduce编程模型是面向大数据处理技术的具体实现，在学术界和工业界引起了很大反响[1]。随后Ａｐaｃhｅ基金会根据MapＲeｄuce模型开发出开源的大数据处理框架Hadｏop在Yahoｏ！、IＢM、百度等公司得到了大量的应用和快速的发展［2]。然而,作为一个新兴的技术，大数据处理技术在很多地方还存在着很多不足，如调用分布式的数据所造成的延迟、巨大的数据吞吐量与不相符的网络速率所造成的网络负载严重的问题等。因此，国内外诸多学者们一直在找寻较好的数据存储方法以加强大数据处理的综合能力。本文首先对目前较为流行的大数据存储结构进行了介绍，然后对近几年的大数据存储策略方面的优化进行了总结，最后对全文进行了总结并提出对未来的展望。1数据存储结构1．1传统集中式数据存储传统互联网数据的创造和使用多以企业为主，数据的种类较为单一，又多以结构化数据为主,数据的管理以数据库的形式存在；企业根据自身对数据需求的不同,制定适用于自身的数据库模式(schｅma）,而后才产生数据;数据仅作为一种处理对象,并不能用来辅助解决其他问题；数据多是由企业自身来访问，因此集中式存储是比较合适的存储方式[3]。在互联网快速发展的过程中，随着网络应用的数据量的加大，企业已感觉到存储...