大数据处理技术参考架构二〇一五年十二月ﻬ目录1.背景ﻩ12.技术目标............................................................2３．技术要求...........................................................２４．大数据处理业务场景..................................................35.ﻩ大数据处理技术对比....................................................４５.1.ﻩＭPＰ与HＡDOＯP＆ＳＰＡＲK技术对比...............................45.2.ﻩHADOOＰ&ＳPARK技术优势.............................................6５.3.ＨADOOＰ框架对比...............................................６5.4.ﻩHADOＯＰ使用情况..................................................７5.5．ﻩHＡＤOＯＰ血缘关系...............................................８５．6.行业大数据应用场景对比分析.....................................126．ﻩ大数据处理参考架构ﻩ136.1.参考架构.......................................................136.2.与ＪAVAＥE体系对比..........................................１4６.3．ﻩ参考架构运行状态..............................................1５7．ﻩ总结与思考.........................................................1６附录：名词解释.........................................................1８1.背景随着大数据时代的到来，数据由海量拓展为多样，在注重计算速度的同时更加关注挖掘有价值的数据。以IOＥ体系为核心的数据计算和存储方式越来越不能满足目前大数据处理在性能和成本上的综合要求。为适应对大数据处理的要求,众多的分布式计算平台随之兴起,在对众多分布式计算平台进行权衡的同时，增强自主创新能力，以满足人民银行对信息技术安全可控的要求。在核心应用自主研发、核心知识自主掌控的氛围下，保障大数据技术达到灵活可用的目标,确保数据和信息的有效、及时,确保信息系统的可靠、灵活。同时,充分的利用开源产品透明公开的关键信息，做到对技术细节的掌控和验证,开源产品的特点也更能够激发开发者的热情并推进技术的快速变革。在“互联网+”的战略布局下，当利用信息通信技术把互联网和包括金融行业在内的相关行业结合起来时,能够更加合理和充分的利用大数据技术促进互联网金融的健康发展。当前互联网金融的格局中，由传统金融机构和非金融机构组成。传统金融机构的发展方向主要为传统金融业务的互联网创新以及电商化创新、手机APP服务等;非金融机构的发展方向则主要是指利用互联网技术进行金融运作的电子商务企业、P2P模式的网络借贷平台，众筹模式的网络投资平台或掌上理财服务，以及第三方支付平台等。在金融行业新兴业态下,为促进互联网金融的健康发展，为全面提升互联网金融服务能力和普惠水平，为有效防范互联网金融风险及其外溢效应而提供技术支撑。在金融领域,新生业态层出不穷,金融机构日益多样化,金融资产的流动性快速上升,金融体系的关联度、复杂度大幅提高。金融业的快速发展和创新,使货币政策操作环境、传导渠道发生重大变化。在数据的处理分析上，对原有的宏观审慎分析框架及其有效性、准确性提出了挑战。2.技术目标获得最优系统价值,满足大数据的处理性能,节约系统建设成本。充分利用开源产品，做到对技术细节的掌控和验证,以保障大数据技术达到灵活可用。增强自主创新能力，满足人民银行对信息技术安全可控的要求。有效提供技术支撑,适应金融行业新兴业态下对大数据技术的需要。3.技术要求在满足海量数据高效处理的同时，对用户的访问能够保持较高的实时性，快速响应用户的请求。采用的大数据技术架构能够支持水平扩展（Ｓcaｌe-oｕt)，适应未来五年对大数据存储和处理的需要。采用的大数据技术架构能够支持故障的检测和自动快速恢复，确保系统的高可用性。在满足大数据业务场景性能要求的同时，采用更加经济的大数据技术解决方案。4.大数据处理业务场景以统计分析类的业务场景为例，针对大数据的处理主要经过采集、存储、校验、审核、汇总、计算、分析挖掘等过程，在数据粒度上，既...
