希si 电sfte 司大数据处理技术参考架构ChinaFinanceComputerizationCorp.二 O—五年十二月1.背景 12.技术目标 23.技术要求 24.大数据处理业务场景 35.大数据处理技术对比 45.1.MPP 与 HADOOP&SPARK 技术对比 45.2.HADOOP&SPARK 技术优势 65.3.HADOOP框架对比 65.4.HADoop使用情况 75.5.HADoop血缘关系 85.6.行业大数据应用场景对比分析 126.大数据处理参考架构 136.1.参考架构 136.2.与 JAVAEE 体系对比 146.3.参考架构运行状态 157.总结与思考 16附录：名词解释 1811.背景随着大数据时代的到来，数据由海量拓展为多样，在注重计算速度的同时更加关注挖掘有价值的数据。以 IOE 体系为核心的数据计算和存储方式越来越不能满足目前大数据处理在性能和成本上的综合要求。为适应对大数据处理的要求，众多的分布式计算平台随之兴起，在对众多分布式计算平台进行权衡的同时，增强自主创新能力，以满足人民银行对信息技术安全可控的要求。在核心应用自主研发、核心知识自主掌控的氛围下，保障大数据技术达到灵活可用的目标，确保数据和信息的有效、及时，确保信息系统的可靠、灵活。同时，充分的利用开源产品透明公开的关键信息，做到对技术细节的掌控和验证，开源产品的特点也更能够激发开发者的热情并推进技术的快速变革。在“互联网+”的战略布局下，当利用信息通信技术把互联网和包括金融行业在内的相关行业结合起来时，能够更加合理和充分的利用大数据技术促进互联网金融的健康发展。当前互联网金融的格局中，由传统金融机构和非金融机构组成传统金融机构的发展方向主要为传统金融业务的互联网创新以及电商化创新、手机 APP 服务等；非金融机构的发展方向则主要是指利用互联网技术进行金融运作的电子商务企业、P2P 模式的网络借贷平台，众筹模式的网络投资平台或掌上理财服务，以及第三方支付平台等。在金融行业新兴业态下，为促进互联网金融的健康发展，为全面提升互联网金融服务能力和普惠水平，为有效防范互联网金融风险及其外溢效应而提供技术支撑。在金融领域，新生业态层出不穷，金融机构日益多样化，金融资产的流动性快速上升，金融体系的关联度、复杂度大幅提高。金融业的快速发展和创新，使货币政策操作环境、传导渠道发生重大变化。在数据的处理分析上，对原有的宏观审慎分析框架及其有效性、准确性提出了挑战。22.技术目标◊获得最优系统价值，满足大数据的处理性能，节约系统建设成本。◊充分利用开源产...
