大数据处理技术参考架构二〇一五年十二月目 录1。背景..........................................................12.技术目标......................................................23。技术要求......................................................24.大数据处理业务场景............................................35。大数据处理技术对比............................................45。1.MPP 与 HADOOP&SPARK 技术对比..................................45.2.HADOOP&SPARK 技术优势........................................65.3。HADOOP 框架对比.............................................65.4。HADOOP 使用情况.............................................75.5.HADOOP 血缘关系.............................................85.6.行业大数据应用场景对比分析...............................126。大数据处理参考架构...........................................136.1。参考架构.................................................136。2。 与 JAVAEE 体系对比.........................................146.3。参考架构运行状态.........................................157。总结与思考...................................................16附录:名词解释.....................................................181.背景随着大数据时代的到来，数据由海量拓展为多样，在注重计算速度的同时更加关注挖掘有价值的数据.以 IOE 体系为核心的数据计算和存储方式越来越不能满足目前大数据处理在性能和成本上的综合要求。为适应对大数据处理的要求，众多的分布式计算平台随之兴起,在对众多分布式计算平台进行权衡的同时，增强自主创新能力，以满足人民银行对信息技术安全可控的要求。在核心应用自主研发、核心知识自主掌控的氛围下，保障大数据技术达到灵活可用的目标，确保数据和信息的有效、及时，确保信息系统的可靠、灵活。同时，充分的利用开源产品透明公开的关键信息,做到对技术细节的掌控和验证，开源产品的特点也更能够激发开发者的热情并推动技术的快速变革.在“互联网+”的战略布局下，当利用信息通信技术把互联网和包括金融行业在内的相关行业结合起来时，能够更加合理和充分的利用大数据技术促进互联网金融的健康进展。当前互联网金融的格局中,由传统金融机构和非金融机构组成。传统金融机构的...
