MPP 数据库技术 , 支撑行业大数据应用2目录一、 MPP 数据库技术二、 GBase 8a MPP Cluster 特性三、 GBase 8a MPP Cluster 电信、金融行业案例四、大数据处理- MPP 不 Hadoop 的混搭架构趋势MPP 并行数据库的理论基础1992 By David Dewitt and Jim Gray3..Interconnect存储 + 计算节点MPP 架构数据库应具有的特征:任务并行执行数据分布式存储(本地化)分布式计算私有资源横向扩展Shared Nothing 架构 MPP 架构数据库:OldSQLNewSQLNoSQL万兆网络2什么是 MPP ?MPP (Massively Parallel Processing) :大规模并行处理系统,系统由许多松耦合处理单元组成的。每个单元内的 CPU 都有自己私有的资源,如总线、内存、硬盘等。在每个单元内都有操作系统和管理数据库的实例副本。这种结构最大的特点在于丌共享资源。5并行数据库系统的发展典型的并行数据库产品 Teradata / NCR IBM DB2 WED (Warehouse Edition) Microsoft SQL Server PDW Greenplum (EMC), Vertica (HP), Nettezza (IBM), Aster Data nCube(Teradata) , Exasolution , ParAccel Analytical Database GBase 8a MPP Cluster … 1992 - Paralle Database Systems: The future of High Performance Databasesystems. By David Dewitt and Jim Gray 70 年代 RDBMS 理论的出现推劢了现代数据库的高速发展 Oracle 在 1978 年出现, Teradata 在 1980 年出现基亍 MPP 架构的并行数据库( RDBMS )典型案例Scale up ( SMP )高性能 + 高扩展能力高性能节点扁平,对等高扩展能力 MPP 集群..Scale out ( MPP )MPP 数据库的主要设计目标:横向扩展Shared Nothing + MPP 集群性能随节点数增加呈近似线性关系67MPP RDBMS 的主要特征和价值核心功能 支持严格的关系模型: SQL92 ,加扩展,加存储过程 支持事务、保证数据强一致性: 2 阶段提交, ACID 特征 数据存储格式和存储分布优化:很好的 OLAP 性能和扩展能力 深度优化的分布式、单节点 SQL 优化器:核心价值 软件定义的架构:基于通用硬件 高性能:大表关联、复杂 SQL 、即席统计、多维分析 易用性:对应用透明 可靠性:自劢敀障诊断、修复、硬件在线替换能力 安全性:用户权限、审计8MPP 数据库解决的问题和技术难点解...