InformationChangetheWorld数据软件研发中心GreenPlum数据库基本技能培训北京东方国信科技股份有限公司InformationChangetheWorld•GREENPLUM简介•列存储•并行运算•创建删除表•更新数据•存储过程•其他基本语法•开发注意事项大纲2InformationChangetheWorldGREENPLUM简介3NetworkInterconnect............Master节点生成查询计划并派发汇总执行结果Segment节点执行查询计划及数据存储管理SQLMapReduceSQLMapReduce外部数据源并行装载或导出InformationChangetheWorld•GREENPLUM简介•并行运算•列存储•创建删除表•查询数据•更新数据•存储过程•其他基本语法•开发注意事项大纲4InformationChangetheWorld并行运算5•并行加载技术充分利用分布式计算和分布式存储的优势，保证发挥出每一块Disk的I/O资源•并行加载比串行加载，速度提高40-50倍以上，减少ETL窗口时间•增加Segment和ETLServer，并行加载速度呈线性增长InformationChangetheWorld•GREENPLUM简介•并行运算•列存储•创建删除表•查询数据•更新数据•存储过程•其他基本语法•开发注意事项大纲6InformationChangetheWorld•列存储将每条记录的每一列字段数据聚合存储•优点：省IO操作、大数据量访问提高性能、增加磁盘空间利用率列存储7ABC1A1B1C12A2B2C23A3B3C34A4B4C45A5B5C56A6B6C6A1,A2,A3,A4,A5,A6B1,B2,B3,B4C1,C2,C3,C4,C5,C6B5,B6InformationChangetheWorld行列组合存储优势8列存储•少数字段查询，大幅节省I/O操作•大数据量频繁访问，性能提升30%以上Column1Column2Column3Row1Row2Row3＋行存储•大多数字段频繁查询•随机行访问较多组合存储•按照应用类型，随需定制Partition存储方式•达到最优化访问性能InformationChangetheWorld•GREENPLUM简介•列存储•并行运算•创建删除表•查询数据•存储过程•其他基本语法•开发注意事项大纲9InformationChangetheWorld创建删除表10CREATETABLEcustomer(c_customer_idINT,week_numberINT,...WITH(appendonly=true,orientation=column,compresstype=zlib,COMPRESSLEVEL=9))DISTRIBUTEDBY(c_customer_id)PARTITIONBYRANGE(week_number)(START(200701)END(200752)INCLUSIVE);CREATETABLEcustomer(c_customer_idINT,week_numberINT,...WITH(appendonly=true,orientation=column,compresstype=zlib,COMPRESSLEVEL=9))DISTRIBUTEDBY(c_customer_id)PARTITIONBYRANGE(week_number)(START(200701)END(200752)INCLUSIVE);•创建表(哈希方式)：InformationChangetheWorld创建删除表11•分布键（哈希键）※未指定分布键，默认为表的主键为分布键，若表没有主键，则默认把第一列当做哈希键※分布键可以被定义为一个或多个※分布键必须是唯一键※不能修改分布键，且哈希键的列不能update※一个表只能定义一个唯一键，且主键和唯一键必须作为哈希键※不支持Foreignkey※不支持Trigger※数值重复度低，保证数据均匀分布※防止数据倾斜，布尔值不适合，float、double数据类型也不适合，interger、varchar比较好※防止数据处理倾斜※大表经常做连接时，选择相同的分布键，避免跨节点进行join※尽量不用序列号，无意义InformationChangetheWorld创建删除表12•表压缩※Apend-only类型的表，基于行列均可，并可做行或列压缩。•分区键※在表的数据分布基础之上，进行数据打散※数据分布均匀为原则※分区不重叠InformationChangetheWorld13•删除表：DROPTABLEtable_name;DROPTABLEtable_name;创建删除表InformationChangetheWorld•GREENPLUM简介•并行运算•列存储•创建删除表•查询数据•存储过程•其他基本语法•开发注意事项大纲14InformationChangetheWorld查询数据15SELECTpn,vn,sum(prc*qty)FROMsaleGROUPBYROLLUP(pn,vn)ORDERBY1,2,3;SELECTpn,vn,sum(prc*qty)FROMsaleGROUPBYROLLUP(pn,vn)ORDERBY1,2,3;SELECTpn,vn,sum(prc*qty)FROMsaleGROUPBYpn,vnUNIONALLSELECTpn,null,sum(prc*qty)FROMsaleGROUPBYpnUNIONALLSELECTnull,null,sum(prc*qty)FROMSALEORDERBY1,2,3;SELECTpn,vn,sum(prc*qty)FROMsaleGROUPBYpn,vnUNIONALLSELECTpn,null,sum(prc*qty)FROMsal...
