统一数据分析平台解决方案VIP免费

统一数据分析平台解决方案什么是大数据？•维基百科对大数据的定义，即无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合•大数据呈现出三大特征，即3V•数据大(Volume)，例如Facebook每天在30万台服务器上处理25Tb数据•时效性要求高(Velocity)，例如搜索引擎要求在几分钟内为用户查询新闻•种类和来源多样化(Variety)，除了结构化的数据、半结构化、非结构化的数据大量产生Source:2011IDCDigitalUniverseStudy1ZB=1024EB,1EB=1024PB增长44X2020:35.2Zettabytes下一个十年数据源将会数据源正在膨胀•CloudMeetsBigData•WhatisBigData?•CloudComputing•Whatischanged?•GreenplumUAP•GreenplumDatabase•GreenplumHD•GreenplumChorus•GreenplumDCAAgenda大数据解决之道-云计算古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们不曾想过培育更大更壮的牛。同样，我们也不需要尝试开发超级计算机，而应该试着结合使用更多计算机系统。——GraceHopper云计算的特点云计算特点内容超大规模云”具有相当的规模，Google云计算已经拥有100多万台服务器，亚马逊、Yahoo等公司的“云”均拥有几十万台服务器。“云”能赋予用户前所未有的计算能力。虚拟化云计算支持用户在任意位置、使用各种终端获取服务。所请求的资源来自“云”，而不是固定的有形的实体。高可靠性“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机更加可靠。通用性云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一片“云”可以同时支撑不同的应用运行。高可扩展性“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。按需服务“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。低总体成本“云”的特殊容错措施使得可以采用极其廉价的节点来构成云。•CloudMeetsBigData•WhatisBigData?•CloudComputing•Whatischanged?•GreenplumUAP•GreenplumDatabase•GreenplumHD•GreenplumChorus•GreenplumDCAAgenda驾驭大数据能够改变什么？2011年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制作的海啸影响模型出现在各大网站。驾驭大数据能够改变什么？电信行业借助社交网络分析，对客户的通话数据进行分析，能够识别出这部分“影响者”。社交分析并不是分析单一用户的通话记录，而是分析各用户所处的社交网络。房驾驭大数据能够改变什么？全球金融危机带给我们的最大教训就是加强风险的监管力度，如何更好的进行风险管理已经成为银行等金融机构重要的课题。•CloudMeetsBigData•GreenplumUAP•GreenplumDatabase•GreenplumHD•GreenplumChorus•GreenplumDCAAgenda•Whatisit?Private/HybridCloudInfrastructureorApplianceDataAccess&QueryLayer3rdParty/PartnerTools&ServicesGreenplumChorus-AnalyticProductivityLayerGreenplumHadoopDataScientistDataEngineerDataAnalystBlAnalystLOBUserGreenplumDatabaseDataPlatformAdminDATASCIENCETEAMTheGreenplumUnifiedAnalyticsPlatformEMCGreenplumGreenplumProductLine•CloudMeetsBigData•GreenplumUAP•GreenplumDatabase•GreenplumHD•GreenplumChorus•GreenplumDCAAgendaShared-Nothing架构优势DBSAN/共享存储DBDBDBDBDiskDBDBDBDBDiskDiskDiskDiskMasterShared-EverthingShared-StorageShared-Nothing红色表示共享资源绿色表示无共享资源数据均匀分布并行处理的关键43Oct2020051264Oct2020051145Oct2020054246Oct2020056477Oct2020053248Oct20200512OrderOrderOrderDateCustomerID50Oct2020053456Oct2020052163Oct2020051544Oct2020051053Oct2020058255Oct20200555•数据均匀分布在每一块磁盘上面•发挥每一块磁盘性能，根本上解决I/O瓶颈•支持数据Distribution分布和Partition分区MasterNode高可用性StandbyMasterNodeprimarymasterhoststandbymasterhostTransactionLogsTransactionLogssynchronizationprocessSystemCatalog...