大数据&自助式分析解决方案议程•大数据解决方案•hadoop的优势•实际过往案例•自助式分析方案大数据企业品牌腾飞的“肾上腺素”数据复杂度：多元性和速度TerabytesGigabytesMegabytesPetabytesBigDataWeb2.0Web2.0ERP/CRM付款薪资货存联系人订单跟踪销售管道Web日志数字市场搜索市场网上推荐广告移动协作电子商务网页点击流Wikis/博客传感器/RFID/设备社交网络音频/视频日志文件空间&GPS坐标数据数据集市电子政务气候文本/图像Web日志数字市场搜索市场网上推荐协作电子商务哪些是大数据大数据解决方案-大型数据库(ORACLE)优势：技术人才可以复用。支撑总数据量100TB,且100GB以下数据实时多维度数据的分析。开发效率比较高。开发成本比较低。产品稳定,后期维护简单。劣势：技术储备要求高高昂的硬件投资并行扩展非常困难。对海量的实时多维度分析,基本不能支持。企业采购数据企业运营数据企业收入数据企业支出数据相关行业数据ĊĊĊĊETL处理ETL处理ETL处理ETL处理ETL处理ORACLEORACLEORACLEORACLE材料数据产品数据合同数据盈收数据汇总数据结构数据计算数据预测数据盈收报表统计报表行业报表投资报表应用服务器决策人员管理人员分析人员业务人员大数据解决方案-分布式数据库(MYSQL)优势：技术人才储备可以部分复用。硬件投资成本可以控制。并行扩展比较方便。劣势：需要更高端的架构师。海量数据的处理架构需要重新开发。后期技术实现,维护成本高。存储引擎MYSQLMYSQLĊĊMYSQLMYSQLĊĊMYSQLMYSQLĊĊ存储引擎接口材料数据产品数据合同数据盈收数据汇总数据结构数据计算数据预测数据企业采购数据企业运营数据企业收入数据企业支出数据ETL处理ETL处理盈收报表统计报表行业报表大数据解决方案-业内通用解决方案(HADOOP/SPARK)优势：技术人才储备多硬件投资成本可以控制并行扩展比较方便后期结合业务开发，实现稳定劣势：需要专业的方向性人才处理HDFSSTORMMAHOUT朱成保企业内部系统数据互联网......ETLzookeeper集群HADOOPHDFSHBaseHiveMahoutStorm作业调度数据分析数据挖掘动态报表并行管理决策分析多维查询图表展示报表统计......企业数据及商业智能平台的进化-未来大数据存储OA视频、语音、图片......数据流数据仓库数据集市多维度存储数据服务分析应用其他存储服务使用CRMERPHDFS：分布式存储YARN：分布式操作系统MapReducePigHiveImpalaMahoutRHadoopGiraphHamaFlumeSqoopAvroChukwaZookeeperBigTopWhirrSearchHcatalogWebHdfsHttpFsHBaseCassandraDrillTezAccumuloStormSparkMesosPhoenixSharkHueAmbari/ClouderaManagerHADOOP优势-丰富的组件HADOOP优势-完善的处理流程平台管理层应用数据数据库日志其他数据源Sqoop（数据集成）HDFS（文件存储）MapReduce（编程模型）Hcatalog（元数据管理）HBase（数据存储）Hive（数据分析）Pig（数据分析）上层应用Ambari（平台管理）Zookeeper（平台配置与调度）为大数据而建新一代的性能和规模最优化的软硬件价值HADOOP优势-洞察任意大小的数据实际案例一智慧能源背景：客户原来是从事硬件研发，每年营业额在5000万左右，随着企业规模的扩展，领导觉得对硬件设备的故障告警不够及时。对现有的历史数据没法进行数据整合与挖掘。导致决策迟缓，故障不能够预设告警。数据已结构化数据为主现在：新平台改造：Hadoop(10)+redis(2)+mysql(4)硬件故障从原来的半小时监控，提升到现在，故障预先告警，发生故障的2分钟告警到用户，分析决策效率大大提高支撑现在数据有50+(采集点)*500+(采集源)，每秒处理并发数实时数据2000条每天处理数据量实时数据200G，历史综合数据1T。实际案例一智慧能源背景简介大数据存储(10)交换机数据源监控设备数据源数据流mysql(4)数据仓库多维度存储数据服务分析应用其他存储服务使用数据接入程序redis异常存储(2)实际案例二互联网舆情背景：客户需要对互联网金融服务的服务企业和相关行业做到实时监控，并有效的挖掘互联网上的客户资源。数据已非结构化数据为主现在：我公司提供相关互联网数据的爬取，并对数据初步ETL后，传入到客户。客户平台构成：Hadoop(15)+oracle(2)可以30分钟左右监...
