华为云大数据解决方案1
大数据背景与用户需求•1
1大数据背景介绍•根据IDC的报告,未来十年全球大数据将增加50倍
管理数据仓库的服务器的数量将增加10倍以便迎合50倍的大数据增长
毫无疑问,大数据将挑战企业的存储架构及数据中心基础设施等,也会引发云计算、数据仓库、数据挖掘、商业智能等应用的连锁反应
2013年企业会将更多TB级(1TB=1000GB)数据用于商务智能和商务分析;到2020年,全球数据使用量预计暴增44倍,达到35
2ZB•(1ZB=10亿TB)
2企业应用大数据的需求•大数据有着4“V”特性:Volume、Variety、Velocity、Value
要把握大数据,挖据出大数据中的价值,从技术的角度来说,两个问题需要解决:数据的存储,数据的分析
大数据的Volume属性——“海量数据”一词从七十年代延展至今,正在发生从量变到质变的飞跃
所谓质变是说,从来没有一个时期要如此依赖数据
同时,传统的数据处理和数据管理技术正在受到当今“海量数据”的直接挑战
•(一)ZB级的数据管理和数据分析,不是传统的IT服务器、磁带、纵向扩展设备能够承载的,数量级和复杂程度到达一个层级,引导企业进行信息化技术和企业业务的革新
•(二)世界经济形势趋紧,高额的IT预算,究竟应该在哪里投入
据调查企业目前73%的预算都用在基本业务运转上,剩下的才对商业运营有支撑作用
CIO的苦痛在于IT设施不断的膨胀,仅仅是因为业务的数量涨了,没有给企业经营带来真正的增值
•(三)据统计,ZB级的数据中,80%以上是半结构化,非结构化数据
为了应对“大数据”浪潮,很多企业在具备一定结构化处理能力的基础上,将非结构化数据依托给了Hadoop
但当深入探索之后,有投资人给出了这样的感受——使用Hadoop构建分析性查询,会变成类似用锤子来建造房屋的活动:特定的数据模式分析任务中性能低的可怕;高