电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

大数据处理技术的总结与分析

大数据处理技术的总结与分析_第1页
1/49
大数据处理技术的总结与分析_第2页
2/49
大数据处理技术的总结与分析_第3页
3/49
数据分析处理需求分类1 事务型处理在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12 306 网站火车票交易系统、超市P O S系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点:一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。二就是计算相对简单,一般只有少数几步操作组成,比如修改某行得某列;三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成;五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术.在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如 O RAC L E、M Y SQL、SQ L SERVER,再加数据复制(DataGur a d、 R M AN、My SQ L数据复制等)等高可用措施即可满足业务需求。在数据量与并发交易量增加情况下,一般可以采纳 OR A L CE RAC 集群方式或者就是通过硬件升级(采纳小型机、大型机等,如银行系统、运营商计费系统、证卷系统)来支撑.事务型操作在淘宝、1230 6等互联网企业中,由于数据量大、访问并发量高,必定采纳分布式技术来应对,这样就带来了分布式事务处理问题,而分布式事务处理很难做到高效,因此一般采纳根据业务应用特点来开发专用得系统来解决本问题。 2 数据统计分析数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等.数据统计分析特点包括以下几点:一就是数据统计一般涉及大量数据得聚合运算,每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂,例如会涉及大量 go u pb y、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写S Q L脚本才能实现.三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计;传统得数据统计分析主要采纳基于MP P 并行数据库得数据仓库技术.主要采纳维度模型,通过估计算等方法,把数据整理成适合统计分析得结构来实现高性能得数据统计分析,以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。另外目前在数据统计分析领...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

大数据处理技术的总结与分析

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部