电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

大数据处理技术的总结与分析

大数据处理技术的总结与分析_第1页
1/35
大数据处理技术的总结与分析_第2页
2/35
大数据处理技术的总结与分析_第3页
3/35
数据分析处理需求分类1 事务型处理在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12306 网站火车票交易系统、超市 POS 系统等都属于事务型数据处理系统.这类系统数据处理特点包括以下几点:一是事务处理型操作都是细粒度操作,每次事务处理涉及数据量都很小。二是计算相对简单,一般只有少数几步操作组成,比如修改某行的某列;三是事务型处理操作涉及数据的增、删、改、查,对事务完整性和数据一致性要求非常高。四是事务性操作都是实时交互式操作,至少能在几秒内执行完成;五是基于以上特点,索引是支撑事务型处理一个非常重要的技术。在数据量和并发交易量不大情况下,一般依托单机版关系型数据库,例如ORACLE、MYSQL、SQLSERVER,再加数据复制(DataGurad、 RMAN、MySQL 数据复制等)等高可用措施即可满足业务需求.在数据量和并发交易量增加情况下,一般可以采纳 ORALCE RAC 集群方式或者是通过硬件升级(采纳小型机、大型机等,如银行系统、运营商计费系统、证卷系统)来支撑。事务型操作在淘宝、12306 等互联网企业中,由于数据量大、访问并发量高,必定采纳分布式技术来应对,这样就带来了分布式事务处理问题,而分布式事务处理很难做到高效,因此一般采纳根据业务应用特点来开发专用的系统来解决本问题。 2 数据统计分析数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据,以辅助企业管理层来进行运营决策。典型的使用场景有:周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应的营销策略等.数据统计分析特点包括以下几点:一是数据统计一般涉及大量数据的聚合运算,每次统计涉及数据量会比较大。二是数据统计分析计算相对复杂,例如会涉及大量 goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写 SQL 脚本才能实现。三是数据统计分析实时性相对没有事务型操作要求高.但除固定报表外,目前越来越多的用户希望能做做到交互式实时统计;传统的数据统计分析主要采纳基于 MPP 并行数据库的数据仓库技术。主要采纳维度模型,通过估计算等方法,把数据整理成适合统计分析的结构来实现高性能的数据统计分析,以支持可以通过下钻和上卷操作,实现各种维度组合以及各种粒度的统计分析。另外目前在数据统计分析领域,为了满足交互式统计分析需求,基于内存计算的数据库仓库系统也成为一个进展趋势,例如...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

大数据处理技术的总结与分析

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部