整理一、大数据定义分析师早起定义的大数据:资料量(Volume)、资料传输速度(Velocity)、资料类型(Variety)
在此基础上衍生出真实性(Veracity)等 V 系列
大数据并不是崭新的概念,几十年前科学家就在处理每秒上 PB 的巨量资料
近几年才出来“大数据”概念,是因为现今要处理的资料量更庞大、资料产生跟处理速度更惊人、资料来源更多样,于是处理、储存大量资料的新技术跟工具快速发展,新技术诞生后,开发者跟使用者需要一个更专业的名词来与之前的科技做出区别,于是‘大数据'诞生了
因此,大数据不只是指资料,也指这些用来分析,处理巨量资料的新兴科技
过去的资料大部分是人工手工记录下来交易资料,现在则是机器替我们记录下来的交易资料,除此外还有人们跟事物、企业间的互动资料,最终都是通过机器自动生成、累积下来的观察资料
大数据是由交易、互动、观察资料所组成的资料型态
大数据定义为:以前因为科技所限而忽略的资料
也有人认为大数据只是商业智慧和商业分析演化后的新字眼
大数据是在多样的或者大量的数据中,迅速获取信息的能力
必须在尽可能短的时间内发掘出价值
大数据的核心能力是发现规律和预测未来
整理大数据是任何超过了一台计算机处理能力的数据量
搜集行为数据,进一步挖掘分析,就可以发现大量隐藏在大量细节背后的规律,依据规律,预测未来
利用大数据技术(搜集和分析数据的技术),能够广泛采集各种各样的数据类型,进行统计分析,从而预测未来
大数据分析工具(开发预测模型和规范模型),用于分析数据
大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样
随着业务的不断扩张和历史数据的不断增加,数据量的增长是持续的1
数据量大,TB,PB,乃至 EB 等数据量的数据需要分析处理
要求快速响应,市场变化快,要求能及时快