我眼中的大数据“昨天我用手机浏览了一件衣服,今日手机为我推送了衣服的相关信息”这个不经意的小插曲让我对大数据产生了浓厚的兴趣,在我们的生活中随处可见大数据这一名词,而大数据又无时无刻不在影响着我们的生活,我不禁好奇究竟什么是大数据呢?“大数据”的英文名 Big Data1997 年就已经出现在有关储存技术的论文里,2001 年出现在计算机人工智能杂志的文章标题中。直至最近几年,由于采集的数据急剧增长,常规储存和处理手段难以应付,大数据被大量用于表示庞大的数据。美国国家科学基金会(NSF)将大数据定义为:“由科学仪器、传感设备、互联网交易、电子邮件、音频视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集。"著名咨询公司麦肯锡全球讨论所在《大数据:创新、竞争和生产力的下一个前沿》中提出,“大数据是指大小超出了传统数据库软件工具的抓取、储存、管理和分析能力的数据群”总而言之,大数据是基于科学技术的进展,通过技术手段对数据进行猎取、储存,并综合运用自然科学和人文社会科学的讨论方法,对海量数据进行分析、应用而形成新概念。大数据的特征:Volume 海量:大数据的特征首先就体现为“数量大"。随着信息技术的高速进展,数据开始爆发性增长.社交网络(微博、推特、脸书)、移动网络、各种智能终端等,都成为数据的来源.淘宝网近 4 亿的会员每天产生的商品交易数据约 20TB;脸书约 10 亿的用户每天产生的日志数据超过 300TB。Velocity 高速:与传统数据载体不同,大数据的交换和传播是通过互联网、云计算等方式实现的,远比传统媒介的信息交换和传播速度快捷。大数据能实现对数据的实时分析而非批量分析,数据输入、处理与丢弃立即见效,几乎无延迟。Variety 多样:广泛的数据来源,决定了大数据形式的多样性。大数据大体可分为三类:一是结构化数据,如财务系统数据、信息管理系统数据、医疗系统数据等,其特点是数据间因果关系强;二是非结构化的数据,如视频、图片、音频等,其特点是数据间没有因果关系;三是半结构化数据,如 HTML 文档、邮件、网页等,其特点是数据间的因果关系弱.Value 价值:这也是大数据的核心特征。相比于传统的小数据,大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识,并运用于农业、金融、医疗等各个领...