大数据研究综述 陶雪娇，胡晓峰，刘洋 (国防大学信息作战与指挥训练教研部，北京100091) 研究机构Gartne:的定义:大数据是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 维基百科的定义:大数据指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策目的的资讯。 麦肯锡的定义:大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的赞据焦合。 数据挖掘的焦点集中在寻求数据挖掘过程中的可视化方法，使知识发现过程能够被用户理解，便于在知识发现过程中的人机交互;研究在网络环境卜的数据挖掘技术，特别是在Internet 上建立数据挖掘和知识发现((DMKD)服务器，与数据库服务器配合，实现数据挖掘;加强对各种非结构化或半结构化数据的挖掘，如多媒体数据、文本数据和图像数据等。 5.1 数据量的成倍增长挑战数据存储能力 大数据及其潜在的商业价值要求使用专门的数据库技术和专用的数据存储设备，传统的数据库追求高度的数据一致性和容错性，缺乏较强的扩展性和较好的系统可用性，小能有效存储视频、音频等非结构化和半结构化的数据。目前，数据存储能力的增长远远赶小上数据的增长，设计最合理的分层存储架构成为信息系统的关键。 5.2 数据类型的多样性挑战数据挖掘能力 数据类型的多样化，对传统的数据分析平台发出了挑战。从数据库的观点看，挖掘算法的有效性和可伸缩性是实现数据挖掘的关键，而现有的算法往往适合常驻内存的小数据集，大型数据库中的数据可能无法同时导入内存，随着数据规模的小断增大，算法的效率逐渐成为数据分析流程的瓶颈。要想彻底改变被动局面，需要对现有架构、组织体系、资源配置和权力结构进行重组。 5.3 对大数据的处理速度挑战数据处理的时效性 随着数据规模的小断增大，分析处理的时间相应地越来越长，而大数据条件对信息处理的时效性要求越来越高。传统的数据挖掘技术在数据维度和规模增大时，需要的资源呈指数增长，面对PB 级以上的海量数据，N1ogN 甚至线性复杂度的算法都难以接受，处理大数据需要简单有效的人工智能算法和新的问题求解方法。 5.4 数据跨越组织边界传播挑战信息安全 随着技术的发展，大量信息跨越组织边界传播，信息安全问题相伴而生，不仅是没有价值的数据大量出现，保密数据、隐私数据也成倍增长，国家安全、知识...
