大数据采集技术概述VIP免费

大数据采集技术概述大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。数据包括 RFID 数据、传感器数据、用户行为数据、社交网络交互数据及移动互联网数据等各种类型的结构化、半结构化及非结构化的海量数据。不但数据源的种类多，数据的类型繁杂，数据量大，并且产生的速度快，传统的数据采集方法完全无法胜任。所以，大数据采集技术面临着许多技术挑战，一方面需要保证数据采集的可靠性和高效性，同时还要避免重复数据。大数据分类传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。在依靠并行计算提升数据处理速度方面，传统的并行数据库技术追求的是高度一致性和容错性，从而难以保证其可用性和扩展性。在大数据体系中，传统数据分为业务数据和行业数据，传统数据体系中没有考虑过的新数据源包括内容数据、线上行为数据和线下行为数据 3 大类。在传统数据体系和新数据体系中，数据共分为以下 5 种。1.业务数据：消费者数据、客户关系数据、库存数据、账目数据等。2•行业数据：车流量数据、能耗数据、PM2.5 数据等。3. 内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。4. 线上行为数据：页面数据、交互数据、表单数据、会话数据、反馈数据等。5. 线下行为数据：车辆位置和轨迹、用户位置和轨迹、动物位置和轨迹等。大数据的主要来源如下。1. 企业系统：客户关系管理系统、企业资源计划系统、库存系统、销售系统等。2. 机器系统：智能仪表、工业设备传感器、智能设备、视频监控系统等。3. 互联网系统：电商系统、服务行业业务系统、政府监管系统等。4. 社交系统：微信、QQ、微博、博客、新闻网站、朋友圈等。在大数据体系中，数据源与数据类型的关系如图 1 所示。大数据系统从传统企业系统中获取相关的业务数据。数据数据类机器系内容数行业数据社交系业务数企业系互联网系线上行为数据线下行为数据图 1 数据源与数据类型的关系机器系统产生的数据分为两大类：•通过智能仪表和传感器获取行业数据，例如，公路卡口设备获取车流量数据，智能电表获取用电量等。•通过各类监控设备获取人、动物和物体的位置和轨迹信息。互联网系统会产生相关的业务数据和线上行为数据，例如，用户的反馈和评价信息，用户购买的产品和品牌信息等。社交系统会产生大量的內容数据,如博客与照片等,以及线上行为...