数据采集的方法 一、基本方法 数据采集根据采集数据的类型可以分为不同的方式，主要方式有：传感器采集、爬虫、录入、导入、接口等。 (1 ) 传感器监测数据：通过传感器，即现在应用比较广的一个词：物联网。通过温湿度传感器、气体传感器、视频传感器等外部硬件设备与系统进行通信，将传感器监测到的数据传至系统中进行采集使用。 (2 ) 第二种是新闻资讯类互联网数据，可以通过编写网络爬虫，设置好数据源后进行有目标性的爬取数据。 (3) 第三种通过使用系统录入页面将已有的数据录入至系统中。 (4) 第四种方式是针对已有的批量的结构化数据可以开发导入工具将其导入系统中。 （5）第五种方式，可以通过AP I 接口将其他系统中的数据采集到本系统中。 二、大数据技术的数据采集 （1）离线采集： 工具：ETL； 在数据仓库的语境下，E T L 基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform) 和加载(Load) 。在转换的过程中，需要针对具体的业务场景对数据进行治理，例如进行非法数据监测与过滤、格式转换与数据规范化、数据替换、保证数据完整性等。 （2）实时采集： 工具：Flume/Kafka； 实时采集主要用在考虑流处理的业务场景，比如，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据采集会成为 Kafka 的消费者，就像一个水坝一般将上游源源不断的数据拦截住，然后根据业务场景做对应的处理（例如去重、去噪、中间计算等），之后再写入到对应的数据存储中。这个过程类似传统的 ETL，但它是流式的处理方式，而非定时的批 处理 Job，些 工具均 采用分布 式架 构 ，能 满 足 每 秒 数百MB 的日 志 数据采集和传输 需求 （3）互 联 网采集： 工具：Crawler, DPI 等； Scribe 是 Facebook 开 发 的数据(日 志 )收 集系 统。又 被 称 为网页 蜘 蛛 ，网络机器人 ，是一种按 照 一定的规则 ，自 动地 抓 取万 维 网信 息 的程序 或 者脚 本，它支 持图 片 、音 频 、视 频 等文 件 或 附 件 的采集。 除 了 网络中包含 的内 容 之外 ，对于网络流量的采集可 以 使 用 DPI 或 DFI 等带 宽 管理技术进行处理。 （4）其 他 数据采集方法 对于企 业生 产 经 营 数据上的客 户数据，财 务数据等保密 性要求 较 高 的...
