电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

大数据技术之FlumeVIP免费

大数据技术之Flume_第1页
1/7
大数据技术之Flume_第2页
2/7
大数据技术之Flume_第3页
3/7
大数据技术之标题一、Flume 简介1) Flume 提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务,Flume 只能在 Unix 环境下运行。2) Flume 基于流式架构,容错性强,也很灵活简单。3) Flume、Kafka 用来实时进行数据收集,Spark、Storm 用来实时处理数据,impala 用来实时查询。二、Flume 角色2.1、Source用于采集数据,Source 是产生数据流的地方,同时 Source 会将产生的数据流传输到Channel,这个有点类似于 JavaIO 部分的 Channel。2.2、Channel用于桥接 Sources 和 Sinks,类似于一个队列。2.3、Sink从 Channel 收集数据,将数据写到目标源(可以是下一个 Source,也可以是 HDFS 或者HBase)。2.4、Event传输单元,Flume 数据传输的基本单元,以事件的形式将数据从源头送至目的地。三、Flume 传输过程source 监控某个文件或数据流,数据源产生新的数据,拿到该数据后,将数据封装在一个Event 中,并 put 到 channel 后 commit 提交,channel 队列先进先出,sink 去 channel 队列中拉取数据,然后写入到 hdfs 或者 HBase 中。四、Flume 部署及使用4.1、文件配置flume-env.sh 涉及修改项:JAVA_HOME=/home/admin/modules/jdkl.8.0_1214.2、案例4.2.1、案例一目标:Flume 监控一端 Console,另一端 Console 发送消息,使被监控端实时显示。分步实现:1)创建 FlumeAgent 配置文件 flume-telnet.conf# Namethecomponentsonthisagental.sources=r1a1.sinks=k1a1.channels=c1# Describe/configurethesourcea1.sources.r1.type=netcata1.sources.r1.bind=localhosta1.sources.r1.port=44444# Describethesinka1.sinks.k1.type=logger# Useachannelwhichbufferseventsinmemorya1.channels.c1.type=memorya1.channels.c1.capacity=1000al.channels.cl.transactionCapacity=100# Bindthesourceandsinktothechannelal.sources.rl.channels=clal.sinks.kl.channel=cl2)安装 telnet 工具$sudorpm-ivhtelnet-server-0.l7-59.el7.x86_64.rpm$sudorpm-ivhtelnet-0.17-59.el7.x86_64.rpm3)判断 44444 端口是否被占用$netstat-an|grep444444)先开启 flume 先听端口$bin/flume-ngagent--confconf/--nameal--conf-fileconf/flume-telnet.conf-Dflume.root.logger=INFO,console5)使用 telnet 工具向本机的 44444 端口发送内容$telnetlocalhost444444・2・2、案例二目...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

大数据技术之Flume

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部