hadoop集群内lzo的安装与配置VIP专享

hadoop 集群 lzo 的安装与配置操作系统：CentOS 5.5，Hadoop 版本：hadoop-0.20.2-CDH3B4 安装 lzo 所需要软件包：gcc、ant、lzo、lzo 编码/解码器，另外，还需要 lzo-devel 依赖 配置 lzo 的文件：core-site.xml、mapred-site.xml大致步骤：1）安装和更新 gcc、ant2）在各个节点安装 lzo3）安装 lzo 编码/解码器4）修改配置文件，并同步各节点的配置文件注：没有特别指出的话，所有操作都是在 Namenode 中进行的一、lzo 库安装：1、gcc 的安装：yum 即可，记得同时更新 lib*、glibc*、gcc*2、ant 的安装： 删除旧版本：yum remove ant 安装新版本： wget labs.renren./apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz tar zxvf apache-ant-1.8.2-bin.tar.gz # vi /etc/profileexport ANT_HOME=/usr/local/apache-ant-1.8.2export PATH=$PATH:$ANT_HOME/binsource /etc/profile 使配置文件生效lzo 的安装wget .oberhumer./opensource/lzo/download/lzo-2.04.tar.gztar -zxvf lzo-2.04.tar.gzcd lzo-2.04./configure --enable-sharedmake && make install库文件被默认安装到了/usr/local/lib，我们需要进一步指定 lzo 库文件的路径，两个方法都可以： 1)拷贝/usr/local/lib 目录下的 lzo 库文件到/usr/lib（32 位平台），或/usr/lib64（64 位平台） 2)在/etc/ld.so.conf.d/目录下新建 lzo.conf 文件，写入 lzo 库文件的路径，然后运行/sbin/ldconfig -v，使配置生效在各个节点安装 lzo： Namenode 和 Datanode 都要安装 lzo！ 所 需 软 件 包 ： gcc 、 ant 、 lzo-2.04.tar.gz 、 lzo2-2.02-3.el5.rf.x86_64.rpm、lzo2-devel-2.02-3.el5.rf.x86_64.rpm。wget mirrors.axint.net/repos/redhat/el5/en/x86_64/RPMS.dag/lzo2-2.02-3.el5.rf.x86_64.rpmwget mirrors.axint.net/repos/redhat/el5/en/x86_64/RPMS.dag/lzo2-devel-2.02-3.el5.rf.x86_64.rpm安装lzo2-2.02-3.el5.rf.x86_64.rpm、lzo2-devel-2.02-3.el5.rf.x86_64.rpm。# rpm -ivh lzo2-2.02-3.el5.rf.x86_64.rpm# rpm -ivh lzo2-devel-2.02-3.el5.rf.x86_64.rpmlzo 编码/解码器的安装这里必须要说明：假如 hadoop 是 cloudera 版的，那么 lzo 编码/解码器就不要用 google 官方的那个！到这里下载： s://github./kevinweil/hadoop-lzo下载文件 kevinweil-hadoop-lzo-23e8...