Linux 下 nutch-1.0 的分布式配置和使用 1 Linux 下 Nutch 分布式配置和使用 詹坤林 2010 年 5 月 目 录 介绍 ............................................................... 20 集群网络环境介绍 ................................................. 21 /etc/hosts文件配置 ............................................... 22 SSH无密码验证配置 ................................................ 22.1 配置所有节点之间SSH无密码验证 ................................ 23 JDK安装和Java环境变量配置 ........................................ 33.1 安装 JDK 1.6 ................................................ 33.2 Java环境变量配置 ............................................ 44 Hadoop集群配置 ................................................... 45 Hadoop集群启动 ................................................... 66 Nutch分布式爬虫 .................................................. 96.1 配置Nutch配置文件 ............................................ 96.2 执行Nutch分布式爬虫 ........................................ 107 Nutch检索 ....................................................... 137.1 Windows下Nutch单机搜索本地索引数据 ......................... 137.2 Linux下Nutch单机搜索本地索引数据 ........................... 147.2.1 WEB前端搜索 ........................................... 147.2.2 命令行搜索 ............................................ 157.3 Linux下Nutch搜索HDFS中索引数据 ............................. 157.3.1 WEB前端搜索 ........................................... 167.3.2 命令行搜索 ............................................ 17附 Nutch-1.1 介绍 ................................................. 18 Linux 下nutch-1.0 的分布式配置和使用 2 介绍 这是本人在完全分布式环境下在Cent-OS 中配置Nutch-1.1 时的总结文档，但该文档适合所有Linux 系统和目前各版本的nutch。 0 集群网络环境介绍 集群中所有节点均是Cent-OS 系统，防火墙均禁用，sshd 服务均开启；所有节点上均有一个名为 nutch 的用户(非超级用户，安装前root 使用...
