nutch本地模式调试环境配置

    nutch本地模式调试可以跟踪详细的爬取过程，便于调试。现将环境配置做如下说明：

   1、apache官网下载nutch文件，我们以apache-nutch-1.4-bin.tar.gz 为例。将apache-nutch-1.4-bin.tar.gz解压到linux工作目录。

   2、执行 chmod +x runtime/local/bin/nutch 修改权限。

   3、runtime/local 目录下运行命令 ./bin/nutch

   4、安装提示说明做配置调整。

   5、以上操作过程完成后nutch即可以正常爬取数据。

注意事项：

   1、本地模式的nutch不需要在conf目录中添加hadoop的配置文件，一旦添加就会在hadoop中运行服务，此处要注意。

    2、在local中添加urls文件并创建任意文本，内容为待排去的网站地址。

 

自定义nutch：

1、将编译好的runtime/local/lib中的apache-nutch-*.jar 同步覆盖服务器中的runtime/local/lib中的apache-nutch-*.jar

2、覆盖runtime/local/plugins文件夹中的插件。