Nutch环境搭建

  

1.安装jdk

Jdk版本为1.6, 下载地址：

http://www.sun.com/download/

安装路径：C:\Program Files\Java\jdk1.6.0_05\(安装路径不做硬性要求)

配置PATH环境变量  ;%JAVA_HOME%\bin;%TOMCAT_HOME%\bin

配置JAVA_HOME环境变量  C:\Program Files\Java\jdk1.6.0_05

配置JAVA_BIN环境变量  C:\Program Files\Java\jdk1.6.0_05\bin

配置CLASSPATH环境变量 %JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar

2.安装Tomcat

版本为5.0 (一定要用Tomcat5.0,如果注意下载了Tomcat6.0，会导致运行时的一些不知名的异常：例如 “Attribute value details.getValue("url") is quoted with " which must be escaped when used within the value)
下载地址：

http://tomcat.apache.org/

设置TOMCAT_HOME环境变量  c:\tomcat

3.安装Cygwin.（在windows模拟linux环境）

下载Cygwin

4.安装Nutch

1）下载nutch包，地址为http://lucene.apache.org/nutch/，大约60M。

2）将包nutch-0.9.tar.gz放到cygwin的安装目录根目录下。（例如D:\cygwin）

打开Cygwin的快捷方式，退到根目录，运行dir会看到nutch-0.9.tar.gz.

3）运行tar xvf nutch-0.9.tar.gz进行解包，会在根目录下面生成nutch-0.9文件夹。

4）将该文件改名, mv nutch-0.9 nutch

5）在nutch目录下，建立urls目录，然后建立一个url（不带后缀名哦）文件，在url文件内写入一个希望爬行的url，例如：http://www.sohu.com/   (后面的/不能丢)

6）打开nutch\conf\crawl-urlfilter.txt文件.
将
# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
改为
# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*sohu.com/（这里要注意哦）
7）打开nutch/conf/nutch-site.xml文件，在<configuration></configuration>内插入以下内容：

<property>

  <name>http.agent.name</name>

  <value>nutch</value>

  <description></description>

</property>

 

<property>

  <name>http.agent.description</name>

  <value>hello</value>

<description></description>

</property>

 

<property>

  <name>http.agent.url</name>

  <value>http://www.baidu.com</value>

  <description></description>

</property>

 

<property>

  <name>http.agent.email</name>

  <value>[e-mail]</value>

  <description></description>

</property>

 

 

 

       注意http.agent.name的value值一定要写上，不能为空，否则会在抓取网页时会报错!

5.用nutch进行爬行

进入nutch目录

$ sh ./bin/nutch crawl urls -dir mydir -depth 2 -threads 4 -topN 50

crawl：通知nutch.jar，执行crawl的main方法。

urls：存放需要爬行的url.txt文件的目录

-dir mydir 爬行后文件保存的位置

-depth 2：爬行次数，或者成为深度，不过还是觉得次数更贴切，建议测试时改为1。

-threads 指定并发的进程 这是设定为 4
-topN 50：一个网站保存的最大页面数。

注意爬网的时候mydir目录不能存在，要不然会出错

 

6.配置tomcat

1、将nutch-0.9.war复制到到Tomcat 的webapps目录下解压并改名为nutch。
2.  编辑C:\tomcat\webapps\nutch\WEB-INF\classes\nutch-site.xml文件
<configuration>
<property>
<name>searcher.dir</name>
<value>C:\cygwin\nutch\mydir</value>
</property>
</configuration>

注意<value>C:\cygwin\nutch\mydir</value>是爬取网页的目录，一定要注意<value>C:\cygwin\nutch\mydir</value>之间不能有空格，不能写成<value> C:\cygwin\nutch\mydir   </value>这样，不然会出现不知名的异常，找个老半天也找不到错在哪，一般会出现译码错误。

6、在Tomcat \webapps\nutch\zh\include 下面新建header.jsp，内容就是复制header.html，但是
前面加上
<%@ page contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>
在D:\tomcat\webapps\nutch\search.jsp里面，找到并修改为
<jsp:include page="<%= language + "/include/header.jsp"%>"/>
顺便把下面js注释掉
function queryfocus() {
//search.query.focus(); }

7、在Tomcat\conf\server.xml 找到以下段，并修改
<Connector port="8080" maxThreads="150" minSpareThreads="25" maxSpareThreads="75" enableLookups="false" redirectPort="8443" acceptCount="100" debug="0" connectionTimeout="20000" disableUploadTimeout="true" URIEncoding="UTF-8" useBodyEncodingForURI="true" />

注意URIEncoding="UTF-8" useBodyEncodingForURI="true" 这个一定要写上，否则在搜索页面有乱码!
8、重启tomcat，访问 http://localhost:8080/nutch/ 就可以看到搜索主页了，而且搜索支持中文和分词。