windows下安装nutch

上学期跟同学一起做了个校园搜索引擎，虽然最后是用lucene做的，但开始的时候还是安装了nutch,安装的经验不能浪费了，所以也发布出来。

准备软件：

jdk1.5.4

apache-tomcat-6.0.29

nutch-0.9

Cygwin

1:首先安装JAVA(E:/Lycos/jdk1.5.0_04)

安装完成后

设置环境变量JAVA_HOME=E:/Lycos/jdk1.5.0_04

CLASSPATH=.;E:/Lycos/jdk1.5.0_04/lib/tools.jar;E:/Lycos/jdk1.5.0_04/lib/dt.jar;E:/Lycos/jdk1.5.0_04/bin;

2:安装Cygwin(E:/Lycos/cygwin)

在第一次安装时：需要先从镜像点上下载相关文件。

再次运行程序即可安装成功。

3解压tomcat-6.0.29(E:/Lycos/tomcat-6.0.29)

4:解压nutch-0.9(E:/Lycos/cygwin/nutch-0.9)

设置环境变量NUTCH_JAVA_HOME="E:/Lycos/jdk1.5.0_04"

<1>创建目录

在nutch/bin目录下创建一个urls目录，然后在目录里面新建一个文件，文件名为“url.txt”,内容为你要爬行的网站如：http://www.sina.com.cn

<2>修改nutch/conf/crawl-urlfilter.txt文件

打开nutch/conf/crawl-urlfilter.txt文件，把MY.DOMAIN.NAME字符替换为url.txt内的url的域名，其实更简单点，直接删除MY.DOMAIN.NAME这几个字就可以了，也就是说，只保存+^http://([a-z0-9]*/.)*这几个字就可以了，表示所有http的网站都同意爬行。

或者：+^http://([a-z0-9]*/.)*sina.com.cn/

注意如果直接删除MY.DOMAIN.NAME。不要保留删除后的/

<3>修改nutch/conf/conf/nutch-site.xml文件

打开nutch/conf/conf/nutch-site.xml文件，在<configuration></configuration>内插入一下内容：注：如果是sina.com.cn则value的值修改为：http://www.sina.com.cn

<property>

<name>http.robots.agents</name>

<value>http://www.sina.com.cn/klms</value>

</property>

<property>

<name>http.agent.name</name>

<value>http://www.sina.com.cn/klms</value>

</property>

<property>

<name>http.agent.url</name>

<value>http://www.sina.com.cn/klms</value>

</property>

把<name>XXX</name>之间的内容替换为其他字符，当然就算是不替换也无所谓，这里的设置，是因为nutch遵守了robots协议，在获取response时，把自己的相关信息提交给被爬行的网站，以供识别。

<4>修改nutch/conf/nutch-default.xml

打开nutch/conf/nutch-default.xml文件，找到<name>http.agent.name</name>，然后把Value值随便设计一个。

<name>http.agent.name</name>

<value>sina</value>

以上配置，是爬取intranet的配置方式。

<6>执行nutch

由于配置nutch采用的是单独网站的配置方式，所以执行上我们也采用的是单网查询

先看一看nutch给出的命令：nutchcrawlurls-dircrawl-depth3-topN50

crawl：通知nutch.jar，执行crawl的main方法。

urls：存放需要爬行的url.txt文件的目录，注意，这个名字需要和你的文件夹目录相同，如果你的文件夹为search，那这里也应该改成search。

-dircrawl：爬行后文件保存的位置，可以在nutch/bin目录下找到。

-depth3：爬行次数，或者成为深度，不过还是觉得次数更贴切，建议测试时改为1。

-topN50：一个网站保存的最大页面数。

执行命令的步骤：

1．进入cygwin界面。

2．使用cd命令，进入nutch/bin路径下。

3．执行：shnutchcrawlurls-dircrawl-depth3-topN50

4．具体的爬行日志可以在nutch/logs目录下看到，注意查找“INFOfetcher.Fetcher-fetchinghttp://XXXXXXX”这样的内容，这里是抓去过程日志。

<7>配置tomcat

在nutch压缩包下找到nutch-0.9.war文件，放到tomcat/webapps目录下，启动tomcat在webapps/nutch/WEB-INF/classes/nutch-site.xml文件中的<configuration></configuration>内插入一下内容

<property>

<name>searcher.dir</name><value>E:/Lycos/cygwin/nutch-0.9/bin/crawl</value>

</property>

<value/>的内容是刚才爬行后的crawl目录位置，提供给客户端来查询。

<8>解决中文乱码

打开tomcat目录下的conf/server.xml，解决中文问题。(在0.9中好像没出现乱码)

<Connectorport="8880"

maxThreads="150"minSpareThreads="25"maxSpareThreads="75"

enableLookups="false"redirectPort="8443"acceptCount="100"

debug="0"connectionTimeout="20000"

disableUploadTimeout="true"URIEncoding="UTF-8"useBodyEncodingForURI="true"/>

<9>配置完成后，关闭启动tomcat再启动tomcat。访问http://localhost:8080/nutch-0.9即可。

这里提醒一下：当第一次启动的时候，可能会出现如下错误：

org.apache.jasper.JasperException:/search.jsp(151,22)Attributevaluelanguage+"/include/header.html"isquoted

解决办法：

搜索search.jsp文件

找到151行：

<jsp:includepage="<%=language+"/include/header.html"%>"/>

改成这样：

<jsp:includepage='<%=language+"/include/header.html"%>'/>