nutch

YouChuang||学习笔记

不断学习+不断尝试+不断思考+不断总结——》博客

(搜索引擎)Windows7下部署 Nutch-1.0

1.jdk安装和配置

安装：

下载后，jdk1.6安装到默认目录下（C:\Program Files\Java）

配置：

<1>JAVA_HOME变量配置

新建“系统变量”—》变量名—"JAVA_HOME";变量值—“C:\Program Files\Java\jdk1.6.0_10”

 

 

说明：JAVA_HOME指向jdk的安装目录，Eclipse/NetBeans/Tomcat等软件就是通过搜索JAVA_HOME变量来找到并使用安装好的jdk。

        方便引用，归一原则

<2>PATH变量配置

编辑“系统变量”的变量“Path”，添加jdk的bin目录 “C:\Program Files\Java\jdk1.6.0_10\bin”和“C:\Program Files\Java\jre6\bin”

或者“%JAVA_HOME%\bin”和“%JAVA_HOME%\bin”

 

 

说明：在系统的任何地方都可以运行Java程序、执行Java、javac工具，指定命令搜索路径。建议把 JDK bin 的路径放在原有 path 的最前面,这样就会把默认的Windows系统自带的jre取代

<3>CLASSPATH变量配置

新建“系统变量”—》变量名—“CLASSPATH”;变量值— “.;C:\Program Files\Java\jdk1.6.0_10\lib\dt.jar;C:\Program Files\Java\jdk1.6.0_10\lib\tools.jar;”

或者 “.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;”

 

 

说明：第一个“.”代表当前目录下，剩下的变量为常用Java类库，要用分号隔开

CLASSPATH作用为指定类搜索路径，JVM就是通过CLASSPTH来寻找类，方便引用已有类包

 

2.tomcat安装和配置

tomcat5.5安装，安装到d:tomcat\下完整路径为“D:\tomcat\Tomcat5.5”

在5.5下有默认的启动工具，选择“start”即可

说明：目前部署Nutch最好是使用tomcat旧版本比如5.5等，6.x的tomcat在有些方面可能会出错。

在MyEclipse网络开发中，部署tomcat需要在”Windows“—》”Myeclipse“—》“Server”中选择“tomcat5.x”—》选择tomcat安装的根目录即可—》选择“Enable”。

另外，部署到tomcat上的工程放在webapps下

启动、关闭tomcat：

6.x版本的tomcat不再有Monitor tomcat，用户可以自己在tomcat\bin目录下找到“startup.bat”和“shutdown.bat”，更改这两个文件，在第一行前面加入如下两行：
SET JAVA_HOME=JDK目录
SET CATALINA_HOME=前面解压后Tomcat的目录或者%cd%

这样就可以直接双击启动或者停止tomcat的服务

 

配置用户：

在tomcat\conf目录下，找到tomcat-users.xml  在<tomcat-users>*</tomcat-users>加入如下语句：

<role rolename="manager"/>
<role rolename="admin"/>
<user username="admin" password="admin" roles="admin,manager"/>

3.Cygwin安装（最好本地安装—local install）

<1>下载：

下载安装程序：  http://www.cygwin.com/setup.exe

运行，选择下载方式：“下载并安装”、“下载不安装”、“从本地安装”—》选择“下载不安装”，这样免去断网就会中断的痛苦

国内选择这个地方下载就行 http://www.cygwin.cn/pub/  (推荐去网盘直接下载，这样网速比较稳定：Cygwin下载 : part1 +part2 +part3 +part4 )---我下载后分块传到115的。。。

<2>安装：

选择“local install”—》选择安装路径—》选择本地文件路径—》

4.Nutch本地部署（爬取数据测试）

<1>下载：

http://lucene.apache.org/nutch/

<2>部署：

解压放到D盘根目录下，更改解压后的文件夹名nutch-1.0为nutch（方便使用），这样路径为“D:\nutch”

新建URL：在nutch根目录下新建文件url_xx,比如url_taobao，不用加后缀，在文件中加入网站路径“http://www.taobao.com/”（记住不要忘掉后缀"/"）

新建淘宝数据文件夹：在nutch根目录下新建“taobao”文件夹，用于存放爬取的数据

说明：目录可以更改

 

 

存放logs：

配置文件：更改D:\nutch\conf\crawl-urlfilter.txt中“# accept hosts in MY.DOMAIN.NAME”下加入目标网址“http://www.taobao.com/”替换”MY.DOMAIN.NAME“ ，不过在这里可以根据需要加上一些正则表达式

说明：

 

 

              更改D:\nutch\conf\nutch-site.xml，在<configuration></configuration>之间加入以下内容：

<property>

<name>http.agent.name</name>

<value>nutch-1.0</value>

<description></description>

</property>

<property>

<name>http.agent.description</name>

<value>my agent</value>

<description></description>

</property>

<property>

<name>http.agent.url</name>

<value>http://www.cnblogs.com</value>

<description></description>

</property>

<property>

<name>http.agent.email</name>

<value>[e-mail]</value>

<description></description>

</property>

说明：一些协议规定

 

 

进入到Cygwin的命令行界面，进入到D:\nutch目录下，输入命令“bin/nutch crawl url_taobao -dir taobao -depth 2 -threads 4”，开始爬取

说明：命令也可以更改，根据需要

crawl:后面跟着搜索目标的网址，通知nutch.jar，执行crawl的main方法

  dir:后面跟着存放数据的文件夹

depth：后面跟着的数字表示搜索的深度

threads：后面再跟着的数字表示并发的线程

 

 

5.Nutch部署到tomcat（网络数据获取）

部署到tomcat：

      把nutch目录下nutch-1.0.war放到tomcat\webapps下，然后在浏览器中输入“http://localhost:8080/nutch-1.0”,这样webapps下的war会自动解压为nutch-1.0文件夹

      更改配置：tomcat下webapps\nutch-1.0\WEB-INF\classes下的nutch-site.xml中<configuration></configuration>中加入已搜索获取的数据文件夹目录：

<property>
  <name>searcher.dir</name>
  <value>D:\\data\\taobao</value>
</property>     

 

 

      支持中文搜索：更改tomcat\conf\server.xml中端口号为8080的连接的属性为：

< Connector  port ="8080"  protocol ="HTTP/1.1"  
               connectionTimeout ="20000"  
               redirectPort ="8443"  URIEncoding ="UTF-8"  useBodyEncodingForURI ="true"

  />

       开始爬取数据：

       在地址栏中输入：”http://localhost:8080/nutch-1.0“，就可以开始搜索数据了