近来公司要求研究一下站内搜索引擎，我重点研究了nutch的使用：
1.先去 http://www.cygwin.com/ 下载个setup.exe，然后把cygwin安装好。
2.再去 http://lucene.apache.org/nutch/ 下载nutch，我下载了 0.7.2 版本 和 0.8.1 版本。
3.把下载到的nutch解压缩到硬盘，这里假设为 %NUTCH_HOME% 目录，在%NUTCH_HOME% 目录下新建一个 urls 文件，
里面写下要搜索的网址，譬如：http://www.hkex.com.hk/ 。
4.配置%NUTCH_HOME%\conf\crawl-urlfilter.txt 文件，在
# accept hosts in MY.DOMAIN.NAME
# +^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
下加上url过滤规则，譬如：+^http://([a-z0-9]*\.)*hkex.com.hk/ 。
5.在环境变量中加入 NUTCH_JAVA_HOME = D:\jdk1.5.0_06 （指向JDK目录）。
6.运行cygwin，进去%NUTCH_HOME%，运行以下命令：
bin/nutch crawl urls -dir hkex -depth 8 >& hkex.log
-dir hkex 表示crawl到的数据的存放目录， -depth 8表示crawl到url地址的层数（这里是8层），hkex.log是生成的日志。
7.修改tomcat的conf目录下的server.xml，改为
xml 代码
- <Connector port="8080" maxHttpHeaderSize="8192"
- maxThreads="1000" minSpareThreads="25" maxSpareThreads="75"
- enableLookups="false" redirectPort="8443" acceptCount="100"
- connectionTimeout="20000" disableUploadTimeout="true"
- URIEncoding="UTF-8" useBodyEncodingForURI="true"/>
8.把%NUTCH_HOME%下的 nutch-0.7.2..war 改名为 ROOT.war 复制到Tomcat的webapps目录下（备份Tomcat原来的
ROOT文件夹），启动Tomcat，修改ROOT\WEB-INF\classes下的nutch-site.xml，改为
xml 代码
- <nutch-conf>
- <property>
- <name>searcher.dir</name>
- <value>C:\nutch-0.7.2\hkex</value>
- </property>
- </nutch-conf>
9.重启Tomcat，在 http://localhost:8080 里就可以试试搜索了。
分享到：
相关推荐
- 将 Nutch 0.7.2 的压缩包解压至 `F:\project\nutch-0.7.2`。 #### 五、配置步骤 1. **配置 Cygwin 环境变量** - 编辑 `E:\Program Files\cygwin\etc\profile` 文件： ```bash PATH="/usr/local/bin:/usr/bin:...
在IT领域，Apache Nutch是一款开源的Web爬虫项目，用于抓取网页并进行索引。而Eclipse作为一款流行的集成开发环境（IDE），被广泛应用于Java开发中。本文将详细解析如何在Eclipse中配置Nutch，以便于开发者更好地...
Nutch是Apache软件基金会开发的一款开源的网络爬虫项目，主要用于收集、索引和搜索互联网上的数据。这个“Nutch使用&Nutch;入门教程”将带你深入理解Nutch的基本概念、工作流程以及如何实际操作它来执行网络爬取任务...
Apache Nutch 是一个开源的网络爬虫框架，用于抓取互联网上的网页并建立索引，以便进行全文搜索。Nutch 2.2.1 是一个稳定版本，它依赖于其他几个组件来完成其功能，包括 Apache Ant、Apache Tomcat、Java 开发工具包...
**Nutch 概述** Nutch 是一个开源的网络爬虫项目，主要设计用于抓取、索引和搜索互联网上的网页。它由 Apache 软件基金会开发，并且是 Hadoop 的一部分，这意味着它能够利用分布式计算来处理大规模的数据抓取任务。...
- 运行Nutch的基本命令，如抓取种子URL (`bin/nutch inject`), 分析网页 (`bin/nutch fetch`), 解析内容 (`bin/nutch parse`), 更新数据库 (`bin/nutch updatedb`)，生成索引 (`bin/nutch index`). 5. **Nutch 与 ...
Nutch是Apache软件基金会开发的一款开源搜索引擎项目，主要用于抓取、索引和搜索Web内容。作为初学者，了解和掌握Nutch的相关知识是探索搜索引擎技术的第一步。本篇将深入探讨Nutch的基本概念、功能、架构以及如何...
资源名称：Nutch相关框架视频教程资源目录：【】Nutch相关框架视频教程1_杨尚川【】Nutch相关框架视频教程2_杨尚川【】Nutch相关框架视频教程3_杨尚川【】Nutch相关框架视频教程4_杨尚川【】Nutch相关框架视频教程5_...
Nutch2.3.1是Apache Nutch的一个稳定版本，它是一个开源的网络爬虫框架，主要用于抓取、解析和索引互联网上的网页内容。在本文中，我们将深入探讨如何搭建Nutch2.3.1的运行环境，以便进行网页抓取和分析。 **一、...
Nutch是一个基于Java开发的开源网络爬虫搜索引擎，它是Apache软件基金会项目之一，主要用于抓取网页，索引网页内容，并且支持全文搜索。Nutch搜索引擎能够对局域网和整个Web进行爬取，且提供了一个命令行工具来控制...
【Nutch 0.8 知识点详解】 Nutch 是一个开源的、基于 Lucene 的网络搜索引擎项目，它提供了一套完整的搜索引擎解决方案，包括网页抓取、索引和搜索功能。Nutch 0.8 版本尤其值得关注，因为它完全使用 Hadoop 进行了...
Nutch是Apache软件基金会开发的一款开源搜索引擎项目，主要用于网络数据抓取和索引。这个“Nutch入门教程 高清 带书签”的资源，很显然是为了帮助初学者快速理解并掌握Nutch的基本操作和核心概念。下面，我们将深入...
Nutch 是一个开源的、Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。 目 录 1. nutch简介...1 1.1什么是nutch..1 1.2研究nutch的原因...1 1.3 nutch的目标..1 1.4 nutch VS lucene.....2 2....
Nutch是Apache软件基金会的一个开源项目，主要用于构建网络搜索引擎。它提供了一个可扩展的、高度模块化的框架，用于抓取、解析网页，并建立索引，是大数据和信息检索领域的重要工具。下面，我们将详细讲解如何搭建...
Apache Nutch 1.7 在 Windows 和 Linux 下的安装 Apache Nutch 1.7 是一个开源的网络爬虫和搜索引擎项目，它可以对互联网上的网页进行爬取、索引和搜索。本文将详细介绍 Apache Nutch 1.7 在 Windows 和 Linux 下的...
Nutch 0.9 是一个历史悠久的开源搜索引擎项目，它主要关注网络爬虫和网页抓取方面的技术。这个版本在当时提供了稳定且功能强大的爬虫框架，被广泛用于数据采集和分析任务。以下是对 Nutch 0.9 版本的一些关键知识点...