nutch1.4 URLFilter详解 - Programme Experience - ITeye博客

`

peigang

浏览: 170548 次
性别:
来自: 北京

最近访客更多访客>>

yxmzhg

yexiaoshunfeier

wd1282988143

the12thwolf

博主相关

博客

微博

相册

收藏

留言

关于我

文章分类

社区版块

存档分类

最新评论

小桔子： u 棒棒哒！按照你的搞定了，之前搞了好久！u 棒棒哒！！！ ...
Ubuntu为Tomcat启用80端口
u011938035：我用的是nutch1.7，org.apache.nutch.n ...
nutch1.4 URLNormalizers 详解
peigang：试试跟踪一下脚本，应该是环境变量的问题。
nutch1.4：爬虫定时抓取设置
zhangmj10：你好，看这帖子是好久以前的，不知道你能不能看到。不知道能不能帮 ...
nutch1.4：爬虫定时抓取设置
shinide1989：楼主你好，我正需要修改html的解析，并想把结果存为其他格 ...
nutch1.4插件开发

nutch1.4 URLFilter详解

博客分类：

nutch

阅读更多

org.apache.nutch.net.URLFilter接口有如下实现类：

1、//匹配suffix, domain, host

org.apache.nutch.urlfilter.domain.DomainURLFilter

2、//程序代码结构实现同相同，不知道为什么一模一样，没仔细琢磨。

org.apache.nutch.urlfilter.domainblacklist.DomainBlacklistURLFilter

3、//解析URL是否符合./conf/nutch-default.xml的 "urlfilter.prefix.file"属性规则 

org.apache.nutch.urlfilter.prefix.PrefixURLFilter

4、// 解析URL是否符合./conf/nutch-default.xml的 " suffix-urlfilter.txt "属性规则    

org.apache.nutch.urlfilter.suffix.SuffixURLFilter

5、//正则解析验证URL是否书写规范的有效地址。

org.apache.nutch.urlfilter.validator.UrlValidator

分享到：

nutch1.4 ScoringFilter详解 | nutch1.4 URLNormalizers 详解

2012-03-29 17:16
浏览 1652
评论(0)
分类:开源软件
查看更多

评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

nutch1.4帮助文档: nutch1.4帮助文档，学习nutch1.4必备，最新nutch1.4核心类解读！

nutch_1.4配置: ### Apache Nutch 1.4在Windows下的安装与配置详解 #### 一、Apache Nutch简介及重要性 Apache Nutch是一款用Java语言编写的开源网络爬虫项目，旨在自动化地抓取网页中的链接，检查并修复坏链接，以及创建已访问...

nutch_1.4在windows下安装配置.pdf: ### Nutch 1.4 在 Windows 下的安装与配置知识点详解 #### 一、Nutch 简介 - **定义**: Apache Nutch 是一款基于 Java 的开源网页爬虫项目，能够自动抓取互联网上的网页及其内部链接，并对其进行索引处理。 - **...

apache-nutch-1.4: Nutch 1.4是该项目的一个稳定版本，发布于2012年，尽管后续有更新的版本，但1.4版本因其稳定性及广泛的应用而备受青睐。在深入探讨Nutch 1.4的知识点之前，我们先来了解一下什么是Apache Nutch。 Apache Nutch是一...

Nutch1.4_windows下eclipse配置图文详解.docx: ### Nutch 1.4 在 Windows 下 Eclipse 配置图文详解 #### 一、环境准备与配置 **1.1 JDK 安装** - **版本选择**：文档中提到使用了 JDK1.6，官方下载地址为：[JDK6]...

apache-nutch-1.4-bin.tar.gz.part2: apache-nutch-1.4-bin.tar.gz.part2

apache-nutch-1.4-bin.tar.gz: 在这个"apache-nutch-1.4-bin.tar.gz"压缩包中，包含了运行 Nutch 的所有必要组件和配置文件，适合初学者和开发者快速部署和实验。 **Nutch 的核心组成部分：** 1. **爬虫（Spider）**：Nutch 的爬虫负责在网络中...

apache-nutch-1.4-src.tar.gz_nutch_搜索引擎: 在“apache-nutch-1.4-src.tar.gz”这个压缩包中，包含了Nutch 1.4版本的源代码，用户可以根据自己的需求对代码进行定制和扩展。 Nutch 的主要组件包括以下几个方面： 1. **网络爬虫（Crawler）**：Nutch 的网络...

apache-nutch-1.4-bin.part2: apache-nutch-1.4-bin.part2

apache-nutch-1.4-bin.part1: apache-nutch-1.4-bin.part1

Nutch配置环境\Nutch1[1].4_windows下eclipse配置图文详解.docx: 本文将详细介绍如何在Windows环境下配置Nutch 1.4，并使用Eclipse进行开发。以下是你需要知道的关键步骤： 1. **安装JDK**：在配置Nutch之前，首先确保已安装Java Development Kit (JDK)。这里推荐使用JDK 1.6。...

apache-nutch-1.4-bin.tar.gz.part1: apache-nutch-1.4-bin.tar.gz.part1

Nutch中文教程nutcher.zip: nutcher 是 Apache Nutch 的中文教程，在... Nutch流程控制源码详解（bin/crawl中文注释版） Nutch教程——URLNormalizer源码详解 Nutch参数配置——http.content.limit 文档截图：

nutch使用&Nutch;入门教程: 四、Nutch工作流详解 Nutch的工作流程包括多个步骤，如生成段（Segments）、迭代抓取（Fetch）、解析（Parse）、更新链接数据库（Update）、生成新的种子（Generate）、选择待抓取页面（Select）、重定向处理（Fetch...

Windows下配置nutch: 【Nutch 知识点详解】 Nutch 是一个开源的 Java 搜索引擎，它提供了从爬虫到搜索的全套工具，使用户能够构建自己的搜索引擎。Nutch 的主要组成部分包括两个关键角色：Crawler 和 Searcher。 1. **Crawler**： ...

关于Nutch的安装: 【Nutch安装详解】 Nutch是一款开源的网络爬虫软件，用于抓取互联网上的网页并构建搜索引擎。本文将详细介绍如何安装Nutch version 0.8。 **1. 安装前提** 在开始Nutch的安装前，需要确保满足以下硬件和软件条件...

eclipse配置nutch，eclipse配置nutch: ### 二、Eclipse配置Nutch的步骤详解 #### 步骤1：创建Nutch项目首先，在Eclipse中创建一个新的Java项目，选择“File > New > Project > Java project”，然后点击“Next”。在创建项目时，选择“Create project ...

Global site tag (gtag.js) - Google Analytics