nutch plugin的流程以及如何自定义plugin

PluginRepository 是plugin的入口，保存了所有的Plugins，加载流程如下：

1. 解析plugin.folder下面的所有plugin的plugin.xml文件：

几个主要的解析函数如下：
  (1) parseExtension(rootElement, pluginDescriptor);
解析extension element:
     <extension id="org.apache.nutch.net.urlfilter.urllength"
              name="Nutch URL Length Filter"
              point="org.apache.nutch.net.urlfilter">   
      <implementation id="UrlLengthFilter"
                      class="org.apache.nutch.net.urlfilter.urllength.UrlLengthFilter">   
      </implementation>   
   </extension>
解析后加载到PluginDescriptor：
pPluginDescriptor.addExtension(extension);


  (2)parseLibraries(rootElement, pluginDescriptor);
解析下列的lib element：
   <runtime>
     <library name="lib-http.jar">
        <export name="*"/>
     </library>
   </runtime>
解析后加载到PluginDescriptor：
pDescriptor.addNotExportedLibRelative(libName);
pDescriptor.addNotExportedLibRelative(libName); 


  (3)parseRequires(rootElement, pluginDescriptor);      
解析requires ：
   <requires>
      <import plugin="nutch-extensionpoints"/>
   </requires>
解析后加载到PluginDescriptor：
pDescriptor.addDependency(plugin);   确定依赖关系

(4) parseExtensionPoints(rootElement, pluginDescriptor);
解析extension point:  主要针对nutch-extensionpoints下面的plugin.xml
<extension-point
      id="org.apache.nutch.indexer.field.FieldFilter"
      name="Nutch Field Filter"/>
解析后加载到PluginDescriptor：
pPluginDescriptor.addExtensionPoint(extensionPoint);   

2. 对plugin的过滤：
   根据plugin.includes及plugin.excludes过滤plugin，并检查plugin的依赖关系，确认是否有“missing dependency”或“circular dependency”存在。

3. installExtensionPoints： 集合所有的ExtensionPoints；

4. installExtensions： 验证每个extension是否有对应的ExtensionPoint。

5. extension中的point的value必须在extension-point 中有定义， 即：在定义了某个plugin的plugin.xml之后，必须在nutch-extensionpoints的plugin.xml中注册下 .
6.
Nutch-site.xml中需定义“Plugin.folders”的value，指定plugin的路径。
<property>
          <name>plugin.folders</name>
          <value>plugins</value>
          <description>Directories where nutch plugins are located.  Each element may be a relative or absolute path.  If absolute, it is used as is.  If relative, it is searched for on the classpath.
          </description>
</property>

另外需要定义“plugin.includes”，确定要加载的plugin。
<property>
         <name>plugin.includes</name>
         <value>protocol-http|urlfilter-regex|parse-(text|html)|index-(basic|anchor)|query-(basic|site|url)|response-(json|xml)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)</value>
         <description>Regular expression naming plugin directory names to include.  Any plugin not matching this expression is excluded.
                          In any case you need at least include the nutch-extensionpoints plugin. By        default Nutch includes crawling just HTML and plain text via HTTP, and basic indexing and search plugins. In order to use HTTPS please enable protocol-httpclient, but be aware of possible intermittent problems with the         underlying commons-httpclient library.
           </description>
</property>
7.plugin.folders只是指示了在哪个文件目录可以找到所有的plugin；
plugin.includes必须把plugin包含进去，才能在PluginRepository中get想要的plugin。

 

 

---------------------------------------------------------------自定义plugin--------------------------------------------------------------------------------

1. 定义URLFilter的interface, 必须指定X_POINT_ID：(由于nutch已经定义了URLFilter插件了，这步省略)
public interface URLFilter extends Pluggable, Configurable {
  /** The name of the extension point. */
  public final static String X_POINT_ID = URLFilter.class.getName();
}

2. 定义UrlLengthFilter：
public class UrlLengthFilter implements URLFilter{
        //TODO: 具体实现
}

3. 在"plugin.folder"目录下添加一个 urlfilter-urllength 的plugin，相应的plugin.xml如下： extension节点的id属性值是UrlLengthFilter 类所在的package name,
   implementation 节点属性的class指定需要实现的具体类名，通过该名找到相关的类。

<plugin
   id="urlfilter-urllength"
   name="URL length Filter"
   version="1.0.0"
   provider-name="nutch.org"> 

   <requires>
      <import plugin="nutch-extensionpoints"/>    
   </requires>

   <extension id="org.apache.nutch.net.urlfilter.urllength"
              name="Nutch URL Length Filter"
              point="org.apache.nutch.net.urlfilter">  
      <implementation id="UrlLengthFilter"
                      class="org.apache.nutch.net.urlfilter.urllength.UrlLengthFilter">  
      </implementation>  
   </extension>

</plugin>

4. 确保nutch-extensionpoints的plugin.xml中有如下的extensionpoint定义： 这里id必须与上一步extension中的point对应。
<extension-point
      id="com.roboo.procrawl.net.URLFilter"
      name="Nutch URL Filter"
/>

5. 将这个插件的id(即urlfilter-urllength)添加到nutch-site.xml的"plugin.includes"定义中。