nutch学习1

inject 
inject操作调用的是nutch的核心包之一crawl包中的类Injector 
作用: 
      将url集合进行格式化和过滤，消除其中的非法url，并设定 
       url状态(UNFETCHED)，按照一定方法进行初始化 
      将url进行合并，消除重复url入口 
      将url及其状态，分值传入crawldb数据库，与原数据库中重复的则删除旧的，更换新的 
inject操作结果:crawldb数据库内容得到更新，包括url及其状态 
generate 
   generate操作调用的是crawl包中的类generator 
   generate操作主要作用 
   从crawldb数据库中将url取出并进行过滤 
   对url进行排序，通过域名，链接数和一种hash算法综合进行降序排列 
    将排列列表写入segment 
generate操作结果:创建了抓取列表，存放在generate文件夹下 
以时间为文件夹名称。循环抓取多少次，segment文件夹下就会有多少子文件夹 
fetch 
      抓取，按照segment文件夹下的抓取列表进行 
      抓取过程中，页面的url地址可能因为链接发生改变,从而需要更新url 
      抓取采用多线程方式进行，以提高抓取速度 
      fetch操作过程中调用了parse操作 
fetch操作结果:将页面内容抓取下来，存于segment目录下 
parse  (parse包中的类ParseSegment) 
解析segment中同fetch得到的页面，并进行整理 
将页面分为parsr-date和parse-text 
parse-date保存的是页面的题名，作者，日期，链接 
parse-text中保存的是页面的文本内容 
parse:将fetch得到的页面解析为text和date 
updatedb  (crawl包中的类CrawlDb) 
对crawldb进行更新。增加新的url 
索引过程可分为三个主要操作阶段 
将数据转换为文本(采用plugin机制) 
分析文本 
将分析过的文本保存到数据库中