Heritrix源码分析(五) 如何让Heritrix在Ecplise等IDE下编程启动

     本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/642550

       欢迎加入Heritrix群(QQ)：109148319

 

      在Heritrix注释里说Heritrix有三种启动方式,但我感觉只有两种：一种是通过tomcat或者JBOSS或者Jetty等Web容器，还有一种自然就是不通过Web直接编程运行。由于第二种方式更适合调试、研究代码，所以这里就介绍下它的编程启动方式吧....这里贴上示例代码以及注释：

   

import java.io.File;
import javax.management.InvalidAttributeValueException;
import org.archive.crawler.event.CrawlStatusListener;
import org.archive.crawler.framework.CrawlController;
import org.archive.crawler.framework.exceptions.InitializationException;
import org.archive.crawler.settings.XMLSettingsHandler;

public class StartHeritrixByEclipse {

	public static void main(String[] args) throws InterruptedException {
		String orderFile = "D:/heritrix-jobs/startHeritrixByEclipse/order.xml";//order.xml文件路径
		File file = null;	//order.xml文件
		
		CrawlStatusListener listener = null;//监听器
		XMLSettingsHandler handler = null;	//读取order.xml文件的处理器
		CrawlController controller = null;	//Heritrix的控制器
		try {
			file=new File(orderFile);
			handler = new XMLSettingsHandler(file);
			handler.initialize();//读取order.xml中的各个配置

			controller = new CrawlController();//
			controller.initialize(handler);//从读取的order.xml中的各个配置来初始化控制器

			if (listener != null) {
				controller.addCrawlStatusListener(listener);//控制器添加监听器
			}
			controller.requestCrawlStart();//开始抓取
			
			/*
			 * 如果Heritrix还一直在运行则等待
			 */
			while (true) {
				if (controller.isRunning() == false) {
					break;
				}
				Thread.sleep(1000);
			}
			
			//如果Heritrix不再运行则停止
			controller.requestCrawlStop();

		} catch (InvalidAttributeValueException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (InitializationException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (InterruptedException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

	}

}

 

这里可以发现，其实只要知道一个order.xml路径就可以开始抓取了(同时还要seeds.txt种子文件),至于order.xml如何配置可以查看我前面的博客:http://guoyunsky.iteye.com/admin/blogs/613412

   

 更多技术文章、感悟、分享、勾搭，请用微信扫描:

    

评论

7 楼 markos_xju 2014-08-07  

6 楼 lyj57 2014-01-07  

你好！有没有类似的用java代码控制爬取工作暂停或继续的代码啊？

5 楼 luoluowushengmimi 2012-04-16  

您好。我看了您的帖子很是受益，不过还是遇到了问题，还望您多多指教。

我用了您写的代码，然后自己写了一个seed 文件，并且自己写了一个order.xml文件，运行的时候报错了。

报错是
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.commons.httpclient.HttpState.setCookiesMap(Ljava/util/SortedMap;)V
at org.archive.crawler.fetcher.FetchHTTP.configureHttpCookies(FetchHTTP.java:1275)
at org.archive.crawler.fetcher.FetchHTTP.configureHttp(FetchHTTP.java:1232)
at org.archive.crawler.fetcher.FetchHTTP.initialTasks(FetchHTTP.java:1166)
at org.archive.crawler.framework.CrawlController.runProcessorInitialTasks(CrawlController.java:1668)
at org.archive.crawler.framework.CrawlController.requestCrawlStart(CrawlController.java:1011)
at cn.ceode.heritrix.test.StartHeritrixByEclipse.main(StartHeritrixByEclipse.java:30)

您知道这个该怎么解决吗

4 楼 zzzz3621 2011-12-17  

怎么停下来呢？eclipse里结束的话，文件好像会损坏

3 楼 zzzz3621 2011-12-17  

使用旧的job里的order.xml的话，不改任何参数就会全部重抓

2 楼 strawbingo 2010-07-12  

这个比较实用，呵呵

1 楼 crabboy 2010-05-12  

清楚，明白