heritrix爬虫工具的使用

工作中使用爬是工具心得，和大家一起分享



运行之前的配置：


1.修改conf目录下的heritrix.properties里的版本号和用户名密码


2.拷贝conf目录下jmxremote.password.template文件到根目录，重命名为


jmxremote.password

  并修改其内容，添加用户名密码


运行Eclipse工程之后，在浏览器中输入http://localhost:8083/login.jsp


，输入yoyo:yoyo，出现webUI：


首先选择job标签，第一次可以with defaults，以后可以Based on existing


job来新建一个任务，

在seeds里添加种子连接，

eg:http://www.zaiheihe.com/Article/Class.asp?ID=1


然后再选console标签，点start就可以开始抓取.. 可以刷新来看进度


这有几篇heritrix的介绍文章，你可以看看:

http://www.ruanko.com:9090/uchome/space.php?uid=871&do=blog&id=5773

http://blog.sina.com.cn/s/blog_4fa209eb0100bmub.html


导入程序和运行程序需要注意的地方：

1、lib下和htmlparser下的jar包要导入

2、eclipse环境和java source file的编码要和程序的编码统一


java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml


javac   -classpath  

java com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml

java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml





一、CandidateURI中增加新的属性
给CandidateURI中增加新的属性，以便在写的时候可以分类的写或者做其它运用时，则需要修改以下地方：
1. CandidateURI类：增加新的属性，但是不能用final或者static修饰
2. CrawlURI类：修改public CrawlURI(CandidateURI caUri, long o)方法给新增属性设置上值
3. 修改Frontier中的loadSeeds()方法给CandidateURI的实例对象赋上新增属性的值
4. 修改ConfFileFrontierScheduler. schedule(CandidateURI caUri)方法给新增属性赋值