heritrix无法抓取中文URL的问题解决方案

Heritrix对中文支持不够,比如URL中有中文的URL肯定抽取不到,但这个改动部分代码页就是它的正则表达式即可

解决方法

修改org.archive.crawler.extractor.ExtractorJS类
把

static final String STRING_URI_DETECTOR = "(?: \\w|[\\.]{0,2}/)[\\S&&[^<>]]*(?:\\.|/)[\\S&&[^<>]]*(?:\\w|/)";

改为
static final String STRING_URI_DETECTOR = "(?: \\w|[\\.]{0,2}/)[\\S&&[^<>]]*(?:\\.|/)[\\S&&[^<>]]*(?:\\S|/)";

评论

2 楼 wangwei3 2010-11-17  

没有看过1.14.4不好意思啊

1 楼 lsshappy007 2010-09-02  

我的版本是1.14.4,在ExtractorJS类里只找到了JAVASCRIPT_STRING_EXTRACTOR，请问该如何修改正则表达式才能提取中文URL呢？