nutch抓取繁体乱码

问答首页 → 综合技术

0 0

nutch抓取繁体乱码5

nutch在爬取站点时。网页内容出现繁体中文乱码。怎么回事，知道的告诉下，谢了

问题补充：问题补充：
1.我是从nutch源码中拦截网页内容进行操作的，所以在tomcat中设置是没用的。
2.使用big5转码的话。网页内容是由简繁体结合的。所以big5了，简体会出问题。
知道的帮忙下。谢了

编程综合

2010年5月08日 09:56

liupeng0717
0
0 0 0

3个答案按时间排序按投票排序

0 0

引用

2.使用big5转码的话。网页内容是由简繁体结合的。所以big5了，简体会出问题。

如果含有需多种编码方式(简体和繁体)的字符集。使用国际标准字符集Unicode，编码使用常见的UTF-8.

2010年5月10日 10:27

Anddy
2157
0 0 0

添加评论

0 0

获取页面内容后用指定编码“big5”的InputStreamReader读取。

InputStream is = new InputStream();
BufferedReader br = new BufferedReader(new InputStreamReader(is,"big5")); 
while ((sLine = br.readLine()) != null) {
代码处理………………
}

2010年5月08日 10:32

Anddy
2157
0 0 0

添加评论

0 0

搜索页面上的部分中文出现乱码。该问题主要由jsp:include引起。将被包含文件nutch\zh\include\header.html由UTF-8转换为GBK，修正该问题。

搜索中文出现乱码。修改tomcat配置文件tomcat6\conf\server.xml。增加URIEncoding/useBodyEncodingForURI两项。

<Connector port="8080" protocol="HTTP/1.1"

connectionTimeout="20000"

redirectPort="8443"

URIEncoding="UTF-8"

useBodyEncodingForURI="true"/>

网页快照乱码问题修正。修改页面tomcat6\webapps\nutch\cached.jsp，将content = new String(bean.getContent(details))修改为content = new String(bean.getContent(details),"utf-8")。

apache整合。修改apache配置文件\conf\httpd.conf，增加如下配置

LoadModule proxy_module modules/mod_proxy.so

LoadModule proxy_http_module modules/mod_proxy_http.so

<IfModule mod_proxy.c>

ProxyPass /nutch http://localhost:8080/nutch

ProxyPassReverse /nutch http://localhost:8080/nutch

</IfModule>

url问题。在和apache整合后会出现url不正确的问题。主要表现为用户看到的url的前缀为ProxyPass中配置的url。目前还没有比较好的解决方案，只能手动修改所有问题jsp页面。使用命令findstr /s requestURI *.jsp查找出所有问题页面。在String base = requestURI.substring(0, requestURI.lastIndexOf('/'));后面增加base = base.replace("localhost:8080", "mysite.com");，将错误的url替换为正确的url地址。

删除页面tomcat6\webapps\nutch\cached.jsp，关闭网页快照功能。由于部分页面，当前用户可能无访问权限，关闭快照功能。

中文问题修改

Nutch默认支持中文搜索，只是Nutch对中文采用安字进行分词，例如搜索“中国”不使用双引号，将返回所有包含“中”和“国”的网页。为方便使用，系统自动为搜索内容添加双引号。

修改文件tomcat6\webapps\nutch\search.jsp。增加格式化搜索字符的函数，同时对queryString进行处理。

<%!

public static String format_query_str(String s) {

s = s.replace("”", "\"").replace("“", "\"");// 处理中文符号

if (s.indexOf("\"") > -1) {// 如果包含"则不继续进行处理

return s;

}

String[] ss = s.split(" ");

String ret_s = "";

for (String str : ss) {

if (str.trim().equals("")) {

continue;

}

if (str.indexOf("-") == 0) {

str = "-\"" + str.substring(1) + "\"";

} else {

str = "\"" + str + "\"";

}

ret_s += str + " ";

}

return ret_s.trim();

}

%>

queryString = format_query_str(queryString);

搜索帮助

使用方法和常见的搜索引擎类似，支持多关键字，多个关键字之间使用空格进行分割。
对中文采用安字进行分词，因此对中文搜索时最好加上双引号。例如搜索“中国”如果不使用双引号，将返回所有包含“中”和“国”的网页。
可以在一个词前面加减号丛而禁止它出现在搜索结果中, 例如, 搜索football -nfl 会找到讨论football, 但不出现"nfl"的网页。
搜索英文单词不区分大小写, 因此搜索NuTcH 等同于搜索 nUtCh。