java调用perl出现编码问题

Java和Perl互相调用的编码问题

2010-01-08 15:55

在Java和Perl互相调用的程序中，涉及IO的部分一定要合理处理编码问题。
Windows系统中Java的默认编码是GBK，而Perl默认编码是UTF-8.所以如果不合理处理编码，在进程通信过程中，如果处理的是大字符集，则必然会出现乱码，下面是一套解决方案（分析基于Windows系统）：

1. perl可以方便的处理编码，不仅可以在打开I/O描述符时设定I/O编码，而且可以随时更改,并且通过Perl还可以方便地进行编码转换:

PERL CODE
-------------------------------------
use encoding 'gbk';   # 系统默认编码为GBK
use open IN=>':encoding(utf16)';   # 读入文件时认为数据按UTF-16编码，自动根据BOM头判断
open(FH,"test.txt") or die;
while(<FH>) {   # 读入数据时自动从UTF-16转换为标准的UTF-8编码的Perl字符串
    chomp;
    print "$_\n";   # 由于encoding指定了系统默认编码，输出时数据自动从UTF-8转换为GBK
}

#也可以用open的3参数形式指定单个文件句柄的PerlIO层编码，并在输出时手工转换编码：
use Encode;   # 需要使用encode函数实现手工转码
open(FH,"<:encoding(utf16)","test.txt") or die;   # 指定FH句柄的数据为UTF-16编码
while(<FH>) {   # 读入数据同样自动转换为UTF-8
    chomp;
    print encode("gbk",$_),"\n";   # 手动将UTF-8编码字符串转换为GBK编码字符串输出
}

#另外使用binmode可以随时切换某个文件句柄的PerlIO层编码，如：
binmode(FH,":encoding(utf16)");   # 将FH的数据编码置为UTF-16
binmode(FH,":raw");   # 不对FH的数据进行编解码处理
binmode(FH,":utf8");   # 将FH的数据编码置为UTF-8
# [ 更多请参考perl manual ]
--------------------------------------

再使用Java调用Perl的时候可以通过如下方式让Perl的默认编码与Java相同，避免乱码的发生：
use Encode;
# set perl stdard iostream encoding
binmode(STDIN,":encoding(GBK)");
binmode(STDOUT,":encoding(GBK)");

2.Perl中编码转换:

PERL CODE
----------------------
use Encode;
$gb2312_string;
$utf8_string=decode("GB2312",$gb2312_string); #Perl默认编码为utf-8
$big5_string=encode("Big5",$utf8_string); #按Big5编码
----------------------

3.Java中编码的处理：

如果设定好了Perl的编码，那么Java的字符串只需要按默认编码GBK处理即可。
Java设定编码读取文件：
BufferedReader br = new BufferedReader(new InputStreamReader(
                    new FileInputStream(FILEPATH), ENCODING));
使用br.read() br.readLine()读取出来的字符串都会按Java默认编码GBK进行编码。
关于Java中编码探测和编码转换可以参考我的上一篇日志中给出的那几个网址中的相关工具进行处理，不再赘述。

注：
Linux系统中Java的默认编码为ISO-8859-1，为了使程序与平台无关，可以在编译的时候添加 encoding 参数。

参考网址：
http://chaoslawful.bokee.com/839877.html
http://www.ibm.com/developerworks/cn/java/java_chinese/