汉字编码原理 转http://www.cnblogs.com/navicy/archive/2005/05/08/150

xml 代码

1、汉字编码原理
到底怎么办到随机生成汉字的呢？汉字从哪里来的呢？是不是有个后台数据表，其中存放了所需要的所有汉字，使用程序随机取出几个汉字组合就行了呢？使用后台数据库先将所有汉字存起来使用时随机取出，这也是一种办法，但是中文汉字有这么多，怎么来制作呢？其实可以不使用任何后台数据库，使用程序就能做到这一切。要知道如何生成汉字，就得先了解中文汉字的编码原理。
1980年，为了使每一个汉字有一个全国统一的代码，我国颁布了第一个汉字编码的国家标准： GB2312-80《信息交换用汉字编码字符集》基本集，简称GB2312，这个字符集是我国中文信息处理技术的发展基础，也是国内所有汉字系统的统一标准。到了后来又公布了国家标准GB18030-2000《信息交换用汉字编码字符集基本集的扩充》，简称GB18030，编程时如果涉及到编码和本地化的朋友应该对GB18030很熟悉。这是是我国继GB2312-1980和GB13000-1993之后最重要的汉字编码标准，同时也是未来我国计算机系统必须遵循的基础性标准之一。
目前在中文WINDOWS操作系统中，.NET编程中默认的的代码页就是GB18030简体中文。但是事实上如果生成中文汉字验证码只须要使用GB2312字符集就已经足够了。字符集中除了我们平时大家都认识的汉字外，也包含了很多我们不认识平时也很少见到的汉字。如果生成中文汉字验证码中有很多我们不认识的汉字让我们输入，对于使用拼音输入法的朋友来说可不是好事，五笔使用者还能勉强根据汉字的长相打出来，呵呵！所以对于GB2312字符集中的汉字我们也不是全都要用。
中文汉字字符可以使用区位码来表示，见

汉字区位码表            http://navicy2005.home4u.china.com/resource/gb2312tbl.htm
汉字区位码代码表    http://navicy2005.home4u.china.com/resource/gb2312tbm.htm

其实这两个表是同一回事，只不过一个使用十六进制分区表示，一个使用区位所在的数字位置表示。 例如“好”字的十六进制区位码是ba c3，前两位是区域，后两位代表位置，ba处在第26区，“好”处在此区汉字的第35位也就是c3位置，所以数字代码就是2635。这就是GB2312汉字区位原理。根据《汉字区位码表》我们可以发现第15区也就是AF区以前都没有汉字，只有少量符号，汉字都从第16区B0开始，这就是为什么GB2312字符集都是从16区开始的。

2、.Net程序处理汉字编码原理分析
在.Net中可以使用System.Text来处理所有语言的编码。在System.Text命名空间中包含众多编码的类，可供进行操作及转换。其中的Encoding类就是重点处理汉字编码的类。通过在.NET文档中查询Encoding类的方法我们可以发现所有和文字编码有关的都是字节数组，其中有两个很好用的方法：

Encoding.GetBytes ()方法将指定的 String 或字符数组的全部或部分内容编码为字节数组
Encoding.GetString ()方法将指定字节数组解码为字符串。


没错我们可以通过这两个方法将汉字字符编码为字节数组，同样知道了汉字GB2312的字节数组编码也就可以将字节数组解码为汉字字符。通过对“好”字进行编码为字节数组后

Encoding gb=System.Text.Encoding.GetEncoding("gb2312");
object[] bytes=gb.Encoding.GetBytes ("好")；


发现得到了一个长度为2的字节数组bytes，使用

string lowCode = System.Convert.ToString(bytes[0], 16); //取出元素1编码内容（两位16进制）
string hightCode = System.Convert.ToString(bytes[1], 16);//取出元素2编码内容（两位16进制）


之后发现字节数组bytes16进制变码后内容竟然是{ba,c3}，刚好是“好”字的十六进制区位码（见区位码表）。
因此我们就可以随机生成一个长度为2的十六进制字节数组，使用GetString ()方法对其进行解码就可以得到汉字字符了。不过对于生成中文汉字验证码来说，因为第15区也就是AF区以前都没有汉字，只有少量符号，汉字都从第16区 B0开始，并且从区位D7开始以后的汉字都是和很难见到的繁杂汉字，所以这些都要排出掉。所以随机生成的汉字十六进制区位码第1位范围在B、C、D之间，如果第1位是D的话，第2位区位码就不能是7以后的十六进制数。在来看看区位码表发现每区的第一个位置和最后一个位置都是空的，没有汉字，因此随机生成的区位码第3位如果是A的话，第4位就不能是0；第3位如果是F的话，第4位就不能是F。
好了，知道了原理，随机生成中文汉字的程序也就出来了，以下就是生成4个随机汉字的C#控制台代码：


3、程序代码：

using System;
using System.Text;

namespace ConsoleApplication
{
    class ChineseCode
　　{
        public static void Main()
        {
            //获取GB2312编码页（表）
            Encoding gb=Encoding.GetEncoding("gb2312");

            //调用函数产生4个随机中文汉字编码
            object[] bytes=CreateRegionCode(4);

            //根据汉字编码的字节数组解码出中文汉字
            string str1=gb.GetString((byte[])Convert.ChangeType(bytes[0], typeof(byte[])));
            string str2=gb.GetString((byte[])Convert.ChangeType(bytes[1], typeof(byte[])));
            string str3=gb.GetString((byte[])Convert.ChangeType(bytes[2], typeof(byte[])));
            string str4=gb.GetString((byte[])Convert.ChangeType(bytes[3], typeof(byte[])));

            //输出的控制台
　　        Console.WriteLine(str1 + str2 +str3 +str4);
　　    }


        /**//*
        此函数在汉字编码范围内随机创建含两个元素的十六进制字节数组，每个字节数组代表一个汉字，并将
        四个字节数组存储在object数组中。
        参数：strlength，代表需要产生的汉字个数
        */
        public static object[] CreateRegionCode(int strlength)
        {
            //定义一个字符串数组储存汉字编码的组成元素
            string[] rBase=new String [16]{"0","1","2","3","4","5","6","7","8","9","a","b","c","d","e","f"};

            Random rnd=new Random();

            //定义一个object数组用来
            object[] bytes=new object[strlength];

            /**//*每循环一次产生一个含两个元素的十六进制字节数组，并将其放入bject数组中
             每个汉字有四个区位码组成
             区位码第1位和区位码第2位作为字节数组第一个元素
             区位码第3位和区位码第4位作为字节数组第二个元素
            */
            for(int i=0;i<strlength;i++)
            {
                //区位码第1位
                int r1=rnd.Next(11,14);
                string str_r1=rBase[r1].Trim();

                //区位码第2位
                rnd=new Random(r1*unchecked((int)DateTime.Now.Ticks)+i);//更换随机数发生器的

种子避免产生重复值
                int r2;
                if (r1==13)
                {
                    r2=rnd.Next(0,7);
                }
                else
                {
                    r2=rnd.Next(0,16);
                }
                string str_r2=rBase[r2].Trim();

                //区位码第3位
                rnd=new Random(r2*unchecked((int)DateTime.Now.Ticks)+i);
                int r3=rnd.Next(10,16);
                string str_r3=rBase[r3].Trim();

                //区位码第4位
                rnd=new Random(r3*unchecked((int)DateTime.Now.Ticks)+i);
                int r4;
                if (r3==10)
                {
                    r4=rnd.Next(1,16);
                }
                else if (r3==15)
                {
                    r4=rnd.Next(0,15);
                }
                else
                {
                    r4=rnd.Next(0,16);
                }
                string str_r4=rBase[r4].Trim();

                //定义两个字节变量存储产生的随机汉字区位码
                byte byte1=Convert.ToByte(str_r1 + str_r2,16);
                byte byte2=Convert.ToByte(str_r3 + str_r4,16);
                //将两个字节变量存储在字节数组中
                byte[] str_r=new byte[]{byte1,byte2};

                //将产生的一个汉字的字节数组放入object数组中
                bytes.SetValue(str_r,i);

            }

            return bytes;

            }
　　}

}


实现了随机生成汉字后，就可以使用.NET GDI来绘制自己需要的验证码图形了。具体的怎样生成验证码图片，以及改变其中字符的长和宽等效果网上已经有很多相关的文章，这里由于篇幅就不再介绍了。不过有一点要说明的是以上代码在中文版的Windows下才能运行，因为它带有GB的字符集，如果你是其他语言的操作系统，就需要安装GB字符集了。

转 http://www.cnblogs.com/navicy/archive/2005/05/08/150756.html

 

1、汉字编码原理
到底怎么办到随机生成汉字的呢？汉字从哪里来的呢？是不是有个后台数据表，其中存放了所需要的所有汉字，使用程序随机取出几个汉字组合就行了呢？ 使用后台数据库先将所有汉字存起来使用时随机取出，这也是一种办法，但是中文汉字有这么多，怎么来制作呢？其实可以不使用任何后台数据库，使用程序就能做 到这一切。要知道如何生成汉字，就得先了解中文汉字的编码原理。
1980年，为了使每一个汉字有一个全国统一的代码，我国颁布了第一个汉字编码的国家标准： GB2312-80《信息交换用汉字编码字符集》基本集，简称GB2312，这个字符集是我国中文信息处理技术的发展基础，也是国内所有汉字系统的统一标 准。到了后来又公布了国家标准GB18030-2000《信息交换用汉字编码字符集基本集的扩充》，简称GB18030，编程时如果涉及到编码和本地化的 朋友应该对GB18030很熟悉。这是是我国继GB2312-1980和GB13000-1993之后最重要的汉字编码标准，同时也是未来我国计算机系统 必须遵循的基础性标准之一。
目前在中文WINDOWS操作系统中，.NET编程中默认的的代码页就是GB18030简体中文。但是事实上如果生成中文汉字验证码只须要使 用GB2312字符集就已经足够了。字符集中除了我们平时大家都认识的汉字外，也包含了很多我们不认识平时也很少见到的汉字。如果生成中文汉字验证码中有 很多我们不认识的汉字让我们输入，对于使用拼音输入法的朋友来说可不是好事，五笔使用者还能勉强根据汉字的长相打出来，呵呵！所以对于GB2312字符集 中的汉字我们也不是全都要用。
中文汉字字符可以使用区位码来表示，见

汉字区位码表 http://navicy2005.home4u.china.com/resource/gb2312tbl.htm
汉字区位码代码表 http://navicy2005.home4u.china.com/resource/gb2312tbm.htm

其实这两个表是同一回事，只不过一个使用十六进制分区表示，一个使用区位所在的数字位置表示。 例如“好”字的十六进制区位码是ba c3，前两位是区域，后两位代表位置，ba处在第26区，“好”处在此区汉字的第35位也就是c3位置，所以数字代码就是2635。这就是GB2312汉 字区位原理。根据《汉字区位码表 》我们可以发现第15区也就是AF区以前都没有汉字，只有少量符号，汉字都从第16区B0开始，这就是为什么GB2312字符集都是从16区开始的。

2、.Net程序处理汉字编码原理分析
在.Net中可以使用System.Text来处理所有语言的编码。在System.Text命名空间中包含众多编码的类，可供进行操作及转换。 其中的Encoding类就是重点处理汉字编码的类。通过在.NET文档中查询Encoding类的方法我们可以发现所有和文字编码有关的都是字节数组， 其中有两个很好用的方法：

Encoding.GetBytes ()方法将指定的 String 或字符数组的全部或部分内容编码为字节数组
Encoding.GetString ()方法将指定字节数组解码为字符串。

没错我们可以通过这两个方法将汉字字符编码为字节数组，同样知道了汉字GB2312的字节数组编码也就可以将字节数组解码为汉字字符。通过对“好”字进行编码为字节数组后

Encoding gb=System.Text.Encoding.GetEncoding("gb2312");
object[] bytes=gb.Encoding.GetBytes ("好")；

发现得到了一个长度为2的字节数组bytes，使用

string lowCode = System.Convert.ToString(bytes[0], 16); //取出元素1编码内容（两位16进制）
string hightCode = System.Convert.ToString(bytes[1], 16);//取出元素2编码内容（两位16进制）

之后发现字节数组bytes16进制变码后内容竟然是{ba,c3}，刚好是“好”字的十六进制区位码（见区位码表）。
因此我们就可以随机生成一个长度为2的十六进制字节数组，使用GetString ()方法对其进行解码就可以得到汉字字符了。不过对于生成中文汉字验证码来说，因为第15区也就是AF区以前都没有汉字，只有少量符号，汉字都从第16区 B0开始，并且从区位D7开始以后的汉字都是和很难见到的繁杂汉字，所以这些都要排出掉。所以随机生成的汉字十六进制区位码第1位范围在B、C、D之间， 如果第1位是D的话，第2位区位码就不能是7以后的十六进制数。在来看看区位码表发现每区的第一个位置和最后一个位置都是空的，没有汉字，因此随机生成的 区位码第3位如果是A的话，第4位就不能是0；第3位如果是F的话，第4位就不能是F。
好了，知道了原理，随机生成中文汉字的程序也就出来了，以下就是生成4个随机汉字的C#控制台代码：

3、程序代码：

using System;
using System.Text;

namespace ConsoleApplication
{
class ChineseCode
　　{
public static void Main()
{
//获取GB2312编码页（表）
Encoding gb=Encoding.GetEncoding("gb2312");

//调用函数产生4个随机中文汉字编码
object[] bytes=CreateRegionCode(4);

//根据汉字编码的字节数组解码出中文汉字
string str1=gb.GetString((byte[])Convert.ChangeType(bytes[0], typeof(byte[])));
string str2=gb.GetString((byte[])Convert.ChangeType(bytes[1], typeof(byte[])));
string str3=gb.GetString((byte[])Convert.ChangeType(bytes[2], typeof(byte[])));
string str4=gb.GetString((byte[])Convert.ChangeType(bytes[3], typeof(byte[])));

//输出的控制台
　　 Console.WriteLine(str1 + str2 +str3 +str4);
　　 }


/**//*
此函数在汉字编码范围内随机创建含两个元素的十六进制字节数组，每个字节数组代表一个汉字，并将
四个字节数组存储在object数组中。
参数：strlength，代表需要产生的汉字个数
*/
public static object[] CreateRegionCode(int strlength)
{
//定义一个字符串数组储存汉字编码的组成元素
string[] rBase=new String [16]{"0","1","2","3","4","5","6","7","8","9","a","b","c","d","e","f"};

Random rnd=new Random();

//定义一个object数组用来
object[] bytes=new object[strlength];

/**//*每循环一次产生一个含两个元素的十六进制字节数组，并将其放入bject数组中
每个汉字有四个区位码组成
区位码第1位和区位码第2位作为字节数组第一个元素
区位码第3位和区位码第4位作为字节数组第二个元素
*/
for(int i=0;i<strlength;i++)
{
//区位码第1位
int r1=rnd.Next(11,14);
string str_r1=rBase[r1].Trim();

//区位码第2位
rnd=new Random(r1*unchecked((int)DateTime.Now.Ticks)+i);//更换随机数发生器的

种子避免产生重复值
int r2;
if (r1==13)
{
r2=rnd.Next(0,7);
}
else