深入理解Python的字符编码

 

在处理中文的时候，我们有时候会碰到中文乱码的问题。

究其根本原因是正确的字节序列按照错误的编码方式解码成字符

或者正确的字符被错误的编码成字节序列导致信息的丢失，然后不管如何解码都无法恢复。

 

字节序列常见于保存在磁盘上的文件，网络中传输的内容等。

 

 

如果您对java的字符编码感兴趣的话，

请参见本人另一篇博文 深度剖析java字符编码

 

 

一，通过例子理解字符编码

在Python中有两个和字符很相关的类型，一个是str类型，一个是unicode类型。

这两种类型的对象都是sequece序列，其中str是字节序列，而unicode是字符序列                                                                                                                                                                              

在2.x版本的python中，默认定义的字符串是str类型的。

比如你这么定义  

 

# -*- coding:utf-8 -*-
s=”中文”
us=u”中文”

 

这样的源码是保存在源码文件中的，其实文件保存在磁盘上的时候都是二进制的字节编码 E4 B8 AD E6 96 87

 

，只有一定的软件比如文件编辑器打开文件对这些文本的二进制编码进行正确的解码后才能在软件中显示正确，被人们所看懂。

 

那么在运行的时候是什么样的状态呢？

首先python的运行环境会检测你的源码的编码方式，utf-8

且s的类型是str类型，即字节序列，那么我们需要将”中文”从源码文件中按照utf-8读取成字节序列，那么s在运行的时候就是找个字节序列。其长度len(s)为6，因为utf-8中一个中文需要3个字节E4 B8 AD E6 96 87来表示

而us是unicode字符串，那么在运行的时候，us是“中”和“国”这两个字符的unicode字符\u4E2D \u6587，其长度是2

 

二.Python中和编码相关的两个函数

在Python中和编码相关的两个函数为decode和encode

在Java中你也会发现这两个类似的方法。

你搜索一下互联网你会发现关于这两个方法的叙述会很多，很多都说的不是很准确。

 

其中encode()是将某个unicode字符串按照一定的编码方式编码成字节序列

而decode()是一个反过程，将一个字节序列按照一定的编码方式解码成unicode字符串。

 

这个时候可能有人会问：那么对于一个str类型（已经是字节数组）再应用decode是什么概念呢？？

其实str.encode(e) 是和 unicode(str).encode(e)是一样的，python底层做的时候也是确实这么做的。

python这么实现主要是为了方式当某个对象不确定是str还是unicode类型的时候，那么用encode函数总是不会出现错误。

 

 

三.Python3000中的字符编码

 

而在python3k中，所有的str类型的字符串默认就是unicode字符串，字节数组则可以通过bytes类型来表示。这就和java很类似了。