`

Python Unicode

 
阅读更多

今天学习Python时,遇到一个问题,Python Non-ASCII character '\xb0'

原因:字符编码问题

解决:首行加入# -*- coding: utf-8 -*-

 

codec:定义文本到二进制的字符转换

ASCII

UTF-8: 1个字节表示ASCII 完全相同        1-4个字节处理其他字符 

(单独值处理UTF-8时,会出现不能以定长字节读取字符)

UTF-16:  固定格式的2字节   分为大端形式和小端形式,不向后兼容ASCII-8

 

看个例子:写入时用UTF-16编码,读取不用UTF-16解码会出错

'''
An example of Unicode strings
using utf-8
'''
CODEC = 'utf-16'
out = u'hello world\n'
open('1.txt','w').write(out.encode(CODEC))

readin = open('1.txt','r').read()
print readin,
print readin.decode(CODEC),

 

总结:

1.程序中出现字符串时一定要加个前缀 u. 

2.不要用 str()函数,用 unicode()代替. 

3.不要用过时的 string 模块,如果传给它的是非 ASCII 字符,会把一切搞砸

4.不到必须时不要在你的程序里面编解码 Unicod 字符.只在你要写入文件或数据库或者网络时才需要

分享到:
评论

相关推荐

    PythonUnicode字符1

    ### Python中的Unicode字符详解 #### 一、引言 在当今全球化的软件开发环境中,支持多种语言成为了一项基本需求。Python作为一种高级编程语言,在处理国际化文本方面具有强大的能力,尤其是在处理Unicode字符方面...

    计算机二级python题库-基本操作题之Unicode字符.zip

    在准备计算机二级Python考试的过程中,理解并掌握Unicode字符是非常关键的一部分。Unicode是一种国际标准,它定义了一种统一的方式来表示世界上几乎所有的文字系统,包括汉字、拉丁字母、希腊字母等。在Python中,...

    Python3的unicode编码转换成中文的问题及解决方案

    在处理Python3的unicode编码转换为中文时,我们经常遇到的问题是,当我们尝试将包含unicode字符的字符串打印或者写入文件时,Python解释器有时并不会如我们所预期地将其转换为中文显示。这种现象尤其在从网络爬虫...

    python将unicode转为str的方法

    问题:  将u’\u810f\u4e71’转换为’\u810f\u4e71′  方法:  s_unicode = u'\u810f\u4e71' ... 您可能感兴趣的文章:python文字和unicode/ascll相互转换函数及简单加密解密实现代码python2 中 uni

    zjson:JSON格式化和编辑工具,支持错误的json解析和提示错误行,支持python unicode集合的解析,支持json转义压缩,支持历史解析记录,支持json比较,支持多种皮肤切换,支持桌面安装版下载等!

    转杰森| ZJSON 全力打造最好用的json格式化工具,欢迎一起来玩! 访问地址 网站: : ... GitHub: : ...支持python unicode集合的解析; 支持保存,删除和呈现格式化的历史; 支持格式化后的json以文件的形式下

    python 转换 Javascript %u 字符串为python unicode的代码

    这些编码通常用于表示Unicode字符,而在Python环境中,为了处理这些数据,我们需要将这些编码转换为Python的Unicode字符串。 知识点的详细阐述如下: 1. Unicode编码及其重要性: Unicode是一个国际标准,用于...

    Python代码源码-实操案例-框架案例-如何将爬取的Unicode码转换为中文信息.zip

    在抓取网页内容时,我们经常会遇到Unicode编码的问题,因为网页的编码方式多种多样,而Python默认处理字符串时使用的是Unicode编码。因此,如何将获取到的Unicode码正确转换为中文信息,是Python爬虫开发者必须掌握...

    python(4).pdf

    或者在Python3中,可以直接在字符串前添加`u`表示这是一个Unicode字符串,例如: ```python print(u"小明") ``` 2. Python2中的字符串有两种类型:str和unicode。str是字节串,遵循ASCII编码,而unicode是Unicode...

    python实现unicode转中文及转换默认编码的方法

    ### Python 实现 Unicode 转中文及转换默认编码的方法 #### 概述 在实际开发过程中,特别是处理网络爬虫时,经常会遇到 Unicode 编码的字符串需要转换为中文的情况。此外,在 Python 2.x 版本中,由于默认编码为 ...

    python笔试题.docx

    Python 基础知识笔试题目涵盖了 Python 语言的多个方面,包括基础语法、数据类型、函数、模块、字符串处理、 Unicode 编码、协程等。下面是对每个题目的知识点总结: 1. 非法表示式: Python 中,赋值语句只能在同...

    python判断unicode是否是汉字,数字,英文,或者其他字符.docx

    根据提供的文档内容,本文将详细解释如何在Python中判断Unicode字符是否属于汉字、数字、英文字符或其他字符,并介绍如何进行全角与半角字符之间的转换。此外,还将提供一段示例代码来展示这些功能的实际应用。 ###...

    Python3编码问题 Unicode utf-8 bytes互转方法

    Python 3中的编码方式与Python 2有着较大区别,特别是它对Unicode的原生支持。Unicode是一个为了计算机方便处理世界上各种语言文字而设计的编码标准,而UTF-8是目前广泛使用的字符编码方式,它是一种变长的编码方式...

    python_笔记.pdf

    - Python中所有的字符串都是Unicode字符串。 - 使用 `encode()` 和 `decode()` 方法可以在Unicode字符串和字节串之间进行转换,例如 `Unicodebytes_out=hello_out.encode(utf-8)`。 5. Python输入输出操作: - ...

    Python 编码处理-str与Unicode的区别

    一篇关于STR和UNICODE的好文章 整理下python编码相关的内容 注意: 以下讨论为Python2.x版本, Py3k的待尝试 开始 用python处理中文时,读取文件或消息,http参数等等 一运行,发现乱码(字符串处理,读写文件,print) ...

    Unicode 排序算法 的Python实现

    Unicode 排序算法和 pyuca 也支持收缩和扩展。收缩是多个字母被视为一个单元的地方。在西班牙语中,ch被视为介于cand之间的字母,d 因此,例如,开头的单词ch应该排在所有其他以 开头的单词之后c。扩展是单个字母被...

    深入浅析python3中的unicode和bytes问题

    ### Python3中的Unicode与Bytes详解 #### 一、引言 Python3 在处理字符串时引入了两种主要的数据类型:`str` 和 `bytes`。其中 `str` 类型默认使用 Unicode 编码,这标志着 Python3 相比于 Python2 在字符串处理上...

    Python中文本编码官方文件(howto-unicode)

    Python官方的这篇HOWTO文档《Python中文本编码官方文件(howto-unicode)》详细地介绍了Unicode编码的基本知识以及Python对Unicode的支持,这对于深入理解Unicode编码机制以及处理常见的编码问题极为重要。...

Global site tag (gtag.js) - Google Analytics