From:
https://github.com/acmerfight/insight_python/blob/master/Unicode_and_Character_Sets.md#%E5%AD%97%E7%AC%A6%E7%BC%96%E7%A0%81
字符编码
你是否认为“ASCII码 =
一个字符就是8比特”？你是否认为一个字节就是一个字符,一个字符就是8比特？你是否还认为你是否还认为UTF-8就是用8比特表示一个字符？如果真的是这样认为认真读完这篇文章吧！
为什么要有编码？
首先大家需要明确的是在计算机里所有的数据都是字节的形式存储，处理的。我们需要这些字节来表示计算机里的信息。但是这些字节本身又是没有任何意义的，所以我们需要对这些字节赋予实际的意义。所以才会制定各种编码标准。
编码模型
首先需要明确的是存在两种编码模型
简单字符集
在这种编码模型里，一个字符集定义了这个字符集里包含什么字符，同时把每个字符如何对应成计算机里的比特也进行了定义。例如ASCII，在ASCII里直接定义了A
-> 01000001。
现代编码模型
在现代编码模型里要知道一个字符如何映射成计算机里比特，需要经过如下几个步骤。
1.知道一个系统需要支持哪些字符，这些字符的集合被称为字符表（Characterrepertoire）
2.给字符表里的抽象字符编上一个数字，也就是字符集合到一个整数集合的映射。这种映射称为编码字符集（CCS:CodedCharacter Set）,unicode是属于这一层的概念，跟计算机里的什么进制啊没有任何关系，它是完全数学的抽象的。
3.将CCS里字符对应的整数转换成有限长度的比特值，便于以后计算机使用一定长度的二进制形式表示该整数。这个对应关系被称为字符编码表（CEF:CharacterEncoding
Form）UTF-8, UTF-16都属于这层。
4.对于CEF得到的比特值具体如何在计算机中进行存储，传输。因为存在大端小端的问题，这就会跟具体的操作系统相关了。这种解决方案称为字符编码方案（CES:CharacterEncoding
Scheme）。
平常我们所说的编码都在第三步的时候完成了,都没有涉及到CES。所以CES并不在本文的讨论范围之内。
现在也许有人会想为什么要有现代的编码模型？为什么在现在的编码模型要拆分出这么多概念？直接像原始的编码模型直接都规定好所有的信息不行吗？这些问题在下文的编码发展史中都会有所阐述。
编码的发展史
ASCII
ASCII出现在上个世纪60年代的美国，ASCII一共定义了128个字符，使用了一个字节的7位。定义的这些字符包括英文字母A-Z，a-z，数字0-9，一些标点符号和控制符号。在Shell里输入man
ASCII，可以看到完整的ASCII字符集。ASCII采用的编码模型是简单字符集，它直接定义了一个字符的比特值表示。里例如上文提到的A
-> 01000001。也就是ASCII直接完成了现代编码模型的前三步工作。
在英语系国家里ASCII标准很完美。但是不要忘了世界上可有好几千种语言，这些语言里不仅只有这些符号啊。如果使用这些语言的人也想使用计算机，ASCII就远远不够了。到这里编码进入了混乱的时代。
混乱时代
人们知道计算机的一个字节是8位，可以表示256个字符。ASCII却只使用了7位，所以人们决定把剩余的一位也利用起来。这时问题出现了，人们对于已经规定好的128个字符是没有异议的，但是不同语系的人对于其他字符的需求是不一样的，所以对于剩下的128个字符的扩展会千奇百怪。而且更加混乱的是，在亚洲的语言系统中有更多的字符，一个字节无论如何也满足不了需求了。例如仅汉字就有10万多个，一个字节的256表示方式怎么能够满足呢。于是就又产生了各种多字节的表示一个字符方法(gbk就是其中一种)，这就使整个局面更加的混乱不堪。（希望看到这里的你不再认为一个字节就是一个字符，一个字符就是8比特）。每个语系都有自己特定的编码页（code
pages）的状况，使得不同的语言出现在同一台计算机上，不同语系的人在网络上进行交流都成了痴人说梦。这时Unicode出现了。
Unicode
Unicode就是给计算机中所有的字符各自分配一个代号。Unicode通俗来说是什么呢？就是现在实现共产主义了，各国人民不在需要自己特定的国家身份证，而是给每人一张全世界通用的身份证。Unicode是属于编码字符集（CCS）的范围。Unicode所做的事情就是将我们需要表示的字符表中的每个字符映射成一个数字，这个数字被称为相应字符的码点（code
point）。例如“严”字在Unicode中对应的码点是U+0x4E25。
到目前为止，我们只是找到了一堆字符和数字之间的映射关系而已，只到了CCS的层次。这些数字如何在计算机和网络中存储和展示还没有提到。
字符编码
前面还都属于字符集的概念，现在终于到CEF的层次了。为了便于计算的存储和处理，现在我们要把哪些纯数学数字对应成有限长度的比特值了。最直观的设计当然是一个字符的码点是什么数字，我们就把这个数字转换成相应的二进制表示，例如“严”在Unicode中对应的数字是0x4E25,他的二进制是100
1110 0010 0101，也就是严这个字需要两个字节进行存储。按照这种方法大部分汉字都可以用两个字节来表示了。但是还有其他语系的存在，没准儿他们所使用的字符用这种方法转换就需要4个字节。这样问题又来了到底该使用几个字节表示一个字符呢？如果规定两个字节，有的字符会表示不出来，如果规定较多的字节表示一个字符，很多人又不答应，因为本来有些语言的字符两个字节处理就可以了，凭什么用更多的字节表示，多么浪费。
这时就会想可不可以用变长的字节来存储一个字符呢？如果使用了变长的字节表示一个字符，那就必须要知道是几个字节表示了一个字符，要不然计算机可没那么聪明。下面介绍一下最常用的UTF-8（UTF是Unicode
Transformation Format的缩写）的设计。请看下图（来自阮一峰的博客）
x表示可用的位
通过UTF-8的对应关系可以把每个字符在Unicode中对应的码点，转换成相应的计算机的二进制表示。可以发现按照UTF-8进行转换是完全兼容原先的ASCII的；而且在多字节表示一个字符时，开头有几个1就表示这个字符按照UTF-8转换后由几个字节表示。下面一个实例子来自阮一峰的博客
已知“严”的unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000
0800-0000FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx
10xxxxxx10xxxxxx”。然后，从“严”的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，“严”的UTF-8编码是“11100100
10111000 10100101”，转换成十六进制就是0xE4B8A5。
除了UTF-8这种转换方法，还存在UTF-16，UTF-32等等转换方法。这里就不再多做介绍。（注意UTF后边的数字代表的是码元的大小。码元（Code
Unit）是指一个已编码的文本中具有最短的比特组合的单元。对于UTF-8来说，码元是8比特长；对于UTF-16来说，码元是16比特长。换一种说法就是UTF-8的是以一个字节为最小单位的，UTF-16是以两个字节为最小单位的。）
结束语
花了两天时间终于写完了，相信看到这里大家对于字符编码有了较为清楚的认识，当然文章中肯定存在不准确之处，希望大家批评指正。
邮箱：acmerfight圈gmail.com
参考资料
字符编码
The Absolute Minimum EverySoftware Developer Absolutely, Positively Must Know About Unicode and CharacterSets (No Excuses!)
字符编码笔记：ASCII，Unicode和UTF-8
字符集和字符编码
Windows
记事本的 ANSI、Unicode、UTF-8
这三种编码模式有什么区别？
如何向非技术人员解释 Unicode
是什么
字符编解码的故事（ASCII，ANSI，Unicode，Utf-8）
分享到：
相关推荐
Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。
内容概要：本文介绍了使用 Matlab 实现 SO-CNN-SVM 框架进行多输入单输出回归预测的全过程。该框架利用蛇群优化算法（SO）优化卷积神经网络（CNN）和 支持向量机（SVM），实现高效的特征提取和回归预测。文章详细描述了数据预处理、模型构建、SO算法优化、模型训练、可视化和 GUI 设计的步骤，并提供了完整的代码示例。 适合人群：具备一定机器学习和深度学习基础，熟悉 Matlab 编程的研究人员和开发人员。 使用场景及目标：① 工业制造中的设备故障预测和质量控制；② 金融分析中的市场价格预测和风险管理；③ 环境监测中的气候变化和空气质量预测。该框架的目标是提高预测精度，优化模型参数，缩短训练时间，增强模型泛化能力。 阅读建议：本文不仅详细介绍了理论背景和技术细节，还提供了实际操作的代码和 GUI 设计思路，建议读者在阅读过程中结合实际数据和代码进行实验，以更好地理解和掌握相关技术。
Java系统源码+社区养老服务系统 内容概要： 本资源包含了完整的Java前后端源码及说明文档，适用于想要快速搭建并部署Java Web应用程序的开发者、学习者。 技术栈： 后端：Java生态系统，包含Spring Boot、Shiro、MyBatis等，数据库使用Mysql 前端：Vue、Bootstrap、Jquery等 适用场景示例： 1、毕业生希望快速启动一个新的Java Web应用程序。 2、团队寻找一个稳定的模板来加速产品开发周期。 3、教育机构或个人学习者用于教学目的或自学练习。 4、创业公司需要一个可以立即投入使用的MVP（最小可行产品）。
Java系统源码+健身房管理系统 内容概要： 本资源包含了完整的Java前后端源码及说明文档，适用于想要快速搭建并部署Java Web应用程序的开发者、学习者。 技术栈： 后端：Java生态系统，包含Spring Boot、Shiro、MyBatis等，数据库使用Mysql 前端：Vue、Bootstrap、Jquery等 适用场景示例： 1、毕业生希望快速启动一个新的Java Web应用程序。 2、团队寻找一个稳定的模板来加速产品开发周期。 3、教育机构或个人学习者用于教学目的或自学练习。 4、创业公司需要一个可以立即投入使用的MVP（最小可行产品）。
阵列信号处理中，均匀线阵条件下，分析不同信噪比条件下，幅相误差对于测向角度偏差的影响
Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。
Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。
瓶罐检测26-CreateML、Darknet、Paligemma、TFRecord、VOC数据集合集.rarDetectResiduos-V1 2024-02-24 3:32 PM ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本，您可以与此数据集一起使用 该数据集包括6821张图像。 工具以创建格式注释。 将以下预处理应用于每个图像： *像素数据的自动取向（带有Exif-Arientation剥离） *调整大小为640x640（拉伸） 应用以下扩展来创建每个源图像的3个版本： *水平翻转的50％概率 *垂直翻转的50％概率 * -15和+15度之间的随机旋转 * 0到1.5像素之间的随机高斯模糊
名片管理系统.pdf
瓶子检测3-YOLOv9数据集合集.rarMY_DATASET11-V1 2022-12-28 1:46 AM ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本，您可以与此数据集一起使用 该数据集包括1001张图像。 塑料 - 玻璃金属纸纸以yolov9格式注释。 将以下预处理应用于每个图像： *像素数据的自动取向（带有Exif-Arientation剥离） *调整到224x224（拉伸） 没有应用图像增强技术。
水瓶瓶罐检测58-YOLO（v5至v9）、COCO、CreateML、Darknet、Paligemma、TFRecord、VOC数据集合集.rarQaldyq Suryptau-V2 2024-02-26 8:05 PM ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本，您可以与此数据集一起使用 该数据集包括2328张图像。 以可可格式注释了金属 - 柔性 - plastmassa-qaldyq。 将以下预处理应用于每个图像： *像素数据的自动取向（带有Exif-Arientation剥离） *调整大小为416x416（拉伸） 应用以下扩展来创建每个源图像的3个版本： *随机裁剪图像的0％至10％ * -15和+15度之间的随机旋转 *随机的BRIGTHNESS调整-10％至+10％ * -7％至 +7％之间的随机暴露调整
Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。
使用精品酒销售管理系统的用户分管理员和用户两个角色的权限子模块。 管理员所能使用的功能主要有：主页、个人中心、用户管理、商品分类管理、商品信息管理、系统管理、订单管理等。 用户可以实现主页、个人中心、我的收藏管理、订单管理等。 前台首页可以实现商品信息、新闻资讯、我的、跳转到后台、购物车等。 项目包含完整前后端源码和数据库文件 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7 数据库工具：Navicat11 开发软件：eclipse/idea Maven包：Maven3.3 服务器：tomcat7
1_io_thread_1734442494401.wmv
java 一个基于Java Web的在线问卷调查系统源码实例 一个基于Java Web的在线问卷调查系统源码实例
网站前台注重的功能实现包括会员注册、系统公告、项目查看、在线留言、关注收藏项目、众筹项目申请，网站后台注重的功能实现包括系统用户管理、用户注册审核、项目类别管理、项目信息管理、投资申请查看、投资申请审核、申请结果反馈。 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7 数据库工具：Navicat11 开发软件：eclipse/idea Maven包：Maven3.3 服务器：tomcat7
以下是一个关于毕业设计的资源描述和项目源码的简要概述： 资源描述 该毕业设计项目为一个基于Spring Boot的在线学习系统。该项目使用了丰富的资源来确保项目的顺利完成。首先，通过数字图书馆和在线数据库（如谷歌学术）获取了大量的相关文献和最新研究成果，为项目的理论基础提供了坚实的支撑。其次，参考了一些电子书籍和国内外教程资源，学习了相关的开发技巧和最佳实践。此外，项目还利用了Spring Boot、MyBatis等开源框架，以及MySQL数据库，这些资源大大提高了开发效率和系统的稳定性。 在开发过程中，还参与了线上和线下的技术培训和研讨会，与其他开发者交流经验，解决了一些技术难题。这些活动不仅提供了宝贵的学习机会，还帮助更好地理解了项目的需求和实现方式。 项目源码概述 该项目源码主要包括以下几个部分： 后端代码：基于Spring Boot框架，实现了用户管理、课程管理、在线学习、模拟考试等功能。 前端代码：使用HTML、CSS和JavaScript（可能使用Vue.js或React.js）等技术，构建了友好的用户界面，使用户能够方便地浏览课程、进行在线学习和考试。 数据库脚本
如果在运维环境中，尤其是乙方，甲方客户为了安全一般不允许上传破解/绿色版等运维软件，这时候如果有官网下载的运维工具且是免费的，那不就可以正常使用了。 8款软件，显示版本到6，以后可不可以不清楚，现在我用绿色版用不上这个。 包含：xfile、xftp、xlpd、xmanager、xmanager 3d、xmanager powersuite、xshell、xshell plus
广东省深圳市公司申请助理级职称的主要步骤
杂货产品检测43-YOLO（v5至v9）、CreateML、Paligemma、TFRecord、VOC数据集合集.rarIPCV分配-V6 2024-01-21 6:10 PM ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本，您可以与此数据集一起使用 该数据集包括7012张图像。 家庭废物以createMl格式注释。 将以下预处理应用于每个图像： *像素数据的自动取向（带有Exif-Arientation剥离） *调整大小为640x640（拉伸） 没有应用图像增强技术。