字符编码

Go语言中的字符 在Go语言中，没有字符类型，字符类型是rune类型，rune是int32的别称。 下面用一个简单的程序来演示字符类型： package main import ( "fmt" "reflect" ) func main() { r := '我' fmt.Printf("%q的类型为：%t 二进制为：%b\n", r, r, r) rType := reflect.TypeOf(r).Kind() fmt.Printf("r的实际类型为：%s\n", rType) } 程序输出： '我'的类型为：%!t(int32=25105) 二进制为：110001000010001 r的实际类型为：int32 Go语言天生支持Unicode，那我产生一个问题：Unicode字符的长度是多少？ 这个问题的问法有没有问题？其实仔细想想，这样问是有问题的。首先，Unicode的基础是一个有编号的字符集，在字符集之上又规定了模块化的编码等等技术层次，各种具体的编码形式并不一致。因此，严格来说，Unicode是没有“长度”这一说的，它是抽象的字符，只有Unicode的编码才有具体的字节长度。而且不同的编码实现，长度也不一样。 Unicode 目前规划的总空间是17个平面（平面0至16），每个平面有 65536 个码点。我们常用的平面0（「Basic Multilingual Plane」

前言 从 Mysql 数据库角度来说，谈到存储就一定离不开字符集，只不过在我们日常开发中统一的 utf8/utf8mb4 编码，使我们常常忽略了字符集的影响，本文仅从字符集的角度来谈谈对 InnoDB 的存储设计的一点影响，以及 Mysql 是怎么兼容各种字符集的。 过一下字符集 Unicode 作为现在通用的字符集，通常采用两个字节表示一个字符，带来的副作用就是，原本采用 ASCII 字符集只需要一个字节的，却变成了 2 个字节，造成了空间浪费，而 UTF-8 编码规则，将 Unicode 编码成 1～4 个字节，ASCII 字符集继续保持了 1 个字节空间，而中文编码成了三个字节，如下图。 对存储带来了什么影响 先说明下 Mysql 中存在两种字符集 utf8 和 utf8mb4，以下例子均以 Mysql 的 utf8（1～3个字节）为例。 采用 utf8 编码的确很不错，但是也带来了一个问题，例如我在 Mysql 中定义了一个定长字符类型 char(5)： name type length title char 5 所谓定长字符类型代表我要给 title 分配 5 个字符大小的空间，可是 utf8 每个字符可能是 1～3 个字节，我该分配多少空间合适呢？ 理论上为了兼容，最好应该采用 utf8 的最大 3 个字节进行分配，也就是 5*3 = 15 个字节的空间

ORACLE基本数据类型（亦叫内置数据类型 built-in datatypes)可以按类型分为：字符串类型、数字类型、日期类型、LOB类型、LONG RAW& RAW类型、ROWID & UROWID类型。 在讲叙字符串类型前，先要讲一下编码。字符串类型的数据可依编码方式分成数据库字符集（CHAR/VARCHAR2/CLOB/LONG)和国际字符集(NCHAR/NVARCHAR2/NCLOB)两种。数据库中的字符串数据都通过字符集将字符转换为数字后(二进制)，才存储到数据块中。通过不同的编码集转换，即便是相同的字符，也可能会转换成不同的二进制编码。这也是产生乱码的原因。数据库的编码格式一般是在创建数据库时指定的。当然也可以修改数据库的编码。 查看数据库视图所包含的数据类型:SELECT * FROM DBA_TYPES WHERE OWNER IS NULL.具体细节情况参见 Oracle® Database SQL Language Quick Reference 10/11 g 或 官方文档 一 字符串类型 字符串数据类型还可以依据存储空间分为固定长度类型（CHAR/NCHAR) 和可变长度类型（VARCHAR2/NVARCHAR2)两种. 所谓固定长度：是指虽然输入的字段值小于该字段的限制长度，但是实际存储数据时，会先自动向右补足空格后，才将字段值的内容存储到数据块中

ORACLE基本数据类型（亦叫内置数据类型 built-in datatypes)可以按类型分为：字符串类型、数字类型、日期类型、LOB类型、LONG RAW& RAW类型、ROWID & UROWID类型。 在讲叙字符串类型前，先要讲一下编码。字符串类型的数据可依编码方式分成数据库字符集（CHAR/VARCHAR2/CLOB/LONG)和国际字符集(NCHAR/NVARCHAR2/NCLOB)两种。数据库中的字符串数据都通过字符集将字符转换为数字后(二进制)，才存储到数据块中。通过不同的编码集转换，即便是相同的字符，也可能会转换成不同的二进制编码。这也是产生乱码的原因。数据库的编码格式一般是在创建数据库时指定的。当然也可以修改数据库的编码。 查看数据库视图所包含的数据类型:SELECT * FROM DBA_TYPES WHERE OWNER IS NULL.具体细节情况参见 Oracle® Database SQL Language Quick Reference 10/11 g 或 官方文档 一 字符串类型 字符串数据类型还可以依据存储空间分为固定长度类型（CHAR/NCHAR) 和可变长度类型（VARCHAR2/NVARCHAR2)两种. 所谓固定长度：是指虽然输入的字段值小于该字段的限制长度，但是实际存储数据时，会先自动向右补足空格后，才将字段值的内容存储到数据块中

ORACLE基本数据类型（亦叫内置数据类型 built-in datatypes)可以按类型分为： 字符串类型、数字类型、日期类型、LOB类型、LONG RAW& RAW类型、ROWID & UROWID类型。 字符串类型的数据可依编码方式分成数据库字符集（CHAR/VARCHAR2/CLOB/LONG)和国际字符集(NCHAR/NVARCHAR2/NCLOB)两种。 数据库中的字符串数据都通过字符集将字符转换为数字后(二进制)，才存储到数据块中。 通过不同的编码集转换，即便是相同的字符，也可能会转换成不同的二进制编码。 这也是产生乱码的原因。数据库的编码格式一般是在创建数据库时指定的。当然也可以修改数据库的编码。 查看数据库视图所包含的数据类型:SELECT * FROM DBA_TYPES WHERE OWNER IS NULL. 一 字符串类型 字符串数据类型还可以依据存储空间分为固定长度类型（CHAR/NCHAR) 和可变长度类型（VARCHAR2/NVARCHAR2)两种. 所谓固定长度：是指虽然输入的字段值小于该字段的限制长度， 但是实际存储数据时，会先自动向右补足空格后，才将字段值的内容存储到数据块中。 这种方式虽然比较浪费空间，但是存储效率较可变长度类型要好。同时还能减少数据行迁移情况发生。 所谓可变长度：是指当输入的字段值小于该字段的限制长度时

此博文参考：https://www.cnblogs.com/HDK2016/p/7071708.html ORACLE基本数据类型（亦叫内置数据类型 built-in datatypes)可以按类型分为：字符串类型、数字类型、日期类型、LOB类型、LONG RAW& RAW类型、ROWID & UROWID类型。 在讲叙字符串类型前，先要讲一下编码。字符串类型的数据可依编码方式分成数据库字符集（CHAR/VARCHAR2/CLOB/LONG)和国际字符集(NCHAR/NVARCHAR2/NCLOB)两种。数据库中的字符串数据都通过字符集将字符转换为数字后(二进制)，才存储到数据块中。通过不同的编码集转换，即便是相同的字符，也可能会转换成不同的二进制编码。这也是产生乱码的原因。数据库的编码格式一般是在创建数据库时指定的。当然也可以修改数据库的编码。 查看数据库视图所包含的数据类型:SELECT * FROM DBA_TYPES WHERE OWNER IS NULL. 一 字符串类型 字符串数据类型还可以依据存储空间分为固定长度类型（CHAR/NCHAR) 和可变长度类型（VARCHAR2/NVARCHAR2)两种. 所谓固定长度：是指虽然输入的字段值小于该字段的限制长度，但是实际存储数据时，会先自动向右补足空格后，才将字段值的内容存储到数据块中。这种方式虽然比较浪费空间

【0】README 0.1） 本文总结于 数据结构与算法分析， 源代码均为原创， 旨在 理解 “Huffman编码（Huffman树）” 的idea 并用源代码加以实现； 0.2） Huffman树的构建算法属于 贪婪算法 ， 贪婪算法的基础知识参见： 　 http://blog.csdn.net/pacosonswjtu/article/details/50071159 【1】Huffman 编码 1.1）贪婪算法的第二个应用： 文件压缩； 1.1.1）标准的 ASCII字符集： 它由大约100个 可打印字符组成，为了把这些字符区分开， 需要 |log100|（不小于等于log100） = 7个 比特； 1.1.2）看个荔枝：（使用一个标准编码方案） 设一个文件， 它只包含字符 a, e, i, s, t, 加上一些空格和 newline（换行）。 进一步设该文件有10个a、15个e、12个i、3个s、4个t、13个空格以及一个 newline， 如图10-8所示， 这个文件需要174个bits 来表示，因为有58个字符，每个字符3个bits； 1.2）现实中的事实： 文件可能相当大。 许多大文件是某个程序的输出数据，而在使用频率最大和最小之间的字符间通常存在很大的差别； 1.2.1）出现的问题： 是否有可能提供一种更好的编码降低总的所需bits数量 2.2）解决方法：

一、Response 1.Resonse的继承结构： ServletResponse--HttpServletResponse 2.Response代表响应，于是响应消息中的状态码、响应头、实体内容都可以由它进行操作,由此引伸出如下实验： 3.利用Response输出数据到客户端 response.getOutputStream（）.write("中文".getBytes())输出数据，这是一个字节流，是什么字节输出什么字节，而浏览器默认用平台字节码打开服务器发送的数据，如果服务器端使用了非平台码去输出字符的字节数据就需要明确的指定浏览器编码时所用的码表，以防止乱码问题。response.addHeader("Content-type","text/html;charset=gb2312") response.getWriter().write(“中文”);输出数据，这是一个字符流，response会将此字符进行转码操作后输出到浏览器，这个过程默认使用ISO8859-1码表，而ISO8859-1中没有中文，于是转码过程中用?代替了中文，导致乱码问题。可以指定response在转码过程中使用的目标码表，防止乱码。response.setCharcterEncoding("gb2312"); 其实response还提供了setContentType("text/html;charset

接下来记录一下Servlet Response相关的信息，在service方法中使用的是HttpServletResponse，它继承自ServletResponse，扩展了Http协议相关的内容，下面简单记录一下它的基本用法。 response组成内容 以下是一个常见response响应的内容，它包括状态行、响应头、一个空行和实体内容，其中"HTTP/1.1 200 OK"就是 状态行 ，包括协议、状态代号和状态描述信息，下面有若干响应头，空行和实体内容这里没展示。 HTTP请求中的 常用响应头 如下： 1 Location: http://www.it315.org/index.jsp 配合302实现请求重定向 2 Server:apache tomcat 服务器类型 3 Content-Encoding: gzip 服务器发送数据的压缩格式 4 Content-Length: 80 发送数据的长度 5 Content-Language: zh-cn 发送数据的语言环境 6 Content-Type: text/html; charset=GB2312 可接受数据格式和语言 7 Last-Modified: Tue, 11 Jul 2000 18:23:51 GMT 与请求头的if modified头呼应，主要跟缓存有关 8 Refresh: 1;url=http://www

1个字节是 8 位 2 进制数, 为什么要有这个字节的概念呢？ 这要追述历史，实际上, 字节是为了方便人们处理而定制的存储单元. 有了这个存储单元，人类就可以把例如数字等存储在里边，然后统一编码。 最开始的 ASCii 码，没有汉字什么事情. 随着计算机发展，需要一套统一的编码，这时候就出现了 UTF-16, 这个是固定的按照2个字节来存储一个内容，这有些浪费，因为有很多实际上使用1个字节就够存储了，于是又有了 UTF-8. 可以通过存储单元里的内容（前两位）来判断当前是否是独立存储的，还是占用了几个单元格（字节）。 内容可以占据 1/2/3 个单元格. 几种编码格式。 ASCII 码 学过计算机的人都知道 ASCII 码，总共有 128 个，用一个字节的低 7 位表示，0~31 是控制字符如换行回车删除等；32~126 是打印字符，可以通过键盘输入并且能够显示出来。 ISO-8859-1 128 个字符显然是不够用的，于是 ISO 组织在 ASCII 码基础上又制定了一些列标准用来扩展 ASCII 编码，它们是 ISO-8859-1~ISO-8859-15，其中 ISO-8859-1 涵盖了大多数西欧语言字符，所有应用的最广泛。ISO-8859-1 仍然是单字节编码，它总共能表示 256 个字符。 GB2312 它的全称是《信息交换用汉字编码字符集 基本集》，它是双字节编码