unicode

utf8 与 utf8mb4 标准的 UTF-8 字符集编码是可以用 1~4 个字节去编码21位字符，是一种变长的编码格式，这几乎包含了是世界上所有能看见的语言了。然而在MySQL里实现的utf8最长使用3个字节，节省空间但不能表达全部的UTF-8，只支持到了 Unicode 中的“基本多文种平面”（U+0000至U+FFFF，Basic Multilingual Plane，BMP），包含了控制符、拉丁文，中、日、韩等绝大多数国际字符，但并不是所有，最常见的就算现在手机端常用的表情字符 emoji和一些不常用的汉字，如 “墅” ，这些需要四个字节才能编码出来。 MySQL在 5.5.3 之后增加了 utf8mb4 字符编码，mb4即 most bytes 4,使用4个字节来表示完整的UTF-8。简单说 utf8mb4 是 utf8 的超集并完全兼容utf8，能够用四个字节存储更多的字符。 注：QQ里面的内置的表情不算，它是通过特殊映射到的一个gif图片。一般输入法自带的就是。 当你的数据库里要求能够存入这些表情或宽字符时，可以把字段定义为 utf8mb4，同时要注意连接字符集也要设置为utf8mb4，否则在 严格模式 下会出现 Incorrect string value: /xF0/xA1/x8B/xBE/xE5/xA2… for column 'name'这样的错误

#include <iostream> #include <Windows.h> using namespace std; int main() { wchar_t * first= L"h"; wcout<<*first; getchar(); return 0; } 结果输出h 并区别以下代码： #include <iostream> #include <Windows.h> using namespace std; int main() { wchar_t * first= L"h"; cout<<*first;//非wcout getchar(); return 0; } 输出104 vc6,到vs2012.对字符的编码上多了好些转换的要求。 其它 是UNICODE与ANSI的区别。 UNICODE容器与ANSI容器大小不一，所以要转换。 电脑不是人类，底层只会区分0，1。 没有正确的转换，就显示出不同的解释，情况乐观的话，编译就通不过。 Unicode与Ansi的历史在百度上都可以找到 1，用单个中文来找比方，Ansi要用两个来拼（解码麻烦），Unicode里直接有对应的 2，C语言使用'/0'作为字符串结尾，而Unicode有很多字符都有一个字节为0，这样一来，C语言的字符串函数将无法正常处理Unicode 3,系统问题

AssertionError #断言语句（assert）失败 AttributeError #尝试访问未知的对象属性 EOFError #input()读取到EOF却没有接收任何数据 FloatingPointError #浮点计算错误 GeneratorExit #generator.close()方法被调用的时候 ImportError #导入模块失败的时候 IndexError #索引超出序列的范围 KeyError #字典中查找一个不存在的关键字 KeyboardInterrupt #用户输入中断键（Ctrl+c） MenoryError #内存溢出（可通过删除对象释放内存） NameError #尝试访问一个不存在的变量 NotImplementedError #尚未实现的方法 OSError #操作系统产生的异常（例如打开一个不存在的文件） OverflowError #数值运算超出最大限制 ReferenceError #弱引用（weak reference）试图访问一个已经被垃圾回收机制回收了的对象 RuntimeError #一般的运行时错误 Stoplteration #迭代器没有更多的值 SyntaxError #Python的语法错误 IndentationError #缩进错误 TabError #Tab和空格混合使用 SystemError

AssertionError 断言语句 (assert) 失败 AttributeError 尝试访问未知的对象属性 EoFError 用户输入文件末尾标志EOF (Ctrl+d) FloatingPoinError 浮点计算错误 GeneratorExit generator.close() 方法被调用的时候 ImportError 导入模块失败的时候 IndexError 索引超出序列的范围 KeyError 字典中查找一个不存在的关键字 Keyboardlnterrupt 用户输入中断键 (ctrl+c) MemoryError 内存溢出 (可通过删除对象释放内存) NameError 尝试访问一个不存在的变量 NotlmplementedError 尚未实现的方法 OSError 操作系统产生的异常 (列如打开一个不存在的文件) OverflowError 数值运算超出最大限制 ReferenceError 若引用 (weak reference) 试图访问一个已经被垃圾回收机制回收的对象 RuntimeError 一般的运行时错误 Stoplteration 迭代器没有更多值 SyntaxError Python的语法错误 IndentationError 缩进错误 TabError Tab和空格混合使用 SystemError 不同类型间的无效操作

什么是ANSI，什么又是UNICODE呢？其实这是两种不同的编码方式标准，ANSI中的字符采用8bit，而UNICODE中的字符采用16bit。（对于字符来说ANSI以单字节存放英文字符，以双字节存放中文等字符,而Unicode下，英文和中文的字符都以双字节存放）Unicode码也是一种国际标准编码，采用二个字节编码，与ANSI码不兼容。目前，在网络、Windows系统和很多大型软件中得到应用。8bit的ANSI编码只能表示256种字符，表示26个英文字母是绰绰有余的，但是表示汉字，韩国语等有着成千上万个字符的非西方字符肯定就不够了，正是如此才引入了UNICODE标准。 在软件开发中，特别是使用C语言的一些有关字符串处理的函数，ANSI和UNICODE是区分是用的，那么ANSI类型的字符和UNICODE类型的字符如何定义，如何使用呢？ANSI和UNICODE又如何转换呢？ 一．定义部分： ANSI：char str[1024]; 可用字符串处理函数：strcpy( ), strcat( ), strlen( )等等。 UNICODE：wchar_t str[1024]；可用字符串处理函数 二．可用函数： ANSI：即char，可用字符串处理函数：strcat( ),strcpy( ), strlen( )等以str打头的函数。 UNICODE：即wchar_t 可用字符串处理函数

上篇： http://www.cnblogs.com/foreach-break/p/external_sort.html 字符集和编码 字节序 I/O方式 内存 磁盘 线程/同步/异步 数据特点 字符集和编码 为什么要考虑文件的编码？ 当你将文件从阿拉伯传到中国，告诉你的中国朋友要进行一个外部排序，你的中国朋友也许会傻： 上面是什么？ 乱码 . 你也可以这样体验乱码： echo "数" > t.txt iconv -f UTF-8 -t UNICODE t.txt ��pe 好了，你知道了如果不知道文件的编码，你可能会解析到乱码. 字符集是什么？ charset - > char-set，字符的集合.比如 UNICODE、ASCII 编码是什么？ encoding,字符的表示.比如 UTF-8、ASCII 字符集和编码的关系 你晕了，我也晕了，ASCII码怎么既是字符集又是编码？ 历史上，字符集和编码是同义词，实际却又不尽相同，没有一个规范地定义，那怎么理解呢？ 字符集，往往强调其所“支持”的字符范围，集外的字符它不支持.集合就有一个边界，边界内的我给个表示，边界外的我不知道怎么表示。 编码，往往强调针对某个字符集的字符，我这么去转换表达为机器可理解的方式-二进制，如果对某个字符集的字符，我的转换方式和其一致，那么我既是编码也是字符集，否则我就只是一种字符集的转换格式。 那么