utf-16

1、为什么需要Unicode 在很早以前所有，在计算机的世界里只有ASCII，后来多了一些控制字符、标点等，最后就是今天的世界里你能够看到很多种语言在一个文档中，例如：English, العربية, 汉语, עִבְרִית, ελληνικά, and ភាសាខ្មែរ ，后期或许会出现更多的其他语言的字符，计算机中需要显示所有的这些语言的字符。因此：一个包容所有语言字符的 字符集 很有必要，这就是Unicode的诞生的意义。 2、Unicode简介 Unicode是一个包含世界上所有语言字符的 字符集 ，它为世界上每一个字符分配一个唯一的数字，官方术语叫 code point（码位）。Unicode的一个很大的优点是，码位的前256位和ISO-8859-1以及ASCII一样。大部分常用的字符通过一到两个字节就可以表示。 3、为什么需要UTF-8或者UTF-16等编码 虽然Unicode能够包容所有的字符集，但是我们直接看Unicode码很不方便，像看天书一样，我们对我们常用的文字最熟悉，所以就需要把我们常用的可读性强的文字和Unicode字符集一一对应。这个过程叫编码。 常用的UTF-8、GBK、UTF-16等都是不同的编码方式，这些都是把我们看到的文字和Unicode字符集对应起来的规则。 4、UTF-8和UTF-16之间的区别 1、基于内存考虑的比较： UTF-8:

#include <locale> #include <codecvt> #pragma warning(disable:4996) //u8string to wstring std::wstring utf8_to_wstring(const std::string& str) { std::wstring_convert< std::codecvt_utf8_utf16<wchar_t> > strCnv; return strCnv.from_bytes(str); } //wstring to string //wstring to u8string std::string utf8_to_wstring(const std::wstring& str) { std::wstring_convert< std::codecvt_utf8_utf16<wchar_t> > strCnv; return strCnv.to_bytes(str); } //wstring to string std::string wstring_to_string(const std::wstring& str) { std::wstring_convert< std::codecvt_utf8_utf16<wchar_t> > strCnv; return strCnv.to_bytes

一个带标签，一个没有标签。 BOM是Byte Order Mark（定义字节顺序），因为在网络传输中分两种顺序：大头和小头。 由于兼容性，带BOM的utf-8在一些browser中显示为乱码。 网上搜索了关于Byte Order Mark的信息： 在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建 议我们在传输字节流前，先传输字符"ZERO WIDTH NO-BREAK SPACE"。这样如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这 个字节流是Little- Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。 UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF 开头的字节流，就知道这是UTF-8编码了。 Windows就是使用BOM来标记文本文件的编码方式的。 带BOM的UTF-8，所有PHP无法识别，直接将EF BB BF输出，在charset="utf-8"的页面中是空白