unicode

1.对于’\u9500\u552e’, u’\u9500\u552e’, ‘\u9500\u552e’, u’\u9500\u552e’ s1 = '\\u9500\\u552e' s2 = u '\\u9500\\u552e' s3 = '\u9500\u552e' s4 = u '\u9500\u552e' print s1 , s2 , s3 , s4 print s1 . decode ( 'unicode_escape' ) , s2 . decode ( 'unicode_escape' ) , s3 . decode ( 'unicode_escape' ) , s4 . decode ( 'unicode_escape' ) print '"{0}"' . format ( s1 ) , '"{0}"' . format ( s2 ) , '"{0}"' . format ( s3 ) print json . loads ( '"{0}"' . format ( s1 ) ) , json . loads ( '"{0}"' . format ( s2 ) ) , json . loads ( '"{0}"' . format ( s3 ) ) >> \u9500\u552e \u9500\u552e \u9500\u552e 销售 销售 销售 销售 (

写在前面： 系统环境：Windows 10 软件环境：360急速浏览器11.0，内核版本69（基于Chromium） URL在浏览器中编码 在使用爬虫过程中，我们常常要对URL地址进行处理：在发包时对字符串进行编码；在接收数据时，对参数进行解码。由于现在常见的浏览器已经都对URL中的字符进行了解码，因此在使用浏览器时，地址栏中已经做到了正常中文字符 通过浏览器的调试工具，能够查看到在网络上编码传输的地址 由此可以发现： 中文字符 编码字符 除 %E9%99%A4 夕 %E5%A4%95 正常显示的中文字符，编码后转换为一串由 %+字母/数字 的字符串，在这个字符串中的 百分号(%) 是浏览器作为字符边界的一个标志， 字符/数字 的组合是UTF-8格式下的汉字对应的编码。 Unicode字符集与UTF-8编码规则 在查找对应码表之前，需要先明确一下，Unicode与UTF-8这个两个常见名词的关系。 Unicode：统一码、万国码。是计算机科学领域里的一项业界标准， 包括字符集、编码方案等 。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了 统一并且唯一 的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。 UTF-8：是针对Unicode的一种 可变长度字符编码 。它可以用来表示Unicode标准中的任何字符

MySQL在5.5.3之后增加了这个utf8mb4的编码，mb4就是most bytes 4的意思，专门用来兼容四字节的unicode。好在utf8mb4是utf8的超集，除了将编码改为utf8mb4外不需要做其他转换。当然，为了节省空间，一般情况下使用utf8也就够了。 二、内容描述 那上面说了既然utf8能够存下大部分中文汉字,那为什么还要使用utf8mb4呢? 原来mysql支持的 utf8 编码最大字符长度为 3 字节，如果遇到 4 字节的宽字符就会插入异常了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xffff，也就是 Unicode 中的基本多文种平面(BMP)。也就是说，任何不在基本多文本平面的 Unicode字符，都无法使用 Mysql 的 utf8 字符集存储。包括 Emoji 表情(Emoji 是一种特殊的 Unicode 编码，常见于 ios 和 android 手机上)，和很多不常用的汉字，以及任何新增的 Unicode 字符等等。 三、问题根源 最初的 UTF-8 格式使用一至六个字节，最大能编码 31 位字符。最新的 UTF-8 规范只使用一到四个字节，最大能编码21位，正好能够表示所有的 17个 Unicode 平面。 utf8 是 Mysql 中的一种字符集，只支持最长三个字节的 UTF-8字符，也就是 Unicode

目录 写在前面 string.IsNullOrEmpty源码分析 string.IsNullOrWhiteSpace源码分析 总结 写在前面 之前自信撸码时踩了一次小坑，代码如下： private static void AppServer_NewMessageReceived(WebSocketSession session, string value) { if (string.IsNullOrEmpty(value)) { return; } value = HttpUtility.UrlDecode(value); SuperSocketTemp<string> model = JsonConvert.DeserializeObject<SuperSocketTemp<string>>(value); //具体业务... } 就是这段代码在测试环境抛错，说起来全是泪啊。这段代码的具体业务场景是Websocket即时通讯接收来自客户端的消息，消息以json字符串的形式传输。首先判断是否空字符串，如果不是，为了防止乱码进行Url解码，然后反序列化消息解析成需要的数据格式，最后执行具体的业务操作。 测试环境抛的错是万恶的“未将对象引用到对象的实例”，很简单就可以定位到问题的所在——反序列化失败了，只要在序列化之后执行具体业务逻辑之前加上非空判断就可以解决掉这个问题

变量 作用: 用来保存值 保存两种类型的值： 基本类型值，和引用类型值； 访问方式: 按值访问 和 按引用访问 操作方式: 直接操作保存在变量中的实际的值。 引用类型的值是保存在内存中的对象,不能直接操作对象的内存空间。实际上是在操作对象的引用而不是实际的对象。 数据类型 两大类 8 种数据类型 最新的 ECMAScript 标准定义了 8 种数据类型: 参考 MDN javascript 数据类型和数据结构 七种原始类型 – 简单数据类型 Boolean Null Null 类型只有一个值就是null值 Undefined Undefined类型只有一个值就是undefined值 Number BigInt String Symbol 和 Object – 复杂数据类型 （ ECMAScript 定义的对象中有两种属性：数据属性和访问器属性 来自 MDN） 原始值的定义 除 Object 以外的所有类型都是不可变的（值本身无法被改变）。例如: JavaScript中字符串是不可变的 （译注：如: JavaScript 中对字符串的操作一定返回了一个新字符串，原始字符串并没有被改变）。 我们称这些类型的值为“原始值”。 Javascript 操作符: 一元操作符 只能操作一个值的操作符是一元操作符。！(非) ++a --b ++前置和++后置共同点 所有编程语言都是一样的

　　摘要: 介绍了字符与编码的发展过程，相关概念。举例Java实际应用中，编码的实现方法。最后，讲述了通常对字符与编码的几种误解，由于这些误解而导致乱码产生的原因，以及消除乱码的方法。 1.编码问题的由来及相关概念 1.1字符与编码的发展 　　 从计算机对多国语言的支持角度看，大致可以分为三个阶段： 系统内码 说明 系统 阶段一 ASCII 计算机刚开始只支持英语，其它语言不能够在计算机上存储和显示 英文DOS 阶段二 ANSI编码（本地化） 为使计算机支持更多语言，通常使用0x80~0xFF范围的2个字节来表示1个字符。比如：汉字‘中’在中文操作系统中，使用[0x06,0xD0]这两个字节存储。 不同的国家和地区制定了不同的标准，由此产生了GB2312、BIG5、JIS等各自编码标准。这些使用2个字节来代表一个字节来代表一个字符的各种汉字延伸编码方式，成为 ANSI编码 。在简单中文系统下，ASNI编码代表GB2312编码，在日文操作系统下，ANSI编码代表JIS编码。 不同ANSI编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段ANSI编码的文本中。 中文DOS,中文Windows95/98,日文Windows95/98 阶段三 UNICODE(国际化) 为了使国际间信息交流更加方便，国际组织制定了UNICODE字符集