MySQL性能优化

折月煮酒 提交于 2019-12-02 14:43:14

数据库命令规范

 

  • 所有数据库对象名称必须使用小写字母并用下划线分割

  • 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来)

  • 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符

  • 临时库表必须以tmp_为前缀并以日期为后缀,备份表必须以bak_为前缀并以日期(时间戳)为后缀

  • 所有存储相同数据的列名和列类型必须一致(一般作为关联列,如果查询时关联列类型不一致会自动进行数据类型隐式转换,会造成列上的索引失效,导致查询效率降低)

 


 

数据库基本设计规范

 

1. 所有表必须使用Innodb存储引擎

 

没有特殊要求(即Innodb无法满足的功能如:列存储,存储空间数据等)的情况下,所有表必须使用Innodb存储引擎(mysql5.5之前默认使用Myisam,5.6以后默认的为Innodb)。

 

Innodb 支持事务,支持行级锁,更好的恢复性,高并发下性能更好。

 

2. 数据库和表的字符集统一使用UTF8

 

兼容性更好,统一字符集可以避免由于字符集转换产生的乱码,不同的字符集进行比较前需要进行转换会造成索引失效,如果数据库中有存储emoji表情的需要,字符集需要采用utf8mb4字符集。

 

3. 所有表和字段都需要添加注释

 

使用comment从句添加表和列的备注,从一开始就进行数据字典的维护

 

4. 尽量控制单表数据量的大小,建议控制在500万以内。

 

500万并不是Mysql数据库的限制,过大会造成修改表结构,备份,恢复都会有很大的问题。

 

可以用历史数据归档(应用于日志数据),分库分表(应用于业务数据)等手段来控制数据量大小

 

5. 谨慎使用Mysql分区表

 

分区表在物理上表现为多个文件,在逻辑上表现为一个表;

 

谨慎选择分区键,跨分区查询效率可能更低;

 

建议采用物理分表的方式管理大数据。

 

6. 尽量做到冷热数据分离,减小表的宽度

 

Mysql限制每个表最多存储4096列,并且每一行数据的大小不能超过65535字节。

 

减少磁盘IO,保证热数据的内存缓存命中率(表越宽,把表装载进内存缓冲池时所占用的内存也就越大,也会消耗更多的IO);

 

更有效的利用缓存,避免读入无用的冷数据;

 

经常一起使用的列放到一个表中(避免更多的关联操作)。

 

7. 禁止在表中建立预留字段

 

预留字段的命名很难做到见名识义。

 

预留字段无法确认存储的数据类型,所以无法选择合适的类型。

 

对预留字段类型的修改,会对表进行锁定。

 

8. 禁止在数据库中存储图片,文件等大的二进制数据

 

通常文件很大,会短时间内造成数据量快速增长,数据库进行数据库读取时,通常会进行大量的随机IO操作,文件很大时,IO操作很耗时。

 

通常存储于文件服务器,数据库只存储文件地址信息

 

9. 禁止在线上做数据库压力测试

 

10. 禁止从开发环境,测试环境直接连接生产环境数据库

 


 

数据库字段设计规范

 

字段是用来存放数据的单元,设计好字段是设计数据库的第一步,同样会影响到系统的性能。

设计字段有一个基本的原则,保小不保大,也就是能够用字节少的字段就不用字节数大的字段,目的是为了节省空间,提高查询效率。

更小的字段,占用更小的磁盘空间,内存空间,更小的 IO 消耗。下面针对使用场景,说一些字段类型选取的经验,供大家参考。

1、数值类型

手机号:通常我们在存储手机号的时候,喜欢用 Varchar 类型。

  如果是 11 位的手机号,假设我们用 utf8 的编码,每位字节就需要 3 个字节,那么就需要 11*33=33 个字节来存放;如果我们使用 bigint,只需要 8 个字节就可以存放。

IP 地址:同上,IP 地址也可以通过 int(4 字节)在存放,可以通过 INET_ATON() 函数把 IP 地址转成数字。这里需要注意溢出的问题,需要用无符号的 int。

  mysql提供了两个方法来处理ip地址

    •  inet_aton 把ip转为无符号整型(4-8位)

    •  inet_ntoa 把整型的ip转为地址

  插入数据前,先用inet_aton把ip地址转为整型,可以节省空间,显示数据时,使用inet_ntoa把整型的ip地址转为地址显示即可。

年龄,枚举类型:可以用 tinyint 来存放,它只占用 1 个字节,无符号的 tinyint 可以表示 0-255 的范围,基本够用了。

2、对于非负型的数据(如自增ID、整型IP)来说,要优先使用无符号整型来存储

原因:

无符号相对于有符号可以多出一倍的存储空间

SIGNED INT -2147483648~2147483647
UNSIGNED INT 0~4294967295

VARCHAR(N)中的N代表的是字符数,而不是字节数,使用UTF8存储255个汉字 Varchar(255)=765个字节。过大的长度会消耗更多的内存。

 

3、字符类型

Char 和 Varchar 是我们常用的字符类型。char(N) 用来记录固定长度的字符,如果长度不足 N 的,用空格补齐。

varchar(N) 用来保存可变长度的字符,它会额外增加 1-2 字节来保存字符串的长度。

Char 和 Varchar 占用的字节数,根据数据库的编码格式不同而不同。Latin1 占用 1 个字节,gbk 占用 2 个字节,utf8 占用 3 个字节。

用法方面,如果存储的内容是可变长度的,例如:家庭住址,用户描述就可以用 Varchar。

如果内容是固定长度的,例如:UUID(36 位),或者是 MD5 加密串(32 位),就可以使用 Char 存放。

 

4、时间类型

Datetime(8个字节)和 Timestamp(4个字节)都是可以精确到秒的时间类型。

所以在日常建表的时候可以有限选择 Timestamp。不过他们有下面几个小区别,需要注意的。

区别一:存储数据方式不一样。

  Timestamp 是转化成 utc 时间进行存储,查询时,转化为客户端时间返回的。

 

区别二:两者存储时间的范围不一样。

  Timestamp 为'1970-01-01 00:00:01.000000' 到'2038-01-19 03:14:07.999999'。

  Datetime为'1000-01-01 00:00:00.000000'到'9999-12-31 23:59:59.999999'。

经常会有人用字符串存储日期型的数据(不正确的做法)

  • 缺点1:无法用日期函数进行计算和比较

  • 缺点2:用字符串存储日期要占用更多的空间

5、避免使用TEXT、BLOB数据类型,最常见的TEXT类型可以存储64k的数据

 1、建议把BLOB或是TEXT列分离到单独的扩展表中

  Mysql内存临时表不支持TEXT、BLOB这样的大数据类型,如果查询中包含这样的数据,在排序等操作时,就不能使用内存临时表,必须使用磁盘临时表进行。而且对于这种数据,Mysql还是要进行二次查询,会使sql性能变得很差,但是不是说一定不能使用这样的数据类型。

  如果一定要使用,建议把BLOB或是TEXT列分离到单独的扩展表中,查询时一定不要使用select * 而只需要取出必要的列,不需要TEXT列的数据时不要对该列进行查询。

 2、TEXT或BLOB类型只能使用前缀索引

  因为MySQL对索引字段长度是有限制的,所以TEXT类型只能使用前缀索引,并且TEXT列上是不能有默认值的

 

6、避免使用ENUM类型

  修改ENUM值需要使用ALTER语句

  ENUM类型的ORDER BY操作效率低,需要额外操作

  禁止使用数值作为ENUM的枚举值

 

7、尽可能把所有列定义为NOT NULL

原因:

  索引NULL列需要额外的空间来保存,所以要占用更多的空间

  进行比较和计算时要对NULL值做特别的处理

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!