企业级开发中MySQL的优化
1.说到数据库优化,首先得先理解什么是优化?
· 合理安排资源、调整系统参数使MySQL运行更快、更节省资源(CPU和资源)
· 优化是多方面的,包括查询、更新、服务器等
· 优化原则:减少系统瓶颈,减少资源占用,增加系统的反应速度
2.数据库性能参数
· 使用SHOW STATUS语句查看MySQL数据库的性能参数
SHOW STATUS LIKE 'value'
· 常用的参数
slow_queries 慢查询次数
com_(CRUD) 操作的次数
uptime 上限时间
3.查询优化
3.1 EXPLAIN
在MySQL中可以使用explain查看sql执行计划,语法:explain select * from 表名
3.2 结果说明
3.2.1 id
select识别符。这是select查询***
3.2.2select_type
表示select语句的类型,有以下几种值:
1.SIMPLE:表示简单查询,其中不包含连接查询和子查询
2.PRIMARY:表示主查询,或者最外面的查询语句
3.UNION:表示连接查询的第二个或后面的查询语句
4.DEPENDENT UNION:union中的第二个或后面的select语句,取决于外面的查询
5.UNION RESULT:连接查询的结果
6.SUBQUERY:子查询中第一个select语句
7.DEPENDENT SUBQUERY:子查询中的第一个select语句,取决于外面的查询
8.DERIVED:select (from)子句的子查询
3.2.3 table:表示查询的表
3.2.4 type:表示表的连接类型,有以下类型(从最优到最差排序)
1.system:表仅有一行,这是const类型的特列,平时不会出现,可以忽略
2.const:数据表最多只有一个匹配行,因为只匹配一行数据,所以很快,常用于PRIMARY或UNIQUE索引的查询,理解为const是最优化的。
3.eq_ref:可以用于使用=比较索引的列
4.ref:查询条件既不是unique也不是primary key的情况,ref可用于=或>或<操作符的带索引的列
5.ref_or_null:该联接类型如同ref,但是添加了MySQL可以专门搜索包含null值的行,在解决子查询中经常使用该联接类型的优化
上面5种都是理想的索引使用情况
6.index_merge:该联接类型表示使用了索引合并优化方法,在这种情况下,key列包含了使用的索引的清单,key_len包含了使用的索引的最长的关键元素
7.unique_subquery:该类型替换了下面形式的IN子查询的ref: value IN (SELECT primary_key FROM single_table WHERE some_expr)
unique_subquery是一个索引查找函数,可以完全替换子查询,效率更高。
8.index_subquery:该联接类型类似于unique_subquery。可以替换IN子查询,但只适合下列形式的子查询中的非唯一索引: value IN (SELECT key_column FROM single_table WHERE some_expr)
9.range:只检索给定范围的行,使用一个索引来选择行
10.index:该联接类型与ALL相同,除了只有索引树被扫描,这通常比ALL快,因为索引文件通常比数据文件小
11.ALL: 对每个来自于先前的表的行组合,进行完整的表扫描(性能最差)
3.2.5 possible_keys:指出MySQL能使用哪个索引在该表中找到行,如果该列为null,说明没有使用索引,可以对此列创建索引来提高性能
3.2.6 key:显示MySQL实际决定使用的键(索引),如果没有选择索引,键是null,可以强制使用索引或忽略索引
3.2.7 key_len:显示MySQL决定使用的键的长度,如果键是null,长度则为null。(key_len是确定了MySQL将实际使用的索引长度)
3.2.8 ref 显示使用哪个列与key一起从表中选择行
3.2.9 rows:显示MySQL认为它执行查询时必须检查的行数
3.2.10 Extra: 该列包含MySQL解决查询的详细信息:
1.distinct:MySQL发现第一个匹配行后,停止当前的行组合搜索更多的行
2.not exist:MySQL能够对查询进行left join优化,发现1个匹配left join标准的行后,不再为前面的行组合在该表内检查更多的行。
3.range checked for each record(index map:#):MySQL没有发现好的可以使用的索引,但发现如果来自前面的表的列值已知,可能部分索引可以使用
4.using filesort:MySQL需要额外的一次传递,以找出如何按排序顺序检索行
5. Using index:从只使用索引树中的信息而不需要进一步搜索读取实际的行来检索表中的列信息。
6.Using temporary:为了解决查询,MySQL需要创建一个临时表来容纳结果。
7.Using where:WHERE 子句用于限制哪一个行匹配下一个表或发送到客户。
8. Using sort_union(...), Using union(...), Using intersect(...):这些函数说明如何为index_merge联接类型合并索引扫描。
9.Using index for group-by:类似于访问表的Using index方式,Using index for group-by表示MySQL发现了一个索引,可以用来查 询GROUP BY或DISTINCT查询的所有列,而不要额外搜索硬盘访问实际的表。
4.3使用索引查询需注意的点:索引可以提高查询的效率,但并不是使用了索引的字段查询都会生效,有些情况是不会生效的!!
3.3.1 使用LIKE关键字的查询
在使用LIKE关键字进行查询的查询语句中,如果匹配字符串的第一个字符为"%",索引不起作用,只有"%"不在第一个位置,索引才会生效
3.3.2 使用联合索引的查询
MySQL可以为多个字段创建索引,一个索引可以包含16个字段,对于联合索引,只有查询条件中使用了这些字段中第一个字段时,索引才会生效
3.3.3使用OR关键字的查询
查询语句的查询条件中只有OR关键字,且OR前后的两个条件中的列都是索引时,索引才会生效,否则,索引不生效
3.4 子查询优化【禁用子查询】
MySQL从4.1版本开始支持子查询,使用子查询进行select语句嵌套查询,可以一次完成很多逻辑上需要多个步骤才能完成额生气了操作。虽然子查询很灵活,但是执行效率并不高,因为在执行子查询是,MySQL需要创建临时表,查询完毕后再删除这些临时表,所以子查询的速度会受到一定的影响。
优化:可以使用连接查询(join)代替子查询,连接查询时不需要建立临时表,其速度比子查询快。
4.数据库结构优化
一个好的数据库设计方案对于数据库的性能往往会起到事半功倍的效果,需要考虑数据冗余、查询和更新的速度、字段的数据类型是否是否合理等多方面的内容。
4.1将字段很多的表分解成多个表
对于字段较多的表,如果有些字段的使用率很低,可以将这些字段分离出来形成新表,因为当一个表的数据量很大时,会由于使用频率低的字段的存在而变慢
4.2增加中间表
对于需要经常联合查询的表,可以建立中间表以提高查询效率,通过建立中间表,将需要通过联合查询的数据插入到中间表中,然后将原来的联合查询改为对中间表的查询。
4.3增加冗余字段
设计数据表时应尽量遵循范式理论的规约,尽可能减少冗余字段,让数据库设计看起来精致优雅,但是,合理地加入冗余字段可以提高查询速度。表的规范化程度越高i,表和表之间的关系越多,需要连接查询的情况也就越多,性能也就越差。
注意:冗余字段的值在一个表中修改了,就要想办法在其他表中更新,否则会导致数据不一致的问题
5.插入数据的优化
插入数据时,影响插入速度的主要是索引、唯一性校验、一次插入的数据条数等。
插入数据的优化,不同的存储引擎优化手段不一样,在MySQL中常用的存储引擎有MyISAM和InnoDB,两者的区别为:
5.1MyISAM 【不带事务】
5.1.1 禁用索引
对于非空表,插入记录时,MySQL会根据表的索引对插入的记录建立索引。如果插入大量数据,建立索引会降低插入数据速度。为了解决这个问题,可以在批量插入数据之前禁用索引,数据插入完成后再开启索引。
禁用索引的语句:ALTER TABLE table_name DISABLE KEYS
开启索引语句: ALTER TABLE table_name ENABLE KEYS
对于空表批量插入数据,则不需要进行操作,因为MyISAM引擎的表是在导入数据后才建立索引。
5.1.2. 禁用唯一性检查
唯一性校验会降低插入记录的速度,可以在插入记录之前禁用唯一性检查,插入数据完成后再开启。
禁用唯一性检查的语句:SET UNIQUE_CHECKS = 0;
开启唯一性检查的语句:SET UNIQUE_CHECKS = 1;
5.1.3 批量插入数据
插入数据时,可以使用一条insert语句插入一条数据,也可以插入多条数据
当然最快的是使用LOAD DATA INFILE命令。当需要批量导入数据时,使用这个语句比insert语句插入速度快很多。
5.2. InnoDB 【存储引擎,带事务,也可不带事务,禁用外键】
5.2.1. 禁用唯一性检查:用法和MyISAM一样。
5.2.2. 禁用外键检查:插入数据之前执行禁止对外键的检查,数据插入完成后再恢复,可以提供插入速度。
禁用:SET foreign_key_checks = 0;
开启:SET foreign_key_checks = 1;
5.2.3. 禁止自动提交
插入数据之前执行禁止事务的自动提交,数据插入完成后再恢复,可以提高插入速度。
禁用:SET autocommit = 0;
开启:SET autocommit = 1;
6.服务器优化
6.1 优化服务器硬件
服务器硬件性能直接决定着MySQL数据库性能,硬件的性能瓶颈,直接决定这MySQL数据库的运行速度和效率。
需要从以下几个方面考虑:
1.配置较大的内存。足够大的内存,是提高MySQL数据库性能的方法之一,内存的IO比硬盘快得多,可以增加系统的缓冲区容量,使数据在内存停留的时间更长,以减少磁盘的IO。
2.配置高速磁盘,比如SSD
3.合理分配磁盘IO,把磁盘IO分散到多个设备上,以减少资源的竞争,提高并行操作能力
4.配置多核处理器,MySQL是多线程的数据库,多处理器可以提高同时执行多个线程的能力
6.2 优化MySQL的参数
通过优化MySQL的参数可以提高资源利用率,从而达到提高MySQL服务器性能的目的。
MySQL的配置参数都在my.conf或者my.ini文件的[mysqlId]组中,常用的参数如下: