您的位置: 首页  >  文章  >  mysql高级性能优化

mysql高级性能优化

分类: 文章 • 2024-03-13 15:09:15

简历写上：熟练掌握SQL的相关优化及索引的使用，并且能够完成主从集群配置。

为什么SQL需要优化

1、查询性能低

2、执行时间过长（使用LINK的后果）

3、等待时间过长（多线程现象，线程池被占用，请求等待执行）

4、SQL写的太差（尤其体现在多表查询上）

5、索引失败

6、服务器参数（缓存、线程数）设置不合理

7、项目需求不合理

8、等。。。

4、5是程序员能优化的，其他的和DBA相关

程序员写代码时能够做的只有对写SQL尽可能的做出优化，执行效率更高，有效的使用索引，重点放在写SQL上

SQL的执行过程

参考资料：https://www.cnblogs.com/annsshadow/p/5037667.html

mysql高级性能优化

简化

mysql高级性能优化

  • 接收传入的SQL
  • 查看该SQL对应的结果在缓存中是否存在
  • 由解析器来解析当前SQL，最终形成初步的解析树
  • 再由预处理器对解析树进行调整，完成占位符赋值等操作
  • 查询优化器对最终的解析树进行优化，包括调整SQL顺序等
  • 根据优化后的结果得出查询语句的执行计划，就是查询数据的具体实施方案，交给查询的执行引擎
  • 查询执行引擎调用存储引擎提供的API，最后由存储引擎来完成数据的查询，然后返回结果

SQL的执行顺序

写SQL的顺序

select  > from > join > on > where > group by > having > order by > limit 

解析SQL时的顺序

from > on > join > where > group by > having > select > order by > limit

注意先先on 后join

数据库索引

MySql中索引使用的B+数（B+tree）【查询3次，支持百万数据】

索引的利

  • 减少IO操作次数，提高查询效率
  • 降低CPU使用率（在排序操作中尤为明显）

索引的弊

  • 占用大量的磁盘存储空间
  • 不适用索引的情况
    • 数据量小的表
    • 频繁变动的字段
    • 不经常查询的字段
    • 降低DML操作效率

索引分类

主键索引

单列索引

唯一索引

复合索引（项目中使用最多，做查询时只能选择一个索引来使用，比较有优势，但使用限制比较多）

多个列的值组成的索引，当第一个列的值重复时，按照后面的的组合继续查找数据

相当于字典的二级目录，当前一个值一致时，再使用后一个值做筛选

查看SQL执行计划

explain执行计划包含的信息

mysql高级性能优化

其中最重要的字段为：id、type、key、rows、Extra

各字段详解
id：select查询的***，包含一组数字，表示查询中执行select子句或操作表的顺序
三种情况：
1、id相同：执行顺序由上至下
2、id不同：如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行
3、id相同又不同（两种情况同时存在）：id如果相同，可以认为是一组，从上往下顺序执行；在所有组中，id值越大，优先级越高，越先执行


select_type：查询的类型，主要是用于区分普通查询、联合查询、子查询等复杂的查询

  1. SIMPLE：简单的select查询，查询中不包含子查询或者union
  2. PRIMARY：查询中包含任何复杂的子部分，最外层查询则被标记为primary
  3. SUBQUERY：在select 或 where列表中包含了子查询
  4. DERIVED：在from列表中包含的子查询被标记为derived（衍生），mysql或递归执行这些子查询，把结果放在零时表里
  5. UNION：若第二个select出现在union之后，则被标记为union；若union包含在from子句的子查询中，外层select将被标记为derived
  6. UNION RESULT：从union表获取结果的select

type：访问类型，sql查询优化中一个很重要的指标，结果值从好到坏依次是：

system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

一般来说，好的sql查询至少达到range级别，最好能达到ref

  1. system：表只有一行记录（等于系统表），这是const类型的特例，平时不会出现，可以忽略不计
  2. const：表示通过索引一次就找到了，const用于比较primary key 或者 unique索引。因为只需匹配一行数据，所有很快。如果将主键置于where列表中，mysql就能将该查询转换为一个const
  3. eq_ref：唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于主键 或 唯一索引扫描。注意：ALL全表扫描的表记录最少的表
  4. ref：非唯一性索引扫描，返回匹配某个单独值的所有行。本质是也是一种索引访问，它返回所有匹配某个单独值的行，然而他可能会找到多个符合条件的行，所以它应该属于查找和扫描的混合体
  5. range：只检索给定范围的行，使用一个索引来选择行。key列显示使用了那个索引。一般就是在where语句中出现了bettween、<、>、in等的查询。这种索引列上的范围扫描比全索引扫描要好。只需要开始于某个点，结束于另一个点，不用扫描全部索引
  6. index：Full Index Scan，index与ALL区别为index类型只遍历索引树。这通常为ALL块，应为索引文件通常比数据文件小。（Index与ALL虽然都是读全表，但index是从索引中读取，而ALL是从硬盘读取）
  7. ALL：Full Table Scan，遍历全表以找到匹配的行

possible_keys：查询涉及到的字段上存在索引，则该索引将被列出，但不一定被查询实际使用

key：实际使用的索引，如果为NULL，则没有使用索引。查询中如果使用了覆盖索引，则该索引仅出现在key列表中

key_le：表示索引中使用的字节数，查询中使用的索引的长度（最大可能长度），并非实际使用长度，理论上长度越短越好。key_len是根据表定义计算而得的，不是通过表内检索出的

ref：显示索引的那一列被使用了，如果可能，是一个常量const。

rows：根据表统计信息及索引选用情况，大致估算出找到所需的记录所需要读取的行数

Extra：不适合在其他字段中显示，但是十分重要的额外信息

https://blog.csdn.net/wuseyukui/article/details/71512793

1、Using filesort ：mysql对数据使用一个外部的索引排序，而不是按照表内的索引进行排序读取。也就是说mysql无法利用索引完成的排序操作成为“文件排序”

mysql高级性能优化

由于索引是先按email排序、再按address排序，所以查询时如果直接按address排序，索引就不能满足要求了，mysql内部必须再实现一次“文件排序”

2、Using temporary：
使用临时表保存中间结果，也就是说mysql在对查询结果排序时使用了临时表，常见于order by 和 group by

mysql高级性能优化
3、Using index：
表示相应的select操作中使用了覆盖索引（Covering Index），避免了访问表的数据行，效率高
如果同时出现Using where，表明索引被用来执行索引键值的查找（参考上图）
如果没用同时出现Using where，表明索引用来读取数据而非执行查找动作

mysql高级性能优化

覆盖索引（Covering Index）：也叫索引覆盖。就是select列表中的字段，只用从索引中就能获取，不必根据索引再次读取数据文件，换句话说查询列要被所建的索引覆盖。
注意：
a、如需使用覆盖索引，select列表中的字段只取出需要的列，不要使用select *
b、如果将所有字段都建索引会导致索引文件过大，反而降低crud性能

4、Using where ：
使用了where过滤

5、Using join buffer ：
使用了链接缓存

6、Impossible WHERE：
where子句的值总是false，不能用来获取任何元祖

mysql高级性能优化
7、select tables optimized away：
在没有group by子句的情况下，基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT（*）操作，不必等到执行阶段在进行计算，查询执行计划生成的阶段即可完成优化

8、distinct：
优化distinct操作，在找到第一个匹配的元祖后即停止找同样值得动作

适当使用索引

建立索引的原则

  • 较频繁的作为查询条件的字段应该创建索引
  • 唯一性太差的字段不适合单独创建索引，即使频繁作为查询条件。作为索引的列，如果不能有效的区分数据，那么这个列就不适合作为索引（比如：性别，状态不多的状态列）
  • 更新非常频繁的字段不适合创建索引，原因：索引有维护成本
  • 不会出现在where子句中的字段不该创建索引
  • 索引不是越多越好（只为必要的列创建索引）

join的原则：不要使用隐式连接，原因在于SQL的执行顺序

  • 数据量小的表卸载join的左边，数据量大的表卸载join的右边

MySQL中join都是通过Netsted Loop join来实现，简单理解为循环嵌套，应该数据量少的表作为外层循环，数据量大的表作为内层循环，然后合并结果

  • 优先优化Netsted Loop的内层循环
  • 保证join语句中被作为连接条件的字段已经建立了索引
  • 扩大缓冲器的大小，容纳更大的查询数据

避免索引失效（忽略查询优化器）

  • where语句中索引列参与算术计算，该索引失效
  • where语句中索引列参与函数运算，该索引失效
  • where语句中使用in云闪付有事会让索引失效
  • where语句中做不等于运算，该索引失效
  • where语句中发生类型转发，该索引失效
  • where语句中模糊查询时以%开头，该索引失效
  • 在复合索引的使用时跟声明书顺序不一致或者中间有列的缺失，该索引失效

优化不合理需求

考虑是否有必要真实

遇到不合理的需求，考虑其他方式

哪些需求是不合理的:对系统使用没有影响，浪费系统大量资源定义为不合理需求

 

相关推荐