您的位置: 首页  >  文章  >  常见的SQL优化

常见的SQL优化

分类: 文章 • 2024-06-17 09:32:34

常见的SQL优化

sql优化三部曲

sql优化一般都是经历三个步骤:

  1. 查询日志定位那条sql时间比较长,也就是查询慢
  2. 通过explain等工具查询该sql的信息
  3. 修改sql或者尽量让sql走索引

explain命令的结果解释

列 介绍
id 查询的序号，包含一组数字，表示查询中执行select子句或操作表的顺序
两种情况:
id相同，执行顺序从上往下
id不同，id值越大，优先级越高，越先执行
select_type 查询类型，主要用于区别普通查询，联合查询，子查询等的复杂查询1、simple ——简单的select查询，查询中不包含子查询或者UNION
2、primary ——查询中若包含任何复杂的子部分，最外层查询被标记
3、subquery——在select或where列表中包含了子查询
4、derived——在from列表中包含的子查询被标记为derived（衍生），MySQL会递归执行这些子查询，把结果放到临时表中
5、union——如果第二个select出现在UNION之后，则被标记为UNION，如果union包含在from子句的子查询中，外层select被标记为derive
6、union result:UNION 的结果
table 输出的行所引用的表
type 显示联结类型，显示查询使用了何种类型，按照从最佳到最坏类型排序
1、system：表中仅有一行（=系统表）这是const联结类型的一个特例。
2、const：表示通过索引一次就找到，const用于比较primary key或者unique索引。因为只匹配一行数据，所以如果将主键置于where列表中，mysql能将该查询转换为一个常量
3、eq_ref:唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于唯一索引或者主键扫描
4、ref:非唯一性索引扫描，返回匹配某个单独值的所有行，本质上也是一种索引访问，它返回所有匹配某个单独值的行，可能会找多个符合条件的行，属于查找和扫描的混合体
5、range:只检索给定范围的行，使用一个索引来选择行。key列显示使用了哪个索引，一般就是where语句中出现了between,in等范围的查询。这种范围扫描索引扫描比全表扫描要好，因为它开始于索引的某一个点，而结束另一个点，不用全表扫描
6、index:index 与all区别为index类型只遍历索引树。通常比all快，因为索引文件比数据文件小很多。
7、all：遍历全表以找到匹配的行
注意:一般保证查询至少达到range级别，最好能达到ref。
possible_keys 指出MySQL能使用哪个索引在该表中找到行
key 显示MySQL实际决定使用的键(索引)。如果没有选择索引,键是NULL。查询中如果使用覆盖索引，则该索引和查询的select字段重叠。
key_len 表示索引中使用的字节数，该列计算查询中使用的索引的长度在不损失精度的情况下，长度越短越好。如果键是NULL,则长度为NULL。该字段显示为索引字段的最大可能长度，并非实际使用长度。
ref 显示索引的哪一列被使用了，如果有可能是一个常数，哪些列或常量被用于查询索引列上的值
rows 根据表统计信息以及索引选用情况，大致估算出找到所需的记录所需要读取的行数
filtered 显示了通过条件过滤出的行数的百分比估计值
Extra 包含不适合在其他列中显示，但是十分重要的额外信息
1、Using filesort：说明mysql会对数据适用一个外部的索引排序。而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成排序操作称为“文件排序”
2、Using temporary:使用了临时表保存中间结果，mysql在查询结果排序时使用临时表。常见于排序order by和分组查询group by。
3、Using index:表示相应的select操作用使用覆盖索引，避免访问了表的数据行。如果同时出现using where，表名索引被用来执行索引键值的查找；如果没有同时出现using where，表名索引用来读取数据而非执行查询动作。
4、Using where :表明使用where过滤
5、using join buffer:使用了连接缓存
6、impossible where:where子句的值总是false，不能用来获取任何元组
7、select tables optimized away：在没有group by子句的情况下，基于索引优化Min、max操作或者对于MyISAM存储引擎优化count（*），不必等到执行阶段再进行计算，查询执行计划生成的阶段即完成优化。
8、distinct：优化distinct操作，在找到第一匹配的元组后即停止找同样值的动作。
9、Using sort_union(…), Using union(…), Using intersect(…):这些函数说明如何为index_merge联接类型合并索引扫描。
10、Using index for group-by:类似于访问表的Using index方式,Using index for group-by表示MySQL发现了一个索引,可以用来查 询GROUP BY或DISTINCT查询的所有列,而不要额外搜索硬盘访问实际的表。

SQL优化主要是查询部分,个人理解就是尽量走索引,主要优化的也只有两部分,那就是插入和查询
先查看自己mysql的配置
show variables like ‘%quer%’;
常见的SQL优化

参数 含义
slow_query_log 慢查询是否开启,on开始,off关闭
long_query_time sql执行时间超过多少秒会被记录到慢查询日志中
slow_query_log_file 慢查询sql存储位置

查询操作期间有多少次慢sql被记录了;
show status like ‘%slow_queries%’;
执行后的value就是慢sql条数.

sql后加force index可强制该条sql使用哪个索引

通过上边的两个sql就可以定位慢sql,然后对慢sql进行分析

插入

情况 解决方式
一般批量插入时 inset into 表名 values(列名1,列明2…),(…),(…),如果是mysql,设置mysql的max_allowed_packet参数大一点,MyISAM需要注意bulk_insert_buffer_size缓存大小
大数据量插入时 1. 采用load sql文件的方式
     1.1 load数据文件的时候如果是MyISAM可以再导入时通过ALTER TABLE tablename DISABLE KEYS；关闭表非唯一索引的更新,导入后再通过ALTER TABLE tablename ENABLE KEYS；打开,
      1.2 对于InnoDB则在导入数据前执行 SET UNIQUE_CHECKS=0，关闭唯一性效验，在导入数据结束以后执行SET UNIQUE_CHECKS=1，恢复唯一性效验，可以提高导入效率。如果使用自动提交的方式，建议在导入前执行SET AUTOCOMMIT=0，关闭自动提交，导入结束后再执行SET AUTOCOMMIT=1，打开自动提交，也可以提高导入的效率
     1.3 尽量让插入的数据保持有序性,这样简历索引的时候也快一点.
2. 批量使用inset into 表名 values(列名1,列明2…),(…),(…)来减少数据库连接,但是有出错风险,数据要求不高可采用.例如:
inset into 表名 values(列名1,列明2…),(…),(…);
inset into 表名 values(列名1,列明2…),(…),(…);
inset into 表名 values(列名1,列明2…),(…),(…);

查询

sql 优化
* 不要用*,不要用*,不要用*重要的事情说三遍
函数运算 查询条件尽量不要用函数运算,查询内容也尽量少用
order by 如果有索引,order by后的字段尽量用索引或主键,并且order by 的顺序和索引顺序（如果复合索引,最左匹配原则）相同,order by 字段都是同为升序或者降序
group by group by分组的时候一般都会进行排序,如果不要求排序可以用group by null去除排序只分组
join 尽量用join来代替子查询或嵌套查询,因为join不会创建临时表
or 如果or的两侧都用到了唯一索引可使用,如果两侧组成复合索引用union或union all代替or来合并结果,因为那样会进行全表扫描
like like的%用后不用前,前边加%会造成不走索引的情况
not in 使用not exist来代替not in
in和exist 1.外表量比里表数据量小用exists； 2.外表量比里表数据量大用in;3.不管那个大哪个小,not都用not exists;
索引字段 避免在索引字段上使用<>，!=,避免在索引列上使用IS NULL和IS NOT NULL, 避免在索引列上出现数据类型转换（比如某字段是String类型，参数传入时是int类型）这些都会造成不走索引
limit分页 limit x,y的意思是扫描x+y行,丢弃x行返回y行,如果x不做处理,会造成全表扫描,如果用数据库自增id的情况下,一般都是靠记录的最大id值 > x order by id asc limit y 去实现的,排序的字段最好有索引,或者是用回表的方式先定位数据id再limit
1=1问题 1=1会影响索引的效果,没索引的表可以考虑,有索引的尽量别用,如果用的是mybatis框架,可以用< where> 标签加< if>做处理,where标签会自动处理第一个多出and的条件
持续更新 有时间继续写

相关推荐