【转】SQL 执行时间某状态耗时过多的优化
SQL 某状态耗时过多的优化
2019-02-18 16:27:06 diligent203 阅读数 326更多
分类专栏： 技术分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.****.net/DILIGENT203/article/details/87627497
此前的文章中，我们介绍了 mysql 最常用的存储引擎 – innodb 的性能优化。
主要围绕参数、索引设置等方面进行。
Mysql Innodb 性能优化
事实上，在实际使用中，最为常见的性能问题大多是不合理的使用方式，即 sql 语句的问题引起的，因此与参数、索引优化相比，直接优化和修改 sql 语句获得的收效往往更加明显。
本文，我们就来看看如何查看 mysql 中正在运行的 sql 语句的状态，以及如何进行相应的优化。
select * from information_schema.`PROCESSLIST` where info is not null
- 1
通过上面的 SQL 可以查询出当前正在执行的全部 SQL 语句及状态。
可以看到 STATE 字段就是 SQL 查询的状态。
- 查看 profiling 功能是否已打开
select @@profiling
- 1
- 打开 profiling
set global profiling=1
- 1
- 查看 profiling
show profiles
- 1
- 查看某个 query 的耗时情况
show profile for query query_id
- 1
通过上面的 SQL 就可以查询出指定 SQL 的耗时了。
|
状态 |
说明 |
|
Checking table |
正在检查数据表（这是自动的）。 |
|
Closing tables |
正在将表中修改的数据刷新到磁盘中，同时正在关闭已经用完的表。这是一个很快的操作，如果不是这样的话，就应该确认磁盘空间是否已经满了或者磁盘是否正处于重负中。 |
|
Connect Out |
复制从服务器正在连接主服务器。 |
|
Copying to tmp table on disk |
由于临时结果集大于tmp_table_size，正在将临时表从内存存储转为磁盘存储以此节省内存。 |
|
Creating tmp table |
正在创建临时表以存放部分查询结果。 |
|
deleting from main table |
服务器正在执行多表删除中的第一部分，刚删除第一个表。 |
|
deleting from reference tables |
服务器正在执行多表删除中的第二部分，正在删除其他表的记录。 |
|
Flushing tables |
正在执行FLUSH TABLES，等待其他线程关闭数据表。 |
|
Killed |
发送了一个kill请求给某线程，那么这个线程将会检查kill标志位，同时会放弃下一个kill请求。MySQL会在每次的主循环中检查kill标志位，不过有些情况下该线程可能会过一小段才能死掉。如果该线程程被其他线程锁住了，那么kill请求会在锁释放时马上生效。 |
|
Locked |
被其他查询锁住了。 |
|
Sending data |
正在处理SELECT查询的记录，同时正在把结果发送给客户端。 |
|
Sorting for group |
正在为GROUP BY做排序。 |
|
Sorting for order |
正在为ORDER BY做排序。 |
|
Opening tables |
这个过程应该会很快，除非受到其他因素的干扰。例如，在执ALTER TABLE或LOCK TABLE语句行完以前，数据表无法被其他线程打开。正尝试打开一个表。 |
|
Removing duplicates |
正在执行一个SELECT DISTINCT方式的查询，但是MySQL无法在前一个阶段优化掉那些重复的记录。因此，MySQL需要再次去掉重复的记录，然后再把结果发送给客户端。 |
|
Reopen table |
获得了对一个表的锁，但是必须在表结构修改之后才能获得这个锁。已经释放锁，关闭数据表，正尝试重新打开数据表。 |
|
Repair by sorting |
修复指令正在排序以创建索引。 |
|
Repair with keycache |
修复指令正在利用索引缓存一个一个地创建新索引。它会比Repair by sorting慢些。 |
|
Searching rows for update |
正在讲符合条件的记录找出来以备更新。它必须在UPDATE要修改相关的记录之前就完成了。 |
|
Sleeping |
正在等待客户端发送新请求. |
|
System lock |
正在等待取得一个外部的系统锁。如果当前没有运行多个mysqld服务器同时请求同一个表，那么可以通过增加–skip-external-locking参数来禁止外部系统锁。 |
|
Upgrading lock |
INSERT DELAYED正在尝试取得一个锁表以插入新记录。 |
|
Updating |
正在搜索匹配的记录，并且修改它们。 |
|
User Lock |
正在等待GET_LOCK()。 |
|
Waiting for tables |
该线程得到通知，数据表结构已经被修改了，需要重新打开数据表以取得新的结构。然后，为了能的重新打开数据表，必须等到所有其他线程关闭这个表。以下几种情况下会产生这个通知：FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE 或 OPTIMIZE TABLE |
|
waiting for handler insert |
INSERT DELAYED已经处理完了所有待处理的插入操作，正在等待新的请求。 |
|
after create |
线程创建一个表或临时表的最后会进入该状态 |
|
Analyzing |
线程正在分析一个 MyISAM 表或索引描述（例如 ANALYZE TABLE） |
|
checking permissions |
线程在查看是否具有权限 |
|
Checking table |
表检查操作 |
|
cleaning up |
线程已处理了一个命令，正在准备释放内存和资源 |
|
closing tables |
线程将更改的表数据刷新到磁盘并关闭使用的表 |
|
converting HEAP to MyISAM |
线程正在将内存表中的内部临时表转换为磁盘上的 MyISAM 表 |
|
copy to tmp table |
线程正在执行一条 alter table 语句，已创建新结构的表，正在将数据复制到新结构的表中 |
|
Copying to group table |
一条语句的ORDER BY和GROUP BY条件不同时，将数据行按组排序并复制到临时表中 |
|
Copying to tmp table |
复制数据到内存中的一张临时表中 |
|
Copying to tmp table on disk |
由于临时结果集大于 tmp_table_size，所以线程正在将临时表从内存中更改为基于磁盘的格式保存 |
|
Creating index |
线程正在对一个 MyISAM 表执行 ALTER TABLE … ENABLE KEYS |
|
Creating sort index |
正在执行一个使用内部临时表的查询 |
|
creating table |
正在创建一个表（包括临时表） |
|
Creating tmp table |
线程正在内存或磁盘上创建一个临时表。如果表是在内存中创建的，但稍后被转换为磁盘上的表，则该操作期间的状态将复制到磁盘上的tmp表 |
closing tables 通常是因为磁盘 IO 能力不足引起的，可以排查磁盘 IO 的占用。
CPU load 高占用率低问题的排查
最可能的原因是没有使用索引，或索引的区分度过低。
另一个最常见的原因是返回结果集过大导致的，此时合理使用索引、查询条件和 limit 参数可以解决。
另一个问题是查询的单条结果过大，这涉及到 Innodb 的行记录格式，后面抽时间总结一篇博文来详细讲解。
对于 COMPACT 和 REDUNDANT 两种行格式，Innodb 只存储前 768 字节，剩余的数据存放到“溢出页”中。
对于大量的溢出页访问，会导致顺序读变为随机读，sending data 的耗时就会明显加长。
解决办法是最好将表拆分成多个，让单个数据量过大的行变成多个水平拆分的表，从而避免页溢出。
实际业务中，更为常见的情况是将多个业务字段合并为一个很大的 json 存储在表中，从而导致了单个字段的过大，这样的情况当然应该避免出现，尽量依照范式将 json 中字段存储在子表中，这样无论在数据的维护还是使用上都有很大好处，终极的决绝方案当然是使用 mongodb 等支持自定义数据结构的非关系型数据库了。
这通常是因为在大量数据的表中进行 order by 操作导致的，在这样的情况下，order by 操作的性能可能会低到令人无法想象。
7. Copying to tmp table on disk 时间过长
这个状态是由于临时结果集大于 tmp_table_size，正在将临时表从内存存储转为磁盘存储，这是一个非常耗时的操作，原因显而易见，是因为临时表中数据量过大。
通过 explain 操作，如果结果中包含 Using Temporary 就说明查询会用到临时表，应该尽量优化避免。
那么 mysql 在什么情况下会创建临时表呢？
- UNION查询；
- 用到TEMPTABLE算法或者是UNION查询中的视图；
- ORDER BY 和 GROUP BY 的子句不一样时；
- 表连接中，ORDER BY 的列不是驱动表中的；
- DISTINCT 查询并且加上 ORDER BY 时；
- SQL 中用到 SQL_SMALL_RESULT 选项时；
- FROM 中的子查询
- semi-join 时创建的表；
- 数据表中包含BLOB/TEXT列；
- 在 GROUP BY 或者 DSTINCT 的列中有超过 512字符 的字符类型列（或者超过 512字节的 二进制类型列，在5.6.15之前只管是否超过512字节）；
- 在SELECT、UNION、UNION ALL查询中，存在最大长度超过512的列（对于字符串类型是512个字符，对于二进制类型则是512字节）；
- 执行SHOW COLUMNS/FIELDS、DESCRIBE等SQL命令，因为它们的执行结果用到了BLOB列类型。