（全栈须知）7.SQL语句优化(三) 之MySQL数据库慢查询问题排查

参考原文：MySQL数据库慢查询问题排查方法

0.准备

show variables like '%log_output%';
-- log_output='FILE|TABLE' 默认是保存到文件中
show variables  like '%slow_query_log%'; #查看当前开启状态
-- slow_query_log_file：/usr/local/mysql/var/cffycls-PC-slow.log 
#在配置文件中修改或添加，并重启服务
slow_query_log    1 #开启慢查询日志 set GLOBAL slow_query_log=1

# 保存为table类型时，可以查询到信息字段类型：
DESC `mysql`.`slow_log`

field	type	null	key	default	extra
start_time	timestamp(6)	NO	CURRENT_TIMESTAMP(6)		DEFAULT_GENERATED on update CURRENT_TIMESTAMP(6)
user_host	mediumtext	NO
query_time	time(6)	NO
lock_time	time(6)	NO
rows_sent	int(11)	NO
rows_examined	int(11)	NO
db	varchar(512)	NO
last_insert_id	int(11)	NO
insert_id	int(11)	NO
server_id	int(10) unsigned	NO
sql_text	mediumblob	NO
thread_id	bigint(21) unsigned	NO

日志文件 [8.0.13默认没有开启slow_query_log=1时，保存的慢操作日志]

/usr/local/mysql/bin/mysqld, Version: 8.0.13 (Source distribution). started with:
Tcp port: 3306  Unix socket: /tmp/mysql.sock
Time                 Id Command    Argument
# Time: 2019-08-26T00:06:31.481150Z
# User@Host: root[root] @ localhost []  Id:   174
# Query_time: 17.501530  Lock_time: 0.000000 Rows_sent: 0  Rows_examined: 0
use optmize;
SET timestamp=1566777991;
call add_vote_record_memory(10000);
# Time: 2019-08-26T00:09:48.696806Z
# User@Host: root[root] @ localhost []  Id:   174
# Query_time: 126.785068  Lock_time: 0.000000 Rows_sent: 0  Rows_examined: 0
SET timestamp=1566778188;
call add_vote_record_memory(80000);
# Time: 2019-08-26T00:42:43.720150Z
# User@Host: root[root] @ localhost []  Id:   174
# Query_time: 123.697077  Lock_time: 0.000000 Rows_sent: 0  Rows_examined: 0
SET timestamp=1566780163;
CALL add_vote_record_memory(100000);
# Time: 2019-08-26T01:08:11.645078Z
# User@Host: root[root] @ localhost []  Id:   174
# Query_time: 1001.577474  Lock_time: 0.000000 Rows_sent: 0  Rows_examined: 0
SET timestamp=1566781691;
CALL add_vote_record_memory(800000);
/usr/local/mysql/bin/mysqld, Version: 8.0.13 (Source distribution). started with:
Tcp port: 3306  Unix socket: /tmp/mysql.sock
Time                 Id Command    Argument
root@cffycls-PC:/home/wwwroot/default# cat /usr/local/mysql/var/cffycls-PC-slow.log
/usr/local/mysql/bin/mysqld, Version: 8.0.13 (Source distribution). started with:
Tcp port: 3306  Unix socket: /tmp/mysql.sock
Time                 Id Command    Argument
# Time: 2019-08-26T00:06:31.481150Z
# User@Host: root[root] @ localhost []  Id:   174
# Query_time: 17.501530  Lock_time: 0.000000 Rows_sent: 0  Rows_examined: 0
use optmize;
SET timestamp=1566777991;
call add_vote_record_memory(10000);
# Time: 2019-08-26T00:09:48.696806Z
# User@Host: root[root] @ localhost []  Id:   174
# Query_time: 126.785068  Lock_time: 0.000000 Rows_sent: 0  Rows_examined: 0
SET timestamp=1566778188;
call add_vote_record_memory(80000);
# Time: 2019-08-26T00:42:43.720150Z
# User@Host: root[root] @ localhost []  Id:   174
# Query_time: 123.697077  Lock_time: 0.000000 Rows_sent: 0  Rows_examined: 0
SET timestamp=1566780163;
CALL add_vote_record_memory(100000);
# Time: 2019-08-26T01:08:11.645078Z
# User@Host: root[root] @ localhost []  Id:   174
# Query_time: 1001.577474  Lock_time: 0.000000 Rows_sent: 0  Rows_examined: 0
SET timestamp=1566781691;
CALL add_vote_record_memory(800000);
/usr/local/mysql/bin/mysqld, Version: 8.0.13 (Source distribution). started with:
Tcp port: 3306  Unix socket: /tmp/mysql.sock
Time                 Id Command    Argument
# Time: 2019-10-08T00:59:30.702335Z
# User@Host: root[root] @  [192.168.1.102]  Id:    13
# Query_time: 17.960220  Lock_time: 0.000272 Rows_sent: 0  Rows_examined: 0
use optmize;
SET timestamp=1570496370;
call add_vote_record_memory(10000);

a.直接杀进程:select processlist

查看系统进程，笔记《2.mysql数据库状态》
查看当前进行操作的进程状态

ID	USER	HOST	DB	COMMAND	TIME	STATE	INFO
48	root	192.168.1.102:50410	test	Sleep	1167		NULL
49	root	192.168.1.102:50411	NULL	Sleep	1167		NULL
59	root	localhost	NULL	Query	0	executing	select * from information_schema.processlist
4	event_scheduler	localhost	NULL	Daemon	1293	Waiting on empty queue	NULL
44	root	192.168.1.102:50391	optmize	Sleep	1024		NULL
45	root	192.168.1.102:50394	information_schema	Sleep	225		NULL
46	root	192.168.1.102:50397	information_schema	Sleep	991		NULL
47	root	192.168.1.102:50398	NULL	Sleep	1166		NULL

select * from information_schema.processlist;
#查看当前正在进行的查询并按照已经执行时间倒排
select * from information_schema.processlist where info is not null order by time desc;

查看有多少哪些查询处于lock状态，或者已经执行了很长时间，把这些process用kill指令干掉。
mysql>kill 47;

b.分析慢的原因:explain慢日志分析

mysql explain 各个字段的含义

type列

依次从好到差：system，const，eq_ref，ref，fulltext，ref_or_null，unique_subquery，index_subquery，range，index_merge，index，ALL，除了all之外，其他的type都可以使用到索引，除了index_merge之外，其他的type只可以用到一个索引

A：system：表中只有一行数据或者是空表，且只能用于myisam和memory表。如果是Innodb引擎表，type列在这个情况通常都是all或者index

B：const：使用唯一索引或者主键，返回记录一定是1行记录的等值where条件时，通常type是const。其他数据库也叫做唯一索引扫描

C：eq_ref：出现在要连接过个表的查询计划中，驱动表只返回一行数据，且这行数据是第二个表的主键或者唯一索引，且必须为not null，唯一索引和主键是多列时，只有所有的列都用作比较时才会出现eq_ref

D：ref：不像eq_ref那样要求连接顺序，也没有主键和唯一索引的要求，只要使用相等条件检索时就可能出现，常见与辅助索引的等值查找。或者多列主键、唯一索引中，使用第一个列之外的列作为等值查找也会出现，总之，返回数据不唯一的等值查找就可能出现。

E：fulltext：全文索引检索，要注意，全文索引的优先级很高，若全文索引和普通索引同时存在时，mysql不管代价，优先选择使用全文索引

F：ref_or_null：与ref方法类似，只是增加了null值的比较。实际用的不多。

G：unique_subquery：用于where中的in形式子查询，子查询返回不重复值唯一值

H：index_subquery：用于in形式子查询使用到了辅助索引或者in常数列表，子查询可能返回重复值，可以使用索引将子查询去重。

I：range：索引范围扫描，常见于使用>,<,is null,between ,in ,like等运算符的查询中。

J：index_merge：表示查询使用了两个以上的索引，最后取交集或者并集，常见and ，or的条件使用了不同的索引，官方排序这个在ref_or_null之后，但是实际上由于要读取所个索引，性能可能大部分时间都不如range

K：index：索引全表扫描，把索引从头到尾扫一遍，常见于使用索引列就可以处理不需要读取数据文件的查询、可以使用索引排序或者分组的查询。

L：all：这个就是全表扫描数据文件，然后再在server层进行过滤返回符合要求的记录。

extra列

这个列可以显示的信息非常多，有几十种，常用的有

A：distinct：在select部分使用了distinc关键字

B：no tables used：不带from字句的查询或者From dual查询

C：使用not in()形式子查询或not exists运算符的连接查询，这种叫做反连接。即，一般连接查询是先查询内表，再查询外表，反连接就是先查询外表，再查询内表。

D：using filesort：排序时无法使用到索引时，就会出现这个。常见于order by和group by语句中

E：using index：查询时不需要回表查询，直接通过索引就可以获取查询的数据。

F：using join buffer（block nested loop），using join buffer（batched key accss）：5.6.x之后的版本优化关联查询的BNL，BKA特性。主要是减少内表的循环数量以及比较顺序地扫描查询。

G：using sort_union，using_union，using intersect，using sort_intersection：

using intersect：表示使用and的各个索引的条件时，该信息表示是从处理结果获取交集

using union：表示使用or连接各个使用索引的条件时，该信息表示从处理结果获取并集

using sort_union和using sort_intersection：与前面两个对应的类似，只是他们是出现在用and和or查询信息量大时，先查询主键，然后进行排序合并后，才能读取记录并返回。

H：using temporary：表示使用了临时表存储中间结果。临时表可以是内存临时表和磁盘临时表，执行计划中看不出来，需要查看status变量，used_tmp_table，used_tmp_disk_table才能看出来。

I：using where：表示存储引擎返回的记录并不是所有的都满足查询条件，需要在server层进行过滤。查询条件中分为限制条件和检查条件，5.6之前，存储引擎只能根据限制条件扫描数据并返回，然后server层根据检查条件进行过滤再返回真正符合查询的数据。5.6.x之后支持ICP特性，可以把检查条件也下推到存储引擎层，不符合检查条件和限制条件的数据，直接不读取，这样就大大减少了存储引擎扫描的记录数量。extra列显示using index condition

J：firstmatch(tb_name)：5.6.x开始引入的优化子查询的新特性之一，常见于where字句含有in()类型的子查询。如果内表的数据量比较大，就可能出现这个

K：loosescan(m..n)：5.6.x之后引入的优化子查询的新特性之一，在in()类型的子查询中，子查询返回的可能有重复记录时，就可能出现这个