MySQL Sending data导致表查询慢的问题剖析

最近在代码优化中，发现了一条sql语句非常的慢，于是就用各种方法进行排查，最后终于找到了原因。

一、事故现场

SELECT og.goods_barcode, og.color_id, og.size_id, SUM(og.goods_number) AS sold_number FROM order o 
LEFT JOIN order_goods og ON o.order_id = og.order_id WHERE o.is_send = 0 AND o.shipping_status = 0 
AND o.create_time > '2017-10-10 00:00:00' AND o.ck_id = 1 AND og.goods_id = 13421 AND o.is_separate = 1 AND o.order_status IN (0, 1) AND og.is_separate = 1 
GROUP BY og.color_id, og.size_id

上面的这条语句是一个联表分组查询语句。

执行结果：

我们可以看到，这条语句用了 1.300 秒, 而 Sending data 就用了 1.28 秒，占用了将近 99% 的时间，所以，我们对这个进行优化。

怎么优化呢？

二、SQL语句分析三板斧

1、explain分析

对上边的语句进行 explain 分析：

explain SELECT og.goods_barcode, og.color_id, og.size_id, SUM(og.goods_number) AS sold_number FROM order o 
LEFT JOIN order_goods og ON o.order_id = og.order_id WHERE o.is_send = 0 AND o.shipping_status = 0 
AND o.create_time > '2017-10-10 00:00:00' AND o.ck_id = 1 AND og.goods_id = 13421 AND o.is_separate = 1 AND o.order_status IN (0, 1) AND og.is_separate = 1 
GROUP BY og.color_id, og.size_id

执行结果：

通过explain, 我们可以看到上边的语句，有用到索引key。

在所有explain的结果中最重要的要数type/key/rows/extra这4个字段了,那接下来我着重在说一下这四个字段代表的意思及如何优化.

更多 explain 用法请看这篇文章：MYSQL explain详解

using temporary

using temporary 官方解释：”为了解决查询，MySQL需要创建一个临时表来容纳结果。典型情况如查询包含可以按不同情况列出列的GROUP BY和ORDER BY子句时。“”很明显就是通过where条件一次性检索出来的结果集太大了，内存放不下了，只能通过家里临时表来辅助处理。

EXPLAIN SELECT * FROM project AS p JOIN jmw_message.t_message AS t ON p.id = t.target_id

EXPLAIN SELECT * FROM project AS p JOIN jmw_message.t_message AS t ON p.id = t.target_id LIMIT 100

上面两条语句explain得到的结果是相同的，是因为他们的索引使用策略是相同的，即都没有很好的使用索引，（因为没有where条件和order by语句）但他们的最终耗时是不同的，很明显传输100条数据肯定要比传送1条数据慢。所以，最终耗时会在sending data（用show profile查看）上消耗的比例最大

2、show processlist

explain看不出问题，那到底慢在哪里呢？
于是想到了使用 show processlist 查看sql语句执行状态，查询结果如下：

发现很长一段时间，查询都处在 “Sending data”状态
查询一下“Sending data”状态的含义，原来这个状态的名称很具有误导性，所谓的“Sending data”并不是单纯的发送数据，而是包括“收集 + 发送 数据”。
这里的关键是为什么要收集数据，原因在于：mysql使用“索引”完成查询结束后，mysql得到了一堆的行id，如果有的列并不在索引中，mysql需要重新到“数据行”上将需要返回的数据读取出来返回个客户端。

3、show profile

为了进一步验证查询的时间分布，于是使用了 show profile 命令来查看详细的时间分布
首先打开配置：set profiling=on;
执行完查询后，使用show profiles查看query id;
使用show profile for query query_id查看详细信息;

三、排查优化

1.排查对比

经过以上步骤，已经确定查询慢是因为大量的时间耗费在了Sending data状态上，结合Sending data的定义，将目标聚焦在查询语句的返回列上面
经过一 一排查，最后定为到一个description的列上，这个列的设计为：descriptionvarchar(8000) DEFAULT NULL COMMENT '游戏描述',
于是采取了对比的方法，看看“不返回description的结果”如何。show profile的结果如下：

【解决方法】
找到了问题的根本原因，解决方法也就不难了。有几种方法：
1）查询时去掉description的查询，但这受限于业务的实现，可能需要业务做较大调整
2）表结构优化，将descripion拆分到另外的表，这个改动较大，需要已有业务配合修改，且如果业务还是要继续查询这个description的信息，则优化后的性能也不会有很大提升。

【索引优化】
有一个典型的优化就是与这个相关的：利用索引查询的时候不是有一个回表的概念吗，就是索引里面不能得到全部的列，因此需要回到原表里面获取，但是因为MySQL 5.6之前没有ICP（index condition pushdown）的概念，所以不能很好的利用索引，导致回表次数大增（实际上也就是一次query中sever端和storage端的交互太多，导致开销增大）。所以如果将索引的判断提前进行也就过滤掉了一些不必要回表的行，因此storage端传送给server端的不必要数据减少，开销减小。

---

相关文章：
实战：MySQL Sending data导致查询很慢的问题详细分析
mysql索引无效且sending data耗时巨大原因分析
mysql查询sending data占用大量时间的问题处理
mysql堵塞 sending data和sort状态多，cpu高
MYSQL explain详解
mysql explain执行计划详解