一、SQLAdvisor 介绍
SQLAdvisor 是由美团点评公司北京DBA团队开发维护的 SQL 优化工具:输入SQL,输出索引优化建议。 它基于 MySQL 原生词法解析,再结合 SQL 中的 where 条件以及字段选择度、聚合条件、多表 Join 关系等最终输出最优的索引优化建议。目前 SQLAdvisor 在公司内部大量使用,较为成熟、稳定。
项目 GitHub 地址:https://github.com/Meituan-Di...
SQLAdvisor架构流程图
SQLAdvisor 包含了如下的处理方式:Join 处理、where 处理、计算区分度、添加备选索引、Group 与 Order 处理、驱动表选择、添加被驱动表备选索引、输出建议,具体的流程图可以参考https://tech.meituan.com/2017...
二、SQLAdvisor 的优点
基于 MySQL 原生词法解析,充分保证词法解析的性能、准确定以及稳定性;
支持常见的 SQL(Insert/Delete/Update/Select);
支持多表 Join 并自动逻辑选定驱动表;
支持聚合条件 Order by 和 Group by;
过滤表中已存在的索引。
三、 SQLAdvisor安装
3.1 拉取最新代码
#git clone https://github.com/Meituan-Dianping/SQLAdvisor.git
3.2 安装依赖项
yum install -y cmake libaio-devel libffi-devel glib2 glib2-devel bison
yum install -y Percona-Server-server-56 Percona-Server-client-56
//设置软链
cd /usr/lib64/
ls -l libperconaserverclient_r.so.18
ln -s libperconaserverclient_r.so.18 libperconaserverclient_r.so
注意
跟据glib安装的路径,修改SQLAdvisor/sqladvisor/CMakeLists.txt中的两处include_directories针对glib设置的path。glib yum 安装默认不需要修改路径
编译sqladvisor时依赖perconaserverclient_r, 因此需要安装Percona-Server-shared-56。有可能需要配置软链接,例如:
1. cd /usr/lib64/
2. ln -s libperconaserverclient_r.so.18 libperconaserverclient_r.so
有可能需要配置percona56 yum源:
yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm
yum -y install Percona-Server-shared-56
3.3 编译依赖项sqlparser
1. cmake -DBUILD_CONFIG=mysql_release -DCMAKE_BUILD_TYPE=debug -DCMAKE_INSTALL_PREFIX=/usr/local/sqlparser ./
2. make && make install
注意
DCMAKE_INSTALL_PREFIX为sqlparser库文件和头文件的安装目录,其中lib目录包含库文件libsqlparser.so,include目录包含所需的所有头文件。
DCMAKE_INSTALL_PREFIX值尽量不要修改,后面安装依赖这个目录。
3.4 安装SQLAdvisor源码
1. cd SQLAdvisor/sqladvisor/
2. cmake -DCMAKE_BUILD_TYPE=debug ./
3. make
在本路径下生成一个sqladvisor可执行文件,这即是我们想要的。
四、 SQLAdvisor使用
4.1 --help输出
# ./sqladvisor --help
Usage:
sqladvisor [OPTION...] sqladvisor
SQL Advisor Summary
Help Options:
-?, --help Show help options
Application Options:
-f, --defaults-file sqls file
-u, --username username
-p, --password password
-P, --port port
-h, --host host
-d, --dbname database name
-q, --sqls sqls
-v, --verbose 1:output logs 0:output nothing
4.2 命令行传参调用
# ./sqladvisor -h xx -P xx -u xx -p 'xx' -d xx -q "sql" -v 1
注意:命令行传参时,参数名与值需要用空格隔开
4.3 配置文件传参调用
$> cat sql.cnf
[sqladvisor]
username=xx
password=xx
host=xx
port=xx
dbname=xx
sqls=sql1;sql2;sql3....
cmd: ./sqladvisor -f sql.cnf -v 1
4.4 例子
[root@OPS-9-78 sqladvisor]# sqladvisor -u root -p 'xxxxxx' -h 192.168.9.78 -P 3400 -d test_tur -q "select * from base_test where district_code=10000" -v 1
2020-04-22 14:16:58 63400 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `test_tur`.`base_test` where (`district_code` = 10000)
2020-04-22 14:16:58 63400 [Note] 第2步:开始解析where中的条件:(`district_code` = 10000)
2020-04-22 14:16:58 63400 [Note] show index from base_test
2020-04-22 14:16:58 63400 [Note] show table status like 'base_test'
2020-04-22 14:16:58 63400 [Note] select count(*) from ( select `district_code` from `base_test` FORCE INDEX( PRIMARY ) order by id DESC limit 10000) `base_region` where (`district_code` = 10000)
2020-04-22 14:16:59 63400 [Note] 第3步:表base_test的行数:47447,limit行数:10000,得到where条件中(`district_code` = 10000)的选择度:10000
2020-04-22 14:16:59 63400 [Note] 第4步:开始验证 字段district_code是不是主键。表名:base_test
2020-04-22 14:16:59 63400 [Note] show index from base_test where Key_name = 'PRIMARY' and Column_name ='district_code' and Seq_in_index = 1
2020-04-22 14:16:59 63400 [Note] 第5步:字段district_code不是主键。表名:base_test
2020-04-22 14:16:59 63400 [Note] 第6步:开始验证 字段district_code是不是主键。表名:base_test
2020-04-22 14:16:59 63400 [Note] show index from base_test where Key_name = 'PRIMARY' and Column_name ='district_code' and Seq_in_index = 1
2020-04-22 14:16:59 63400 [Note] 第7步:字段district_code不是主键。表名:base_test
2020-04-22 14:16:59 63400 [Note] 第8步:开始验证表中是否已存在相关索引。表名:base_test, 字段名:district_code, 在索引中的位置:1
2020-04-22 14:16:59 63400 [Note] show index from base_test where Column_name ='district_code' and Seq_in_index =1
2020-04-22 14:16:59 63400 [Note] 第9步:开始输出表base_test索引优化建议:
2020-04-22 14:16:59 63400 [Note] Create_Index_SQL:alter table base_test add index idx_district_code(district_code)
2020-04-22 14:16:59 63400 [Note] 第10步: SQLAdvisor结束!
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。