Mysql DBA 自动化运维工具 My_DBA_Release 功能和技术探讨

写这篇博客主要是记录下，My_DBA_Release 这个 Mysql DBA 自动化运维工具，在开发的过程中的一些思路和里面的一些技术实现，我在自动化工具开发方面，也是新手，欢迎各位大侠共同探讨和拍砖。

做这个工具，主要是把Mysql DBA的一些例行工作，比如 DML DDL 操作，DB 服务状态查看，DB 用户授权，DB 迁移，搭建DB slave，慢查询日志查询 ，用统一的web 界面，自动化的方式，点点鼠标就完成。

技术实现上，全python实现，采用python的flask web框架，原来考虑过，php做前端展示的，不过对php不熟，没有必要再去研究一门语言了。Python 的web 框架选择上除了有flask，还有 Django，tornado 等等。查过资料，Django 大而全，紧耦合，没有flask 灵活方便，DB的自动化运维，前端仅仅是个简单展示，主要在后头，没有必要搞那么复杂。tornado 不熟，刚好flask 最近几年蛮火，去哪儿网的自动化运维刚好用的也是flask，最终选择的是Flask，走前辈的路不会错太多，使用这个框架，总体用的过程还是蛮顺的，中文文档也比较全，链接为：flask中文帮助。其实除了flask，其他web 框架，我也没有用过，欢迎pythoner来拍砖：）

部署web app，容器选择上，采用简单的gunicorn 来起相应端口，暂时还没有采用Nginx+uWSGI 模式。

前端传统的（bootstrap，jquery，ajax）这些，html搭建采用这个bootstrap工具，js方面请教了不少前端的同学，在前端与后端的交互上，js，json传递上，由于是新手，花费了不少时间。页面初始化时调用模板，后面的按钮点击及下拉列表选择，都是采用ajax来从服务器端返回数据。把十年前，当时玩asp的html的东东，又拾回来了，"Asp" 一下子暴露年龄了：）。

下面讲讲后端，这个工具首先能跑起来的基础是：

1. Mysql的标准化安装，标准化配置，二进制文件目录，data_dir，必须是统一配置的。
2. 一个数据中心配置库，比如集中的DB实例的注册，DB的注册，权限角色的控制等。

对数据中心的读写，采用python torndb 模块，torndb是对MysqlDB 类的封装，比MysqlDB类使用起来简单多了，推荐大家使用，可以很简单的返回list，dict或者iter，然后jsonfy后，跟前端的ajax进行交互。

对线上数据库基于安全方面的考虑，没有采用mysql -h的方式，远程操作，而是采用paramiko 类（当然fabric也是可以的），基于OS 认证，远程到本机执行相关操作，执行完后，执行结果，不论对错，返回给flask。flask 有app.logger 模块，可以很简单的实现，执行过程中的日志级别和邮件报警，当执行出错时，发报警邮件给DBA。

下面介绍各个模块的功能和抓图。

1. DML/DDL
   

界面功能比较简单，没有美工，自己搞的，个人感觉也比较丑：）。本来这东东是给DBA专门用的，但目前所在公司，算是创业公司，业务还没有成熟，修数太多了，纯靠DBA去修数，不太现实，但又不想让他们用UI工具去直接操作数据库，便把DML的功能，开放给少数几个开发。每个开发用自己的账号登录后，有自己的域权限，只能对相应权限的DB 实例进行操作，当然只能是主库了，后面会考虑在DB 级别甚至表级别设置权限。执行完毕后，都有履历可查，成功或者失败，错误原因等。

域和角色及用户的对照关系如下：

• schema（DB）=> DB实例(IP+DB端口) => 域
• 用户 => 角色 => 角色域 => 域

安全控制方面，简单的对，delete from ，update set 判断是否有where条件，没有where条件不让执行，当然对DBA角色，那个上面的复选框是可见的。这样多多少少还是有风险的，正常的大互联网公司，这些操作都是DBA来执行的。

后端操作上，执行的dml命令，paramiko远程传输到本机，转储为文件，然后本机执行，mysql < sql文件来执行dml 命令，原来采用mysql -e 模式，不过 -e 模式对表名的撇号，还需要转义，太麻烦，而< 文件，则没有这种限制。

DBA执行的DDL，比较麻烦，mysql的online ddl，在5.6版本以前 copy table，只读，MDL lock 等等限制，percona的OSCA 和 oak的oak-online-alter-table，在复杂环境（从库，trigger）下都有些多多少少的蛋疼问题。所以这个工具没有考虑那多复杂问题，就是原始的ddl，夜里操作了，只能期望后面升级到5.6或mariadb 10的真正的online ddl了。

2 DB 用户授权

界面功能就不多做介绍了，搞DBA的同学，一看便知，“权限复制到从库”= “set sql_log_bin=1" ,下拉列表的数据，都是从数据中心配置表加载的。跟上面一样，grant语句转储为文件，在本机执行。

”查看当前DB实例的所有DB权限“ = percona工具的pt-show_grants --ignore=‘系统自带的账号’，剩余全部都是应用账号

”查看当前被授权人的DB权限“ = percona工具的pt-show_grants --only=

没有写完，后续。。。。。