Sean's Notes

MySQL根据离线binlog快速“闪回”

seanlook 2017-03-14 发布
1 收藏

昨天突然有个客户说误操作，自己删除了大量数据，CTO直接将我拉到一个讨论组里，说要帮他们恢复数据。他们自己挖的坑，打算让开发那边根据业务日志去恢复，被告知只记录的删除主键这样的信息，物理删除，无能为力。

监控MySQL你还应该收集表信息

seanlook 2017-03-14 发布
2 收藏

也许你经常会被问到，库里某个表最近一年的内每个月的数据量增长情况。当然如果你有按月分表比较好办，挨个 show table status，如果只有一个大表，那估计要在大家都休息的时候，寂寞的夜里去跑sql统计了，因为你...

一种直观记录表结构变更历史的方法

seanlook 2017-03-13 发布
收藏

说个自己的经历，需要改现网的一个索引来看优化的效果，因为存在风险，不会一次全改，先只改1个库，然后逐步放开。前后验证效果可能花上一两周的时间，除非实现完整的记录了当时的ddl语句和对应的库，否则根本难...

READ-COMMITED 与 REPEATABLE-READ 事务隔离级别之间的异同

seanlook 2017-03-13 发布
5 收藏

经常会被问到 InnoDB隔离级别中 READ-COMMITED和REPEATABLE-READ 的区别，今天就整理了一下，不再从“脏读”、“幻读”这样的名词解释一样去回答了。

遇到腾讯云CDB连接字符集设置一个坑

seanlook 2016-11-23 发布
1 收藏

最近一个与qq有关的服务迁到腾讯云上，相应的数据库也要从原阿里云RDS迁移到腾讯云CDB上，经过一番摸索，不带任何政治色彩的说，CDB跟RDS相比弱的不止一条街。比如看个错误日志还要提工单，数据库访问没有白名单...

MySQL非主从环境下数据一致性校验及修复程序

seanlook 2016-11-21 发布
6 收藏

主从环境下数据一致性校验经常会用 pt-table-checksum 工具，它的原理及实施过程之前写过一篇文章：生产环境使用 pt-table-checksum 检查MySQL数据一致性。但是DBA工作中还会有些针对两个表检查是否一致，而这两...

让mysqldump变成并发导出导入的魔法

seanlook 2016-11-21 发布
2 收藏

取名mypumpkin，是python封装的一个让mysqldump以多线程的方式导出库表，再以mysql命令多线程导入新库，用于成倍加快导出，特别是导入的速度。这一切只需要在 mysqldump 或 mysql 命令前面加上 mypumpkin.py 即可...

自动记录MySQL慢查询快照脚本

seanlook 2016-11-21 发布
收藏

写这个脚本的初衷是在使用阿里云RDS的过程中，数据库出现异常，需要快速恢复。网上有许多类似的kill脚本，都是通过 mysqladmin 实现的。然而 Ali-RDS 环境有以下限制：

MySQL sql_mode 说明（及处理一起 sql_mode 引发的问题）

seanlook 2016-07-11 发布
32 收藏

最近测试组那边反应数据库部分写入失败，app层提示是插入成功，但表里面里面没有产生数据，而两个写入操作的另外一个表有数据。因为 insert 失败在数据库层面是看不出来的，于是找php的同事看下错误信息：

MySQL避免索引列使用 OR 条件

seanlook 2016-06-04 发布
18 收藏

这个亏已经吃过很多次了，在开发以前的sql代码里面，许多以 or 作为where条件的查询，甚至更新。这里举例来说明使用 or 的弊端，以及改进办法。

pt-online-schema-change使用说明、限制与比较

seanlook 2016-06-04 发布
5 收藏

在 mysql 5.5 版本以前，修改表结构如添加索引、修改列，需要锁表，期间不能写入，对于大表这简直是灾难。从5.5特别是5.6里，情况有了好转，支持Online DDL，相关介绍见这篇文章，而我在实际alter table过程中还...

mysql 5.6 原生Online DDL解析

seanlook 2016-06-04 发布
5 收藏

做MySQL的都知道，数据库操作里面，DDL操作（比如CREATE,DROP,ALTER等）代价是非常高的，特别是在单表上千万的情况下，加个索引或改个列类型，就有可能堵塞整个表的读写。

InnoDB行格式对text/blob大变长字段的影响

seanlook 2016-05-20 发布
9 收藏

最近在排查现网Text与Blob类型，发现有不少，在《高性能MySQL(第3版)》看到对这两种变长数据类型的处理会涉及到在磁盘上创建临时表，性能开销比较大。于是把影响blob型数据存储方式了解了一下：row_format。

小心MySQL的隐式类型转换陷阱

seanlook 2016-05-16 发布
13 收藏

t_tb1 表上有个索引uid_type_frid(f_col2_id,f_type)、idx_corp_id_qq1id(f_col1_id,f_qq1_id)，而且如果选择后者时，f_qq1_id的过滤效果应该很佳，但却选择了前者。当使用 hint use index(idx_corp_id_qq1id)时：

MySQL数字类型int与tinyint、float与decimal如何选择

seanlook 2016-05-14 发布
9 收藏

只需要知道对应类型占多少字节就能推算出范围了，比如int占 4 bytes,即4*8=32bits，大约10位数字，也能理解为什么int默认显示位数是11。

MySQL字符数据类型char与varchar的区别

seanlook 2016-05-14 发布
10 收藏

数据类型差不多是接触mysql一开始就了解的内容，最近遇到几个现象如varchar自动转mediumtext，blob存储性能的问题，不得不回头明确一下关于MySQL常用数据类型的选择。

使用sysbench对mysql压力测试

seanlook 2016-04-05 发布
17 收藏

sysbench是一个模块化的、跨平台、多线程基准测试工具，主要用于评估测试各种不同系统参数下的数据库负载情况。关于这个项目的详细介绍请看：[链接] 。它主要包括以下几种方式的测试：

记一次Mac mini折腾过程（鼠键共享，更换SSD）

seanlook 2016-02-21 发布
11 收藏

从公司网管那捣鼓来一个“遗弃” Mac mini，说其它人觉得用起来太卡，正好我的工作PC( CPU 4×i3，MEM 8G, HDD 500G)软件开多了也觉得有些卡，特别是我使用浏览器的习惯不太好，每次搜索统一结果都要打开好多标签页...

使用 Xtrabackup 在线对MySQL做主从复制

seanlook 2016-02-18 发布
10 收藏

mysqldump对于导出10G以下的数据库或几个表，还是适用的，而且更快捷。一旦数据量达到100-500G，无论是对原库的压力还是导出的性能，mysqldump就力不从心了。Percona-Xtrabackup备份工具，是实现MySQL在线热备工...

生产环境使用 pt-table-checksum 检查MySQL数据一致性

seanlook 2016-01-14 发布
27 收藏

公司数据中心从托管机房迁移到阿里云，需要对mysql迁移（Replication）后的数据一致性进行校验，但又不能对生产环境使用造成影响，pt-table-checksum 成为了绝佳也是唯一的检查工具。