《Mysql实例MySQL闪回(flashback)原理与实战》要点：
本文介绍了Mysql实例MySQL闪回(flashback)原理与实战，希望对您有用。如果有疑问，可以联系我们。
MYSQL实例DBA或开发人员,有时会误删或者误更新数据,如果是线上环境并且影响较大,就需要能快速回滚.传统恢复办法是利用备份重搭实例,再应用去除错误sql后的binlog来恢复数据.此法费时费力,甚至需要停机维护,并不适合快速回滚.也有团队利用LVM快照来缩短恢复时间,但快照的缺点是会影响mysql的性能.
MYSQL实例MySQL闪回(flashback)利用binlog直接进行回滚,能快速恢复且不用停机.本文将介绍闪回原理,给出笔者的实战经验,并对现存的闪回工具作比拟.
MYSQL实例开胃菜
MYSQL实例某天,小明因种种原因,误删了大批线上用户表的数据.他急忙找到公司DBA哀求帮助,“客服电话已被打爆,大量用户投诉无法登陆,领导非常恼火.请问多久能恢复数据?”DBA一脸懵逼,沉默十秒后,伸出一根手指.“你的意思是一分钟就能恢复?太好了.”小明终于有些放松,露出了一丝笑容.“不,我们中有个人将会离开公司.”DBA沉痛的说道.
MYSQL实例勿让悲剧产生,尽早将此文转给公司DBA.
MYSQL实例闪回原理
MYSQL实例binlog概述
MYSQL实例MySQL binlog以event的形式,记录了MySQL server从启用binlog以来所有的变更信息,能够赞助重现这之间的所有变化.MySQL引入binlog主要有两个目的：一是为了主从复制；二是某些备份还原操作后需要重新应用binlog.
MYSQL实例有三种可选的binlog格局,各有优缺点：
MYSQL实例利用binlog闪回,需要将binlog格式设置为row.row模式下,一条使用innodb的insert会产生如下格式的binlog：
MYSQL实例
# at 1129
#161225 23:15:38 server id 3773306082 end_log_pos 1197 Query thread_id=1903021 exec_time=0 error_code=0
SET TIMESTAMP=1482678938/*!*/;
BEGIN
/*!*/;
# at 1197
#161225 23:15:38 server id 3773306082 end_log_pos 1245 Table_map: `test`.`user` mapped to number 290
# at 1245
#161225 23:15:38 server id 3773306082 end_log_pos 1352 Write_rows: table id 290 flags: STMT_END_F
BINLOG '
muJfWBPiFOjgMAAAAN0EAAAAACIBAAAAAAEABHRlc3QABHVzZXIAAwMPEQMeAAAC
muJfWB7iFOjgawAAAEgFAAAAACIBAAAAAAEAAgAD//gBAAAABuWwj+i1tVhK1hH4AgAAAAblsI/p
krFYStYg+AMAAAAG5bCP5a2ZWE/onPgEAAAABuWwj+adjlhNeAD4BQAAAAJ0dFhRYJM=
'/*!*/;
# at 1352
#161225 23:15:38 server id 3773306082 end_log_pos 1379 Xid = 5327954
COMMIT/*!*/;
MYSQL实例闪回原理
MYSQL实例既然binlog以event形式记录了所有的变更信息,那么我们把必要回滚的event,从后往前回滚回去即可.
MYSQL实例对付单个event的回滚,我们以表test.user来演示原理
MYSQL实例
mysql> show create table test.user\G
*************************** 1. row ***************************
Table: user
Create Table: CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(10) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8
MYSQL实例对于delete操作,我们从binlog提取出delete信息,生成的回滚语句是insert.(注：为了便利解释,我们用binlog2sql将原始binlog转化成了可读SQL)
MYSQL实例
原始：DELETE FROM `test`.`user` WHERE `id`=1 AND `name`='小赵';
回滚：INSERT INTO `test`.`user`(`id`, `name`) VALUES (1, '小赵');
MYSQL实例对付insert操作,回滚SQL是delete.
MYSQL实例
原始：INSERT INTO `test`.`user`(`id`, `name`) VALUES (2, '小钱');
回滚：DELETE FROM `test`.`user` WHERE `id`=2 AND `name`='小钱';
MYSQL实例对付update操作,回滚sql应该交换SET和WHERE的值.
MYSQL实例
原始：UPDATE `test`.`user` SET `id`=3, `name`='小李' WHERE `id`=3 AND `name`='小孙';
回滚：UPDATE `test`.`user` SET `id`=3, `name`='小孙' WHERE `id`=3 AND `name`='小李';
MYSQL实例闪回实战
MYSQL实例真实的闪回场景中,最关键的是能快速筛选出真正必要回滚的SQL.
MYSQL实例我们使用开源对象binlog2sql来进行实战演练.binlog2sql由美团点评DBA团队(上海)出品,多次在线上环境做快速回滚.
MYSQL实例首先我们安装binlog2sql：
MYSQL实例
shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
shell> pip install -r requirements.txt
MYSQL实例配景：小明在11:44时误删了test库user表大批的数据,需要紧急回滚.
MYSQL实例test库user表原有数据
MYSQL实例
mysql> select * from user;
+----+--------+---------------------+
| id | name | addtime |
+----+--------+---------------------+
| 1 | 小赵 | 2013-11-11 00:04:33 |
| 2 | 小钱 | 2014-11-11 00:04:48 |
| 3 | 小孙 | 2016-11-11 20:25:00 |
| 4 | 小李 | 2013-11-11 00:00:00 |
.........
+----+--------+---------------------+
16384 rows in set (0.04 sec)
MYSQL实例11:44时,user表年夜批数据被误删除.与此同时,正常业务数据是在继续写入的
MYSQL实例
mysql> delete from user where addtime>'2014-01-01';
Query OK, 16128 rows affected (0.18 sec)
mysql> select count(*) from user;
+----------+
| count(*) |
+----------+
| 261 |
+----------+
MYSQL实例恢复数据步调：
MYSQL实例登录mysql,查看目前的binlog文件
MYSQL实例
mysql> show master logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000053 | 168652863 |
| mysql-bin.000054 | 504549 |
+------------------+-----------+
MYSQL实例最新的binlog文件是mysql-bin.000054.我们的目标是筛选出必要回滚的SQL,由于误操作人只知道大致的误操作时间,我们首先根据时间做一次过滤.只必要解析test库user表.(注：如果有多个sql误操作,则生成的binlog可能分布在多个文件,需解析多个文件)
MYSQL实例
shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -tuser --start-file='mysql-bin.000054' --start-datetime='2016-12-26 11:44:00' --stop-datetime='2016-12-26 11:50:00' > /tmp/raw.sql
raw.sql 输出：
DELETE FROM `test`.`user` WHERE `addtime`='2014-11-11 00:04:48' AND `id`=2 AND `name`='小钱' LIMIT 1; #start 257427 end 265754 time 2016-12-26 11:44:56
DELETE FROM `test`.`user` WHERE `addtime`='2015-11-11 20:25:00' AND `id`=3 AND `name`='小孙' LIMIT 1; #start 257427 end 265754 time 2016-12-26 11:44:56
...
DELETE FROM `test`.`user` WHERE `addtime`='2016-12-14 23:09:07' AND `id`=24530 AND `name`='tt' LIMIT 1; #start 257427 end 504272 time 2016-12-26 11:44:56
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:33', 32722, '小王'); #start 504299 end 504522 time 2016-12-26 11:49:42
...
MYSQL实例根据位置信息,我们确定了误操作sql来自同一个事务,准确位置在257427-504272之间(binlog2sql对于同一个事务会输出同样的start position).再根据位置过滤,使用 -B 选项生成回滚sql,检查回滚sql是否正确.(注：真实场景下,生成的回滚SQL经常会必要进一步筛选.结合grep、编辑器等)
MYSQL实例
shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -tuser --start-file='mysql-bin.000054' --start-position=257427 --stop-position=504272 -B > /tmp/rollback.sql
rollback.sql 输出：
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-14 23:09:07', 24530, 'tt'); #start 257427 end 504272 time 2016-12-26 11:44:56
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-12 00:00:00', 24529, '小李'); #start 257427 end 504272 time 2016-12-26 11:44:56
...
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2014-11-11 00:04:48', 2, '小钱'); #start 257427 end 265754 time 2016-12-26 11:44:56
shell> wc -l /tmp/rollback.sql
16128 /tmp/rollback.sql
MYSQL实例与业务方确认回滚sql没问题,执行回滚语句.登录mysql,确认回滚胜利.
MYSQL实例
shell> mysql -h127.0.0.1 -P3306 -uadmin -p'admin' < /tmp/rollback.sql
mysql> select count(*) from user;
+----------+
| count(*) |
+----------+
| 16389 |
+----------+
MYSQL实例TIPS
MYSQL实例再重复下最重要的两点：筛选出正确SQL!沟通清楚!
MYSQL实例闪回对象
MYSQL实例MySQL闪回特性最早由阿里彭立勋开发,彭在2012年给官方提交了一个patch,并对闪回设计思路做了说明(设计思路很有启发性,强烈保举阅读).但是因为种种原因,业内安装这个patch的团队至今还是少数,真正应用到线上的更是少之又少.彭之后,又有多位人员针对不同mysql版本不同语言开发了闪回工具,原理用的都是彭的思路.
MYSQL实例我将这些闪回对象按实现方式分成了三类.
MYSQL实例第一类是以patch形式集成到官方对象mysqlbinlog中.以彭提交的patch为代表.
MYSQL实例长处
MYSQL实例上手本钱低.mysqlbinlog原有的选项都能直接利用,只是多加了一个闪回选项.闪回特性未来有可能被官方收录.
支持离线解析.
MYSQL实例缺点
MYSQL实例这些缺点,可能都是闪回没有流行开来的原因.
MYSQL实例第二类是独立工具,通过伪装成slave拉取binlog来进行处置.以binlog2sql为代表.
MYSQL实例长处
MYSQL实例缺点
MYSQL实例必需开启MySQL server.
MYSQL实例第三类是简单脚本.先用mysqlbinlog解析出文本格局的binlog,再根据回滚原理用正则进行匹配并替换.
MYSQL实例长处
MYSQL实例缺点
MYSQL实例就目前的闪回工具而言,线上环境的闪回,笔者建议使用binlog2sql,离线解析使用mysqlbinlog.
MYSQL实例关于DDL的flashback
MYSQL实例本文所述的flashback仅针对DML语句的快速回滚.但如果误操作是DDL的话,是无法利用binlog做快速回滚的,因为即使在row模式下,binlog对于DDL操作也不会记录每行数据的变化.要实现DDL快速回滚,必须修改MySQL源码,使得在执行DDL前先备份老数据.目前有多个mysql定制版本实现了DDL闪回特性,阿里林晓斌团队提交了patch给MySQL官方,MariaDB预计在不久后加入包括DDL的flashback特性.DDL闪回的副作用是会增加额外存储.考虑到其应用频次实在过低,本文不做详述,有兴趣的同学可以自己去了解,重要的几篇文章我在参考资料中做了引用.
MYSQL实例有任何问题,或有mysql闪回相关的优秀对象优秀文章遗漏,烦请告知.
维易PHP培训学院每天发布《Mysql实例MySQL闪回(flashback)原理与实战》等实战技能，PHP、MYSQL、LINUX、APP、JS,CSS全面培养人才。
