binlog分析工具之binlog2sql

GitHub项目地址：binlog2sql

适用场景

• 从binlog生成标准SQL, 用于分析
• 数据快速回滚

已测试的环境

• Python 2.7 或 3.4+
• MySQL 5.6 或 5.7

安装

python3安装参考–自带pip：编译安装Python3及扩展

git安装：略

shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
shell> pip install -r requirements.txt

MySQL使用要求

[mysqld]
server_id = 1       #需配置server_id参数
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full  #默认为FULL

用户权限要求

建议授权
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 

基本用法: 解析出标准SQL

格式：
shell> python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtestdb -t test3 test4 --start-file='mysql-bin.000002' >>/data/testdb_binlog2sql.sql

选项

– mysql连接配置

-h host;   -P port;   -u user;   -p password

– 解析模式

--stop-never 持续解析binlog。可选。默认False，同步至执行命令时最新的binlog位置。

-K, --no-primary-key 对INSERT语句去除主键。可选。默认False

-B, --flashback 生成回滚SQL，可解析大文件，不受内存限制。可选。默认False。与stop-never或no-primary-key不能同时添加。

--back-interval -B模式下，每打印一千行回滚SQL，加一句SLEEP多少秒，如不想加SLEEP，请设为0。可选。默认1.0。

– 解析范围控制

--start-file 起始解析文件，只需文件名，无需全路径 。必须。

--start-position/--start-pos 起始解析位置。可选。默认为start-file的起始位置。

--stop-file/--end-file 终止解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never，此选项失效。

--stop-position/--end-pos 终止解析位置。可选。默认为stop-file的最末位置；若解析模式为stop-never，此选项失效。

--start-datetime 起始解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。

--stop-datetime 终止解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。

– 对象过滤

d, --databases 只解析目标db的sql，多个库用空格隔开，如-d db1 db2。可选。默认为空。

-t, --tables 只解析目标table的sql，多张表用空格隔开，如-t tbl1 tbl2。可选。默认为空。

--only-dml 只解析dml，忽略ddl。可选。默认False。

--sql-type 只解析指定类型，支持INSERT, UPDATE, DELETE。多个类型用空格隔开，如--sql-type INSERT DELETE。可选。默认为增删改都解析。用了此参数但没填任何类型，则三者都不解析。

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2019/04/02/binlog分析工具之binlog2sql/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！