MySQL新增从库-数据量T级

实战新增从库流程，数据量T级别，耗时3-4天，特记录如下：

主库准备

(1)备份之前,查询主库当前binlog名称和position号,并切割生成新的binlog文件
   mysql> show master status;
   mysql> flush logs;
(2)新增或使用原有slave同步账户和密码
   grant replication slave on *.* to repl@'192.168.1.%' identified by '123';
(3)xtrabackup全备主库数据并流式压缩后rsync到从库(目的:确保在某个时间点数据一致) 
   innobackupex --defaults-file=/etc/my.cnf --user=root --password=123 --use-memory=5G  --stream=xbstream /data/A/backup/mysql/allbackup |gzip - >/data/A/backup/mysql/allbackup/NewAll31.xbstream.gz
   
注：--use-memory=5G使用多大内存, 根据实际情况修改，默认100M，慢死如牛。。。   

从库流程

编译部署MySQL

部署过程略，强调2点：
(1)MySQL版本务必与主库一致(否则会报各种plugin找不到错误)
(2)/etc/my.cnf文件需要与主库参数一致(数据目录可以不一致，这里主要说的是参数)

确保使用(与主库配置一致的my.cnf文件)可以正常启动mysql即可。

全备数据恢复到MySQL数据目录

开启Tmux解压
gzip -d NewAll31.xbstream.gz      #第一次解压
mkdir -p NewAll31
xbstream -xC NewAll31 < NewALL31.xbstream  #第二次解压

初始化从库[可选]

如果从库原先有数据，故可以首先进行初始化，MySQL5.7.x初始化命令为 mysqld ----initialize

(1)并清空数据目录,否则下面步骤会报错
   cd /data/B/mysql/data && rm -rf ./*

(2)MySQL5.7.9重新初始化
   mysqld --initialize --basedir=/usr/local/web2016/mysql --datadir=/data/B/mysql/data --user=mysql

(3)确保MySQL5.7.9初始化后能正常启动
   /etc/init.d/mysqld start

数据整合

(1)停止数据库
/etc/init.d/mysqld stop

(2)并清空（MySQL已初始化产生的文件）数据目录,否则下面步骤会报错
cd /data/B/mysql/data && rm -rf ./*

(3)第一次数据整合(--apply-log)
innobackupex --defaults-file=/etc/my.cnf --user=root --apply-log --use-memory=5G   /data/B/rsync/NewAll31
注：如果此步骤报错，很可能是因为xtrabackup版本过低，升级新版本即可

(4)第二次数据整合(--copy-back)
innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back  --use-memory=5G  /data/B/rsync/NewAll31

注:第二次数据整合过程会把解压的全备文件拷贝到my.cnf(拷贝方式)写的数据目录里面

修改文件属主属组

chown -R mysql.mysql /data/B/mysql/data    #改变文件所属

启动MySQL

/etc/init.d/mysqld start     

连接MySQL

mysql -uroot -p   #这里输入与登陆主库一样的用户名和密码

故障：如果这里用户名和密码都正确,但登陆提示错误Errir 2002 。。。。/tmp/mysql.sock
解决方法: 编辑my.cnf 在client模块下指定我们定义的sock路径：
[client]
socket=/data/B/mysql/mysql.sock
重启mysql,重新登录

配置主从同步

change master to

CHANGE MASTER TO
  MASTER_HOST='192.168.1.5',
  MASTER_USER='repl',
  MASTER_PASSWORD='repl',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.003394',
  MASTER_LOG_POS=36035455;
  
注：如果上面的binlog文件和position号忘记，则可以在主库通过以下方式查看
mysql> show binary logs;     #查看所有binlog文件
mysql> SHOW BINLOG EVENTS IN 'mysql-bin.003394' \G       #查看具体binlog的position号

启动从库同步

mysql> start slave;
mysql> show slave status\G      #查看主从同步状态

故障处理

• 主从同步错误：1062 主键重复错误

故障描述：
Last_SQL_Errno: 1062
Last_SQL_Error: Error 'Duplicate entry '82427' for key 'PRIMARY'' on query. Default database: 'smartcity'. Query: 'INSERT INTO `cpnt_info` ......

解决方法：
stop slave; 
set global sql_slave_skip_counter=1; 
start slave; 
show slave status\G

• 主从同步错误: 1236

如果此时出现1236错误，在主库查看mysql-bin.003394这个binlog的position号这里是36035408，然后从库进行如下操作
stop slave;
change master to master_log_file='mysql-bin.003394',master_log_pos=36035408;
start slave;
show slave status\G

从库优化

中继日志(relay log)
relay_log = relay-log         # 开启中继日志(从库默认启用)
relay_log_info_file = relay-log.info     # 记录中继日志的文件和事件位置以及二进制的文件和事件位置
relay_log_recovery = ON       # (备库)relaylog自动修复，避免网络等造成损坏，导致主从停止
relay_log_purge = ON          # (备库)启动自动清除中继日志
log_slave_updates = OFF       # (备库)是否将接收到的记录到本地binlog，用于级联复制

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2018/02/13/MySQL新增从库-数据量T级/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！