MySQL主从原理与部署

什么是mysql主从同步？

当master(主)库的数据发生变化的时候，变化会实时的同步到slave(从)库。

主从同步有什么好处？

水平扩展数据库的负载能力。
容错，高可用。
Failover(失败切换)/High Availability
数据备份。

主从环境涉及到的文件-梳理

Master主库:
binlog文件
  1.存放在和数据文件不同的位置
  2.使用ROW格式(行)
  3.提高binlog写入磁盘的实时性
    sync_binlog=0/1
    1:每次事务commit都要刷新到磁盘
    0:和1对立,不是每次事务完成就写磁盘
    建议将binlog存放在SSD存储上


Slave从库: 
<1>Relay-log文件
   作用:保存IO线程接收过来的主库的binlog事件
   可通过relay-bin去设置relay的保存位置,默认存放在数据目录下
<2>Master.info文件
作用：
(1)连接主库的IP/Port/User/Password(通过change master to命令而来)
(2)上次请求到哪一个事件了（file名+position号）
<3>Relay-log.info
作用：记录已经运行到哪一个relaylog事件的哪个位置了


注：(1)主从数据同步需要保证在某个时间点数据是一致的。
    (2)mysql默认是异步复制（即只同步差异部分）
    (3)半同步复制，即主库将数据发送到从库，从库确确实实接受到了数据到relay-log(非缓存中),此时从库给主库进行接收确认。

主从工作流程

由从库发起数据同步请求，拿着master.info中的file和position号去连接主库。主库拿着从库的file名和position号去比对主库自己的bin-log文件, 把最新的一部分文件通过主库的dump线程发送给从库的io线程,从库的io线程把接收的数据记录在relay-log中,从库将relay-log中的文件通过sql线程写入到数据库中，并在relay-log.info文件中记录已经运行到哪一个relaylog事件的哪个位置了

注：从库master.info中记录的是从主库拿过来的bin-log file名和position号。与从库自己的relay-log信息是完全独立的,即file名和position号不一致是正常的。

MySQL架构演变

<1>安全角度
主库执行drop database oldboy --->从库也很快运行，属于逻辑损坏，而延时从库同步可以很好解决这个问题。即将从库SQL线程阻塞,主从之间日志传送正常执行，但是SQL线程不立即执行

<2>性能角度
所有读写请求都会落到主库进行负载,可以使用读写分离技术，让从库分担主库压力。

<3>快速Failover

---

主从同步-实现

假设server主库已经运行了很长时间，并且数据很重要，如何做从？

注意:做主从之前，需要确保主从之间的MySQL版本信息一致，否则可能会出现缺少plugin而无法启动的情况

主库my.cnf

cat /etc/my.cnf

[client]
port            = 3306
socket          = /data/B/mysql/mysql.sock

[mysqld]
user = mysql
port = 3306
socket  = /data/B/mysql/mysql.sock
basedir = /usr/local/mysql
datadir = /data/B/mysql/data
log-bin = /data/B/mysql/mysql-bin
server-id = 5     #主从mysql id号不同
skip_name_resolve

从库my.cnf

cat /etc/my.cnf

[client]
port            = 3306
socket          = /data/B/mysql/mysql.sock

[mysqld]
user = mysql
port = 3306
socket  = /data/B/mysql/mysql.sock
basedir = /usr/local/mysql
datadir = /data/B/mysql/data
log-bin = /data/B/mysql/mysql-bin    #在从库启用binlog(按需配置)
server-id = 10     #主从mysql id号不同
skip_name_resolve  #跳过本地解析

主库操作

• 查看主库当前binlog文件和position号码(稍后从库需要)

mysql> show master status; 
  
+------------------+------------+
| File             | Position   | 
+------------------+------------+
| mysql-bin.003374 | 1016625221 |  
+------------------+------------+

• 主库备份

数据量≤50GB,建议使用mysqldump ;数据量＞50GB建议使用xtrabackup

xtrabackup全备并压缩-参考：
/usr/bin/innobackupex --defaults-file=/etc/my.cnf --user=root --password=123  --stream=xbstream /data/A/backup/mysql/allbackup |gzip - > /data/A/backup/mysql/allbackup/NewAll31.xbstream.gz

• 主库创建复制用户

grant replication slave on *.* to repl@'10.0.0.%' identified by '123';

从库操作

• 从库恢复全量数据

/etc/init.d/mysqld stop   #停库 
cd /data/B/mysql/ && cp -R data data_bak 
cd data && rm -rf ./*     #清空数据

gzip -d NewAll31.xbstream.gz && xbstream -xC NewAll31.xbstream

全量数据整合
innobackupex --defaults-file=/etc/my.cnf --user=root --apply-log /data/B/mysql_tmp/NewAll31

全量数据恢复
innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /data/B/mysql_tmp/NewAll31

变更文件属主属组
chown -R mysql.mysql /data/B/mysql/data   

启动库
/etc/init.d/mysqld start          

• CHANGE MASTER TO

进入mysql并执行如下指令
CHANGE MASTER TO
  MASTER_HOST='10.0.0.20',
  MASTER_USER='repl',
  MASTER_PASSWORD='123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.003374',
  MASTER_LOG_POS=1016625221;
  
注：上面两行的意思是从库将从这个binlog和这个POS号开始进行数据同步 

• 启动slave并验证

接着在数据库执行
start slave；
show slave status\G

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2018/01/31/MySQL主从原理与部署/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！