Fork me on GitHub

MySQL MHA高可用架构与实现

字数统计: 3k字   |   阅读时长≈ 14分

MHA高可用架构

MHA可以解决的问题

1
2
3
4
1. 监控所有节点状态
2. 自动选择新的主库
3. 对业务透明（通过VIP自动切换到新主库）
4. 尽量保证新的主库与老的主库数据一致,即数据补偿

MHA原理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
1. 原版MHA架构要求至少三个节点才能实现
2. 监控多个节点【心跳、主从复制的状态(show slave status)】
3. MHA结构是由Manager+node构成。所以三台数据库实例都需要安装MHA node相关软件。生产环境下,Manager需要单独安装在某台额外的服务器上。
4. 所以节点配置SSH互信(即无密码登陆)
5. 选主: MHA会默认按照将来配置文件中节点添加顺序作为选主库的依据,由于配置文件是我们自己指定的，所以MHA的选主是乐观的。同时它也会去判断从节点和主节点延迟状况。如何判断？通过show slave status\G结果中的Seconds_Behind_Master参数作为依据，如果延迟较大超出指定范围也不会选择指定顺序中的从库作为新的主库。
通过人为干预MHA的选主，设定权重，让MHA按照人为配置选择新主，如果有这种干预，还一定要保证从库真的很新。技术：半同步复制或者是使用更高端的硬件设备,如硬盘改为SSD

6. 数据补偿
主库宕机才会选主
第一种情况(乐观): 仅是数据库实例宕机了，但服务器运行正常能正常ssh
<1>保存从库缺失部分的binlog
<2>重新构建新的主从环境
   第一阶段的数据补偿
   2.1:将S2(从库)和S1（新主库）进行对比，获得缺失部分的日志进行恢复到S2从库
   2.2:S2从库 change master to S1(新主库)，即重新自动变更主从架构
<3>将S1(新主)和原主库缺失并保存下来的binlog恢复。

第二种情况（悲观）: 原主库, 操作系统都无法ssh
<1>尝试保存从库缺失部分的binlog,发现无法获取
<2>重新构建新的主从环境
   第一阶段的数据补偿
   2.1:将S2(从库)和S1（新主库）进行对比，获得缺失部分的日志进行恢复到S2从库
   2.2:S2从库 change master to S1(新主库)，即重新自动变更主从架构
   
问题: 和原主库的数据差异如何补偿？
方案:(1)配置半同步复制
     (2)binlog实时的备份到远程节点(binlog server)

异步复制与半同步复制

1
2
(1)mysql默认是异步复制（即只同步差异部分）
(2)半同步复制，即主库将数据发送到从库，从库确确实实接受到了数据到relay-log(非缓存中),此时从库给主库进行接收确认。

MHA搭建过程

环境

1
2
3
4
1、准备环境: 准备3台机器，安装好MySQL5.6.36
10.0.0.51
10.0.0.52
10.0.0.53
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
2、配置文件规划
[mysqld]
basedir=/application/mysql
datadir=/application/mysql/data
socket=/tmp/mysql.sock
log-error=/var/log/mysql.log
log-bin=/data/mysql/mysql-bin
binlog_format=row
secure-file-priv=/tmp 
server-id=51\52\53
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1

说明：
除了server-id不同，其他都相同
gtid-mode=on  启用gtid类型，否则就是普通的复制架构
enforce-gtid-consistency=true  强制GTID的一致性
log-slave-updates=1	  slave更新是否记入日志（5.6必须的）
1
2
3
4
5
3、分别初始化数据
/application/mysql/scripts/mysql_install_db --defaults-file=/etc/my.cnf --basedir=/application/mysql --datadir=/application/mysql/data/ --user=mysql

启动数据库
/etc/init.d/mysqld start
1
2
4、主节点-创建复制用户(51作为主节点，52、53为从)
GRANT REPLICATION SLAVE ON *.* TO repl@'10.0.0.%' IDENTIFIED BY '123';
1
2
3
4
5
6
7
8
5、52/53从库开启复制
change master to master_host='10.0.0.51',master_user='repl',master_password='123',MASTER_AUTO_POSITION=1;

启动slave
start slave;

验证slave
mysql> show slave status;
1
2
3
4
5
6
关闭relaylog自动删除

set global relay_log_purge = 0;
set global relay_log_purge = 0;  临时（建议三个节点都做）
relay_log_purge = 0   	永久，在配置文件，建议在三个节点都做
set global read_only=1;  临时，为后续读写分离准备，不需要在配置文件生效（在所有从库）

注：MySQL使用GTID的优势

1
2
3
4
5
6
7
8
(1) group commit
(2) 对每一个事务记录唯一的一串编号uuid：TXID
(3) failover（故障转移）更加有优势。
3.1 选主方面
	classic replication    mseter.info和主中show master status
	GTID   比较主从的gtid就可以了。
3.2 数据补偿方面
	classic, 比较主从master.info 和show  master status。把没有的拿过来运行时，使用gtid比较简单

部署MHA

  • 安装mha node节点
1
2
3
4
5
各节点安装node软件包及依赖

依赖包perl-DBD-MySQL ，并在三个节点都安装node软件
yum install -y perl-DBD-MySQL
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

创建mha管理用户

1
2
主库中创建mha管理用户(从库会自动同步)
grant all privileges on *.* to mha@'10.0.0.%' identified by 'mha';

配置软连接

1
2
ln -s /application/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog
ln -s /application/mysql/bin/mysql /usr/bin/mysql
  • 部署manger节点(生产环境为独立服务器)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes

安装  manager软件
rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm 

创建必要目录
mkdir -p /etc/mha
mkdir -p /var/log/mha/app1  可以管理多套主从复制

创建配置文件 (不需要的配置不要留着，注释没用,切换后会重写)
vim /etc/mha/app1.cnf    

内容如下：
[server default]                     
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/mysql
user=mha
password=mha
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root

[server1]
hostname=10.0.0.51
port=3306

[server2]
hostname=10.0.0.52
port=3306

[server3]
hostname=10.0.0.53
port=3306

配置节点SSH互信

1
2
3
4
5
6
7
8
配置互信(所有节点)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa >/dev/null 2>&1
ssh-copy-id -i /root/.ssh/id_dsa.pub root@10.0.0.51
ssh-copy-id -i /root/.ssh/id_dsa.pub root@10.0.0.52
ssh-copy-id -i /root/.ssh/id_dsa.pub root@10.0.0.53

检测互信
[root@server3 ~]# masterha_check_ssh  --conf=/etc/mha/app1.cnf 
1
2
检查主从状态
masterha_check_repl --conf=/etc/mha/app1.conf

故障处理

1
2
3
4
5
6
7
8
故障处理:
[error][/usr/share/perl5/vendor_perl/MHA/ServerManager.pm, ln301] 
Got MySQL error when connecting 10.0.0.53(10.0.0.53:3306) :1045:Access denied for user 'mha'@'server3' 
(using password: YES), but this is not a MySQL crash. Check MySQL server settings.

解决：
我们需要在配置文件中加入 
skip-name-resolve

在manager节点启动mha

1
2
3
4
5
6
7
8
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

mha启动验证
ps -ef |grep manager

检查MHA集群状态：
masterha_check_status --conf=/etc/mha/app1.cnf 
app1 (pid:7502) is running(0:PING_OK), master:10.0.0.51

MHA故障模拟及修复

1
2
3
4
5
6
7
8
9
1.模拟主库宕机，tailf命令查看mha机器的manager log信息
   (1)log查看主库宕机,从库选举、切换等等过程
   (2)再次查看配置文件内容，发现主库信息已经被自动移除
2.恢复MHA架构
  (1)修复1主2从复制架构
     将宕机的原主库启动mysql服务，然后change master to 到新主库，最后start slave
  (2)修复MHA
     - 配置文件添加新节点(添加宕机恢复好的原主库)
     - 检查ssh互信与主从状态，最后启动MHA

MHA高级功能

VIP高可用实现

1
2
3
(1)人为指定一个VIP地址(不能被占用)
(2)MHA能够切换这个VIP
(3)MHA ip failover脚本(自己写)

MHA-VIP脚本:master_ip_failover.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
#!/usr/bin/env perl

use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
);

#--------------------- 需要关注的区域-----------------------
my $vip = '10.0.0.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth1:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth1:$key down";
#--------------------- 结束关注的区域------------------------

GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
);

exit &main();

sub main {

    print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host \n";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {

        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
     return 0  unless  ($ssh_user);
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

VIP实现步骤

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
VIP(Manager节点)
(1)添加一个vip切换脚本(使用的是源码包中的模板)
vi  /usr/local/bin/master_ip_failover(如上脚本)
修改如下内容:
my $vip = '10.0.0.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

(2)在配置文件中加入调用定制的脚本
vi /etc/mha/app1.cnf
添加：
master_ip_failover_script=/usr/local/bin/master_ip_failover

(3)重启MHA
重启mha
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

(4)(主库)第一次需要手工添加VIP到配置文件指定的网卡别名上(eth0:1)
ifconfig eth0:1 10.0.0.55/24


(5)测试vip漂移
   关闭master节点,查看新主节点的ip信息

Binlog Server(新配置一个节点)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
（1）准备一台新的mysql实例（53），必须开启GTID
（2）建立binlog接收目录，不能和主库binlog目录一样
	mkdir /data/mysql/binlog/ 
	chown -R mysql.mysql /data/
	
（3）在app1.cnf中开启binlogserver功能
	[binlog1]
	no_master=1
	hostname=10.0.0.53        --->db03那台机器
	master_binlog_dir=/data/mysql/binlog/  	--->我们自定义的binlog保存目录

（4）开启binlog接收（接收主库的binlog）
	cd  /data/mysql/binlog/
	mysqlbinlog  -R --host=10.0.0.51 --user=mha --password=mha --raw  --stop-never mysql-bin.000001 &
	
（5）停止MHA
	/usr/bin/masterha_stop --conf=/etc/mha/app1.cnf
	
（6）开启MHA
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

发送邮件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
3.send_report
(1)准备发邮件的脚本

(2)将准备好的脚本添加到mha配置文件中,让其调用
	vi /etc/mha/app1.cnf
	report_script=/usr/local/bin/send
	
（3）停止MHA
		/usr/bin/masterha_stop --conf=/etc/mha/app1.cnf
		
（4）开启MHA
	nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
		
(5) 关闭主库,看警告邮件

MHA架构不足

1
2
3
4
5
6
7
8
MHA: 浪费机器

读写分离:将读操作落到从节点上去运行,主库只负责写入

mysql中间件实现: atlas(奇虎360开源)

facebook:
多套MHA集群,分片(分布式系统一类:分布式存储)

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......