Fork me on GitHub

HA高可用之Heartbeat-部署

字数统计: 2.3k字   |   阅读时长≈ 9分

HA即(high available)高可用，又被叫做双机热备，用于关键性业务。简单理解就是，有2台机器 A 和 B，正常是 A 提供服务，B 待命闲置，当 A 宕机或服务宕掉，会切换至B机器继续提供服务。常见的实现高可用的开源软件有 heartbeat 和 keepalived。

heartbeat

一台 web 服务器一天24小时提供web服务，难免会存在 web 服务挂掉或服务器宕机宕机的情况，那么用户就访问不了服务了，这当然不是我们期望的。

如果这样，有2台服务器，A对外提供 web 服务，B作为备用，如果A挂掉，那么B立刻替代A的位置去提供 web 服务，这样对用户来说是透明的。

但是有个问题，服务器A的 ip 是 10.0.10.24，服务器B的 ip 是10.0.10.25，显然向用户提供A或B的ip地址是不可行的，因为用户总不能去切换ip来访问的吧。这时heartbeat或keepalived可以提供一个虚拟IP：10.0.10.26，用户只需要访问 10.0.10.26，当A提供服务时，VIP 会设置在A服务器上；当B提供服务时，VIP会设置在B服务器上，这样就可以让用户通过访问10.0.10.26来获取web服务，即使A或B服务器切换也不影响用户的正常访问。

部署

环境

1
2
3
4
Web1:
主机名：hahb24_master
OS: CentOS 6.6
网卡IP：10.0.10.24
1
2
3
4
Web2:
主机名：hahb25_slave
OS: CentOS 6.6
网卡IP：10.0.10.25
1
虚拟VIP: 10.0.10.26

配置主机名

master节点配置

1
2
[root@hahb24 ~]# vi /etc/sysconfig/network
HOSTNAME=hahb24_master

slave节点配置

1
2
[root@hahb25 ~]# vi /etc/sysconfig/network
HOSTNAME=hahb24_slave

关闭防火墙和selinux（所有节点配置）

关闭iptables

1
service iptables stop

关闭selinux

1
2
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

配置host(所有节点配置)

1
2
3
vim /etc/hosts
10.0.10.24 hahb24_master
10.0.10.25 hahb24_slave

安装Hearbeat和Nginx（所有节点配置）

1
2
3
4
5
# 安装epel源
yum install -y epel-release

# 安装heartbeat和nginx
yum install -y heartbeat* libnet nginx

主master配置

heartbeat主要的配置文件有3个，分别是authkeys、ha.cf和haresources

Authkeys文件:

1
2
3
文件为heartbeat的认证文件，该文件主要是用于集群中两个节点的认证。该文件的属性必须为600，否则heartbeat启动将失败。两个节点的authkeys文件内容及权限相同。

目前提供了3种算法：crc/md5/sha1。其中crc不能够提供认证，它只能够用于校验数据包是否损坏，而sha1/md5需要一个密钥来进行认证，从资源消耗的角度来讲，md5消耗的比较多，sha1次之，因此建议一般使用sha1算法。

ha.cf文件:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
配置文件详解
vim ha.cf

debugfile /var/log/ha-debug：该文件保存heartbeat的调试信息。

logfile /var/log/ha-log：heartbeat的日志文件。

bcast eth0   表示在eth0接口上使用udp广播来通知心跳（把接口名称改为实际接口名称，比如:eth1）

#ucast eth0 10.0.10.25： 说明：采用网卡eth0的udp单播来通知心跳，eth0的IP

#mcast eth0 225.0.0.1 694 1 0 说明：采用udp多播播来通知心跳，建议在副节点不只一台时使用

keepalive 2：设定heartbeat之间的时间间隔为2秒。

deadtime 30： 在30秒后宣布节点死亡

warntime 10：超出该时间间隔未收到对方节点的心跳，则发出警告并记录到日志中。

initdead 120：
在某系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项用于解决这种情况产生的时间间隔，取值通常为deadtime的2倍。

udpport 694：设置广播通信使用的端口，694为默认使用的端口号。

node data-1-1  主节点主机名(必须与uname -n输出结果一致)
node data-1-2  从节点主机名(必须与uname -n输出结果一致)

nice_failback on【注释掉:auto_failback on；注：从节点无需配置该选项。】
主节点在正常情况下占用资源并运行所有的服务，遇到故障时把资源交给从节点由从节点运行服务。在该选项设为on的情况下，一旦主节点恢复运行，则自动获取资源并取代从节点，否则不取代从节点。

watchdog /dev/watchdog
说明：看门狗，如果本节点在超过一分钟后还没有发出心跳，那么本节点自动重启

##################################################################
下面是可选项
##################################################################

stonith baytech /etc/ha.d/conf/stonith.baytech 说明：主/副等所有节点的一种校验。

respawn hacluster /etc/init.d/nginx 说明：和heartbeat必须一起启动的本地服务

baud 19200  说明：串口波特率，与serial一起使用。

serial /dev/ttyS0    说明：采用串口来传递心跳信息。

ping 10.0.10.1   Ping一个非heartbeat服务器的IP，一般为同网段网关即可

respawn hacluster /usr/lib64/heartbeat/ipfail
使Heartbeat以hacluster的身份来执行该进程并监视该进程的执行情况，如果其死亡便重启之。最常用的进程是ipfail，该进程用于检测和处理网络故障，需要配合ping语句指定的ping node来检测网络连接。 注意：如果结束进程的退出代码为100，则不会重启该进程。
注：(1)如果你的系统是64bit，请注意该文件的路径。
    (2)hacluster是安装heartbeat生成的用户

haresources文件:

1
2
3
4
5
6
添加如下行，例如：
hahb24_master 10.0.10.26/24/eth0/10.0.10.255 nginx

注：10.0.10.26/24是VIP地址，ech0是物理网卡名称，10.0.10.255是广播地址；nginx为heartbeat要监控的HA服务,可以有多个,中间使用空格分割

注意：两个集群节点上的该文件必须相同。

拷贝配置文件

1
2
3
cd /usr/share/doc/heartbeat-3.0.4/
cp authkeys ha.cf haresources /etc/ha.d/
cd /etc/ha.d

修改authkeys

1
2
3
4
5
6
7
8
# 更改或增加如下内容
vim authkeys
auth 3
3 md5 Hello!
注：不论您在关键字auth后面指定的是什么索引值，在后面必须要作为键值再次出现。如果您指定“auth 4”，则在后面一定要有一行的内容为“4 ”。

# 然后修改其权限
chmod 600 authkeys

ha.cf文件修改

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[root@hahb24_master ha.d]# vim ha.cf
debugfile /var/log/ha-debug
logfile /var/log/ha-log
keepalive 2
deadtime 10
warntime 5
initdead 60
udpport 694
ucast eth0 10.0.10.25
auto_failback on
ping 10.0.10.1
node hahb24_master
node hahb25_slave
respawn hacluster /usr/lib64/heartbeat/ipfail

haresources文件修改

1
2
3
4
[root@hahb24_master ha.d]# vim haresources

hahb24_master 10.0.10.26/24/eth0/10.0.10.255 nginx
注：10.0.10.26/24是VIP地址，ech0是物理网卡名称，10.0.10.255是广播地址；nginx为heartbeat要监控的HA服务,可以有多个,中间使用空格分割

从节点配置

1
把主节点上的三个配置文件拷贝到从节点的/etc/ha.d目录下

编辑ha.cf

1
2
vim /etc/ha.d/ha.cf
将“ucast eth0 10.0.10.25” 改为 ucast eth0 10.0.10.24

检查authkeys文件权限

1
ls -l authkeys 是否为600

编辑

1
2
vim haresources 
hahb25_slave 10.0.10.26/24/eth0/10.0.10.255 nginx

启动Heartbeat服务（所有节点）

1
2
3
4
5
6
7
8
9
10
11
chkconfig heartbeat on
/etc/init.d/heartbeat start

两台服务器服务都启动后，可以查看master辅助IP：  
[root@hahb24_master ha.d]# ip addr
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    link/ether 00:0c:29:43:b6:0f brd ff:ff:ff:ff:ff:ff
    inet 10.0.10.24/24 brd 10.0.10.255 scope global eth0
    inet 10.0.10.26/24 brd 10.0.10.255 scope global secondary eth0
    inet6 fe80::20c:29ff:fe43:b60f/64 scope link 
       valid_lft forever preferred_lft forever

检查测试

启动nginx服务(所有节点)

1
2
3
chkconfig nginx on
chkconfig httpd off   如果有则关闭，我们使用nginx测试
/etc/init.d/nginx start
1
2
3
4
5
6
7
8
9
为了能看出效果

#在master上添加
[root@hahb24_master]# echo "1111111111master" > /usr/share/nginx/html/index.html 

#在slave上添加
[root@hahb25_slave ha.d]# echo "22222222222222slave" >/usr/share/nginx/html/index.html

在浏览器输入http://10.0.10.26/index.html,此时的结果显示1111111111master则说明配置正确

测试1：主节点停止heartbeat服务

1
2
3
[root@hahb24_master]# /etc/init.d/heartbeat stop

此时，再访问http://10.0.10.26/index.html,会显示 22222222222222slave

测试2：测试脑裂

1
2
3
4
5
6
主节点master和从节点slave都down掉eth0网卡
[root@hahb24_master ~]# ifdown eth0
[root@hahb25_slave ~]# ifdown eth0

然后先启动master（10.0.10.24） eth0的网卡，你会发现网页依然无法访问，因为slave（10.0.10.25）目前依然是master模式。
最后启动，10.0.10.25的eth0网卡，服务恢复访问，访问结果是22222222222222slave

测试3：VIP漂移后，主master恢复后自动抢占。

1
2
3
4
5
#master节点
[root@hahb24_master ~]# ifdown eth0
此时，访问web已经转移到了slave2服务器。
这时候把master服务器重新激活网卡并启动master heartbeat服务，稍等片刻，VIP又漂移回来了，访问的web资源是master的web资源，测试成功！

工作中Heartbeat使用场景 - HA高可用

heartbeat场景

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......