Fork me on GitHub

Redis主从+sentinel哨兵高可用

字数统计: 2.4k字   |   阅读时长≈ 11分
一、环境

  • 基本环境

    软件 版本
    Redis 5.0.5
    OS CentOS7

  • 集群环境

    角色 IP 端口
    Master主节点1 192.168.1.186 6380
    sentinel-哨兵1 192.168.1.186 16380
    Slave从节点2 192.168.1.168 6380
    sentinel-哨兵2 192.168.1.168 16380
    Slave从节点3 192.168.1.102 6380
    sentinel-哨兵3 192.168.1.102 16380
    HA 192.168.1.186 26380

    注：为了哨兵集群的健壮性，哨兵的节点数量建议是≥3的奇数。

    ​ 哨兵 + redis 主从的部署架构，是不保证数据零丢失的，只能保证 redis 集群的高可用性。

    ​

二、安装Redis
1
2
3
4
5
6
yum install -y gcc g++ gcc-c++ make tcl
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
tar -zxvf redis-5.0.5.tar.gz
cd redis-5.0.5
make
make PREFIX=/usr/local/redis install
1
2
3
4
5
mkdir -p /usr/local/redis/etc
cp /root/redis-5.0.5/redis.conf /usr/local/redis/etc/
cp /root/redis-5.0.5/sentinel.conf /usr/local/redis/etc/
mkdir -p /var/log/redis  #创建日志目录
mkdir -p /usr/local/redis/data  #创建数据存放目录
三、配置Redis主从复制

全节点优化

1
2
3
4
5
6
echo 2048 > /proc/sys/net/core/somaxconn
#在/etc/sysctl.conf中添加如下
net.core.somaxconn = 2048
vm.overcommit_memory = 1

sysctl -p
1
2
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >>/etc/rc.d/rc.local
1.Master主节点1 + 哨兵

配置主redis - cat /usr/local/redis/etc/redis.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
port 6380
daemonize no
protected-mode no
pidfile /var/run/redis_6380.pid
tcp-backlog 511
bind 192.168.1.186 127.0.0.1
timeout 0
tcp-keepalive 300
loglevel notice
logfile "/var/log/redis/redis_6380.log"
save 900 1
save 300 10
save 60 10000
appendonly no 
dir /usr/local/redis/data
dbfilename dump.rdb
maxclients 10000
maxmemory 4gb
requirepass test123
#------优化------------#
#内存回收策略
maxmemory-policy volatile-lru
#control data loss
min-slaves-to-write 1
min-slaves-max-lag 10
#慢查询优化
slowlog-log-slower-than 10000
slowlog-max-len 128

redis supervisor

1
2
3
4
5
6
7
8
9
10
11
cat /etc/supervisord.d/redis.conf 
[program:redis]
directory=/usr/local/redis
command=/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf
stdout_logfile=/var/log/redis/redis_6380.log
autostart=true
autorestart=true
startsecs=5
priority=1
stopasgroup=true
killasgroup=true

配置sentinel集群 - cat /usr/local/redis/etc/sentinel.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
bind 192.168.1.186
protected-mode no
daemonize no
port 16380
logfile "/var/log/redis/redis-sentinel.log"
dir /usr/local/redis/data

#表示配置sentinel去监视名为redis_master的主服务器，IP为192.168.1.198，端口是6379；最后一个数字表示只要有2个sentinel同意[共3个sentinel]就可以启动自动故障迁移。
sentinel monitor redis_master 192.168.1.186 6380 2

#表示如果10s内redis_master没PING响应或者返回一个错误，sentinel就把服务器标记为主观下线[简称: SDOWN]
sentinel down-after-milliseconds redis_master 10000

#在执行故障转移时， 最多可以有多少个从slave服务器同时对新的主服务器进行同步， 这个数字越小， 完成故障转移所需的时间就越长。
sentinel parallel-syncs redis_master 1 

#sentinel哨兵连接主节点密码[需要与master密码一致]
sentinel auth-pass redis_master test123

##表示如果15秒后,mysater仍没活过来，则启动failover，从剩下的slave中选一个升级为master
sentinel failover-timeout redis_master 15000

redis-sentinel supervisor

1
2
3
4
5
6
7
8
9
10
[program:redis-sentinel]
directory=/usr/local/redis
command=/usr/local/redis/bin/redis-sentinel /usr/local/redis/etc/sentinel.conf
stdout_logfile=/var/log/redis/redis-sentinel.log
autostart=true
autorestart=true
startsecs=5
priority=1
stopasgroup=true
killasgroup=true
2.部署Redis从节点2 + 哨兵

配置从redis - cat /usr/local/redis/etc/redis.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
port 6380
daemonize no
protected-mode no
pidfile /var/run/redis_6380.pid
tcp-backlog 511
bind 192.168.1.168 127.0.0.1
timeout 0
tcp-keepalive 300
loglevel notice
logfile "/var/log/redis/redis_6380.log"
save 900 1
save 300 10
save 60 10000
appendonly no 
slaveof 192.168.1.186 6380
dir /usr/local/redis/data
dbfilename dump.rdb
maxclients 10000
maxmemory 4gb

#从库添加master密码
masterauth test123  

#从库自身认证密码[主从切换之后，依然使用密码认证]
requirepass test123

#------优化------------#
#内存回收策略
maxmemory-policy volatile-lru
#control data loss
min-slaves-to-write 1
min-slaves-max-lag 10
#慢查询优化
slowlog-log-slower-than 10000
slowlog-max-len 128

supervisor

1
2
3
4
5
6
7
8
9
10
[program:redis]
directory=/usr/local/redis
command=/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf
stdout_logfile=/var/log/redis/redis_6379.log
autostart=true
autorestart=true
startsecs=5
priority=1
stopasgroup=true
killasgroup=true

配置sentinel集群 - cat /usr/local/redis/etc/sentinel.conf 只需修改Bind地址

1
2
3
4
5
6
7
8
9
10
11
12
bind 192.168.1.168
protected-mode no
daemonize no
port 16380
logfile "/var/log/redis/redis-sentinel.log"
dir /usr/local/redis/data

sentinel monitor redis_master 192.168.1.186 6380 2
sentinel down-after-milliseconds redis_master 10000
sentinel parallel-syncs redis_master 1 
sentinel auth-pass redis_master test123
sentinel failover-timeout redis_master 15000

redis-sentinel supervisor

1
2
3
4
5
6
7
8
9
10
[program:redis-sentinel]
directory=/usr/local/redis
command=/usr/local/redis/bin/redis-sentinel /usr/local/redis/etc/sentinel.conf
stdout_logfile=/var/log/redis/redis-sentinel.log
autostart=true
autorestart=true
startsecs=5
priority=1
stopasgroup=true
killasgroup=true
3.部署Redis从节点2 + 哨兵

参考步骤2，注意修改bind地址

四、验证

1. 主从验证
1
2
3
4
5
6
redis>  info Replication      #查看主节点状态
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.1.168,port=6380,state=online,offset=22520,lag=1
slave1:ip=192.168.1.102,port=6380,state=online,offset=22520,lag=1
1
2
3
4
5
6
redis>  info Replication      #查看从节点状态
# Replication
role:slave
master_host:192.168.1.186
master_port:6379
master_link_status:up
2. 哨兵 高可用验证

  • stop 主节点，观察sentinel哨兵日志

  • 可以看到主从已经发生了转变

    通过配置文件可以看到，原来的主节点，配置同步成了从节点

注：redis共3个节点情况下，如果master宕机后，架构将会变化为：一个master和一个slave

3. 主库与从库key过期同步–测试
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#主库创建测试key，并设置生效时间。当过期后，立即在从库get key测试
192.168.1.198:6379> set old 30
OK
192.168.1.198:6379> get old
"30"

#设置key 60秒过期
192.168.1.198:6379> EXPIRE old "60"   
(integer) 1
192.168.1.198:6379> ttl old
(integer) 56

#此时，key已过期
192.168.1.198:6379> ttl old
(integer) -2
1
2
3
4
5
#从库获取key情况
192.168.1.121:6379> get old
(nil)

#可以看到主库删除key，从库立即同步key, 不存在从库仍然可以读到过期key的情况

五、HA-Haproxy

使用虚VIP，代理后端的Redis主从。并且通过TCP监控redis master，这样就能保证数据一定会写到redis master了，即便是后端主从发生了变化亦是如此

1
2
3
4
5
6
yum groupinstall -y "Development tools"
wget https://www.haproxy.org/download/1.7/src/haproxy-1.7.7.tar.gz
tar -zxvf haproxy-1.7.7.tar.gz
cd haproxy-1.7.7
make TARGET=linux2628  ARCH=X86_64 PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproxy
1
2
useradd -s /sbin/nologin -M haproxy
mkdir /etc/haproxy -p

vim /etc/haproxy/haproxy.cfg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
global
    chroot /usr/local/haproxy
    log 127.0.0.1 local3 info
    maxconn 100000
    nbproc 1
    user haproxy
    group haproxy
    tune.bufsize  32768
    pidfile /usr/local/haproxy/haproxy.pid
	
defaults
    mode tcp 
    retries 3  
    timeout connect 10s 
    timeout client 20s   
    timeout server 30s   
    timeout check 10s 

listen redis 
    bind 0.0.0.0:26380
    mode tcp
    log global
    balance roundrobin 
    option tcp-check
    tcp-check send AUTH\ test123\r\n    #指定Redis认证密码
    tcp-check expect string +OK
    tcp-check send PING\r\n
    tcp-check expect string +PONG
    tcp-check send info\ replication\r\n
    tcp-check expect string role:master
    tcp-check send QUIT\r\n
    tcp-check expect string +OK
    server R1 192.168.1.186:6380   check inter 5s
    server R2 192.168.1.168:6380   check inter 5s
    server R3 192.168.1.102:6380   check inter 5s

启动测试

1
/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg

supervisor

1
2
3
4
5
6
7
8
9
10
[program:haproxy]
directory=/usr/local/haproxy
command=/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg 
stdout_logfile=/var/log/haproxy.log
autostart=true
autorestart=true
startsecs=5
priority=1
stopasgroup=true
killasgroup=true

六、优化

1. [在所有节点] - 内存回收机制优化
1
2
3
4
5
redis> config set maxmemory-policy volatile-lru
"OK"
redis> config rewrite

#此内存回收策略是 最近使用最少的淘汰策略，Redis将回收清理那些超时的(仅仅是超时的)键值对。

具体参考：https://www.jianshu.com/p/677930ffbff0

2. 哨兵sentinel主备切换导致的数据丢失问题

两种情况导致的数据丢失：

    1. 异步复制过程中导致的数据丢失

    因为master –> slave的同步是异步的，所以有可能有部分数据还没复制到slave，master就down机了，此时这部分数据就丢失了。

    1. 脑裂导致的数据丢失

    脑裂，也就是说某个master所在的机器突然脱离了网络，跟其他slave不能正常通信，但是实际上Master还运行着。此时哨兵会认为master已经宕机了，然后开始重新选举，将其他slave切换成了master。这个时候集群里出现了2个master。

    如果某个slave被哨兵选举切换成了master，但是可能client还没来得及切换到新master，还会继续向旧master写数据。因此，旧master再次恢复的时候，会被作为一个slave挂到新的master上去，而自己的数据会被清空，重新从新的master复制数据。而新的master并没有后来client写入的数据，因此，这部分数据就丢失了

[所有节点]-数据丢失问题解决方案：

1
2
3
4
5
#control data loss
min-slaves-to-write 1
min-slaves-max-lag 10

#表示：至少有1个slave的数据复制和同步延迟不能超过10秒；如果所有的slave数据复制和延迟都超过了10秒，那么这个时候，master就不会再接受任何请求了。

  • 减少异步复制数据丢失

    min-slaves-max-lag这个参数，一旦slave复制数据和ack延时太长，就认为可能master宕机后损失的数据太多了，那么就拒绝写请求。从而把数据丢失降低到可控范围

  • 减少脑裂的数据丢失

    如果一个master出现了脑裂，跟其他slave断开了连接，如果不能给指定数量的slave发送数据，那么如果slave超过10秒没有给自己发送ack消息，则直接拒绝客户端的写请求。因此在脑裂环境下，最多就丢失10秒的数据。

3. 高并发环境ulimit优化 [需要重启系统]

修改limit是限制： /etc/security/limits.conf

1
2
* soft nofile 65536
* hard nofile 65536

修改file-max文件句柄数量

1
2
3
4
echo 6553560 > /proc/sys/fs/file-max
并且
修改 /etc/sysctl.conf, 加入
fs.file-max = 6553560

解除linux系统最大进程数

1
2
3
vim /etc/security/limits.d/20-nproc.conf   #添加如下行：
*          soft    nproc     10240
root       soft    nproc     unlimited

七、haproxy验证

  • 基本连接验证

    redis-cli -h 192.168.1.186 -p 26380 -a “test123”

  • 后端主从切换后，proxy连接验证

  • QPS压力测试

    (1) 模拟10万次请求

    ​ redis-benchmark -h 192.168.1.186 -p 26380 -a test123 -n 100000 -q

    (2) 模拟10万次访问10万key

    ​ redis-benchmark -h 192.168.1.186 -p 26380 -a test123 -n 100000 -r 100000 -q

    (3) 模拟万级用户的并发请求

    ​ redis-benchmark -h 192.168.1.186 -p 26380 -a test123 -c 10000 -n 100000 -r 100000 -q

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......