Fork me on GitHub

Redis Cluster集群部署-实战1

字数统计: 3.3k字   |   阅读时长≈ 16分

环境

1
2
3
4
5
6
7
8
9
10
11
12
13
14
OS: CentOS 7
每台机器启用两个redis实例：
Redis21：10.0.10.21 7021
Redis22：10.0.10.22 7022
Redis23：10.0.10.23 7023
Redis21：10.0.10.21 7024
Redis22：10.0.10.22 7025
Redis23：10.0.10.23 7026

Redis30：10.0.10.24 7027
Redis30：10.0.10.24 7028

Redis部署方式：编译
Redis版本：官网最新稳定版 redis-stable.tar.gz

安装编译工具

1
2
3
4
(1) 安装GCC编译工具
    yum install -y gcc g++ gcc-c++ make tcl
(2) 关闭firewall
    systemctl stop firewalld.service && systemctl disable firewalld.service

Redis集群部署

编译安装redis【全节点部署】

1
2
3
4
tar xzf redis-stable.tar.gz
cd redis-stable
make
make PREFIX=/usr/local/redis install

配置redis【全节点部署】

1
2
3
4
mkdir /usr/local/redis/etc -p     #创建配置文件目录
cp /root/redis-stable/redis.conf /usr/local/redis/etc/   #拷贝默认redis配置文件
cd /usr/bin/ && ln -s /usr/local/redis/bin/redis* ./    #配置环境变量
mkdir /var/log/redis -p    #创建redis日志目录

创建redis配置文件【每节点操作】

1
注：待会要创建redis集群，而配置文件不需要配置主从关系。所以每个节点配置基本一致。除了监听的IP和端口不同。
1
2
3
cd /usr/local/redis/etc
mv redis.conf redis.conf.bak
vim redis-site.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
##是否以守护进程方式运行
daemonize no

pidfile /var/run/redis-site.pid

port 7022
#高并发环境下你需要一个高backlog值来避免慢客户端连接问题
tcp-backlog 511 

bind 10.0.10.22
#客户端空闲关闭时间
timeout 0
#设置SO_KEEPALIVE选项来向空闲连接的客户端发送ACK
tcp-keepalive 0
#指定日志记录级别
loglevel notice
#指明日志文件名
logfile "/var/log/redis/redis.log"
#redis日志记录到系统日志
## syslog-enabled no
#redis日志在系统日志中的标识
## syslog-ident redis
#指定数据库个数
databases 16
#指定rdb快照频率
#save ""
save 900 1
save 300 10
save 60 100000
#默认如果开启RDB快照(至少一条save指令)并且最新的后台保存失败，Redis将会停止接受写操作
stop-writes-on-bgsave-error yes 
#指定存储至本地数据库时是否压缩数据，默认为yes
rdbcompression yes
#生成的关闭校验的RDB文件有一个0的校验和，它将告诉加载代码跳过检查
rdbchecksum yes 
#指定本地数据库文件名，默认值为dump.rdb
dbfilename dump.rdb
#指定本地数据库存放目录
dir ./
#设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
#slaveof x.x.x.x 6379
#设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭
## masterauth <master-password>

# 主从同步。通过 slaveof 指令来实现Redis实例的备份
slave-serve-stale-data yes 
# 从Redis2.6默认所有的slave为只读
slave-read-only yes 
# 在slave套接字发送SYNC之后禁用 TCP_NODELAY 
repl-diskless-sync no
#客户端最大连接数
#maxclients 10000
##指定Redis最大内存限制
maxmemory 40gb
#指定是否在每次更新操作后进行日志记录
appendonly no
#指定更新日志文件名，默认为appendonly.aof
appendfilename "appendonly.aof"
#指定更新日志条件
## appendfsync always
appendfsync everysec
## appendfsync no
#当hash只有少量的entry时，并且最大的entry所占空间没有超过指定的限#制时，会用一种节省内存的 数据结构来编码。可以通过下面的指令来设定限制
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
# 与hash似，数据元素较少的list，可以用另一种方式来编码从而节省大量空间。
# # 这种特殊的方式只有在符合下面限制时才可以用
list-max-ziplist-entries 512
list-max-ziplist-value 64
#重建hash表的时候如果内存不足 如果此值设置为no则延时，如果为yes则尽快释放内存
activerehashing yes
#一个任务可以使用的cpu数目
hz 10
#当一个子进程重写AOF文件时，如果启用下面的选项，则文件每生成32M数据会被同步。为了增量式写入硬盘并且避免大的延迟高峰这个指令是非常有用的
aof-rewrite-incremental-fsync yes

#发送个slave的命令缓存大小
repl-backlog-size 10gb

#单次会话允许最大量
#client-output-buffer-limit normal 0 0 0
#client-output-buffer-limit pubsub 32mb 8mb 60
#client-output-buffer-limit slave 256mb 64mb 60
#集群配置
cluster-enabled yes    #开启集群
cluster-config-file nodes.conf   #保存节点配置，自动创建，自动更新
cluster-node-timeout 5000    #集群超时时间

启动服务【每节点操作】

1
2
3
4
5
6
7
8
9
 #分别启动服务
nohup redis-server /usr/local/redis/etc/redis.conf 2>/dev/null &  
nohup redis-server /usr/local/redis/etc/redis-site.conf 2>/dev/null &   

#查看进程和端口
ps -ef |grep redis

#查看log信息
[root@localhost ~]# tailf /var/log/redis/redis.log

解决log错误

1
2
3
4
报错：
13395:M 07 Nov 02:31:59.980 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
13395:M 07 Nov 02:31:59.980 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
2060:M 07 Nov 03:06:16.211 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.

解决方法(纯属翻译)：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
echo "vm.overcommit_memory = 1" >>/etc/sysctl.conf
sysctl vm.overcommit_memory=1
echo "1024" > /proc/sys/net/core/somaxconn
echo "never" > /sys/kernel/mm/transparent_hugepage/enabled

cat >> /etc/rc.d/rc.local << EOF
echo "1024" > /proc/sys/net/core/somaxconn

#禁用THP
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
EOF

重启虚拟机并重启redis服务

重启服务【全节点】

1
2
3
4
5
>/var/log/redis/redis.log 

#分别启动服务
nohup redis-server /usr/local/redis/etc/redis.conf 2>/dev/null &  
nohup redis-server /usr/local/redis/etc/redis-site.conf 2>/dev/null &

Redis集群创建

安装ruby【所有节点】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
yum -y install ruby ruby-devel rubygems rpm-build
#安装RVM(升级ruby为2.4.0)
curl -sSL https://rvm.io/mpapis.asc | gpg --import -
curl -L get.rvm.io | bash -s stable
source /etc/profile.d/rvm.sh
rvm reload
rvm requirements run
rvm install 2.4.0
#设置默认ruby版本
rvm list
rvm use 2.4.0 --default
ruby --version


#安装redis模块（否则后面横向扩展redis节点会不成功）
gem install redis

创建集群【只在10.0.10.21上面创建即可】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
cd /root/redis-stable/src  #进入源码目录
./redis-trib.rb create --replicas 1 \
10.0.10.21:7021 \
10.0.10.22:7022 \
10.0.10.23:7023 \
10.0.10.21:7024 \
10.0.10.22:7025 \
10.0.10.23:7026 

#注：上面的6个节点中，前3个节点被配置成了master，而其他的则为slave从节点--可以通过cluster info查看。
注意：这个主从并未在配置文件中做，而是通过专属redis集群管理工具来创建的。

根据提示，交互输入: yes
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

集群验证

1
2
3
4
5
6
7
8
[root@localhost ~]# redis-cli -h 10.0.10.22 -p 7022  #登陆任意一台redis集群节点
10.0.10.22:7022> cluster nodes   #查看集群
22d8c2b425a200c923b81f2682219733f44d9977 10.0.10.21:7024@17024 slave 779eb8b2d6a932d535cfbb1574e4f7c4eb34b2b0 0 1510054584000 4 connected
aa54c9b2b8c191fe3536a63816ba6179ae8e993a 10.0.10.21:7021@17021 master - 0 1510054585000 1 connected 0-5460
779eb8b2d6a932d535cfbb1574e4f7c4eb34b2b0 10.0.10.22:7022@17022 myself,master - 0 1510054585000 2 connected 5461-10922
00687f86b61031950ee38ca02968676ebc9e08e2 10.0.10.22:7025@17025 slave aa54c9b2b8c191fe3536a63816ba6179ae8e993a 0 1510054585551 5 connected
1e3ede5d80592aab56066559f079ba3f877dbf56 10.0.10.23:7023@17023 master - 0 1510054584048 3 connected 10923-16383
e5ea2d992183903068695b553fff8016cbe678dd 10.0.10.23:7026@17026 slave 1e3ede5d80592aab56066559f079ba3f877dbf56 0 1510054584000 6 connected

横向扩容-向集群中添加节点

1
2
3
4
5
6
7
8
9
10
11
准备工作：
【重要】拷贝源码文件到/usr/local/redis/目录下，为了以后节点增加删除
cp -a /root/redis-stable /usr/local/redis/

Redis30：10.0.10.24 7027
Redis30：10.0.10.24 7028
在Redis30节点启动两个Redis实例，确保服务启动。

[root@localhost etc]# ps -ef |grep redis
root      2064  2047  0 04:55 pts/0    00:00:06 redis-server 10.0.10.30:7027 [cluster]
root     15365 14614  0 06:33 pts/0    00:00:00 redis-server 10.0.10.30:7028 [cluster]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
向集群中添加节点
cd /usr/local/redis/redis-stable/src/    #切换到新拷贝的源码目录

#添加主节点
./redis-trib.rb add-node 10.0.10.24:7027 10.0.10.22:7022
注：10.0.10.24:7027为新增主节点，10.0.10.22:7022为已存在的任意节点

#添加从节点
./redis-trib.rb add-node --slave --master-id 03ccad2ba5dd1e062464bc7590400441fafb63f2 10.0.10.24:7028 10.0.10.22:7022

--slave，表示添加的是从节点
--master-id 03ccad2ba5dd1e062464bc7590400441fafb63f2,主节点的node id，在这里是前面新添加的7027的node id
10.0.10.24:7028 新节点
10.0.10.22:7022 集群任一个旧节点

重新分配slots

1
新增加的主节点是没有slots的,所以需要重新分配，主节点如果没有slots的话，存取数据就都不会被选中。
1
2
3
cd /usr/local/redis/redis-stable/src/    #切换到新拷贝的源码目录
./redis-trib.rb reshard 10.0.10.24:7024  #10.0.10.24:7024为新加的主节点
以下为交互输入部分
1
2
3
4
5
6
7
8
9
10
11
#你想移动多少个slots？
How many slots do you want to move (from 1 to 16384)? 1000 

#谁来接收这些指定多的slots？
What is the receiving node ID? 03ccad2ba5dd1e062464bc7590400441fafb63f2 //新节点node id  

Please enter all the source node IDs.  
 Type 'all' to use all the nodes as source nodes for the hash slots.  
 Type 'done' once you entered all the source nodes IDs.  
Source node #1:all   //表示全部节点重新洗牌  
Do you want to proceed with the proposed reshard plan (yes/no)? yes   //确认重新分配slots

查看集群情况

1
./redis-trib.rb check 10.0.10.24:7024   #后边输入任意节点即可

从集群中删除节点

删除从节点

1
2
3
格式：./redis-trib.rb del-node 从节点ip:port  '从节点ID'

./redis-trib.rb del-node 10.0.10.24:7025 'a86c1a2d62fec9a51d6657a0b424730d820b8e65'
1
2
3
4
[root@localhost src]# ./redis-trib.rb del-node 10.0.10.24:7025 'a86c1a2d62fec9a51d6657a0b424730d820b8e65'
>>> Removing node a86c1a2d62fec9a51d6657a0b424730d820b8e65 from cluster 10.0.10.24:7025
>>> Sending CLUSTER FORGET messages to the cluster...
>>> SHUTDOWN the node.

删除主节点

1
如果主节点有slot，需要先去掉分配的slot，然后在删除主节点

删除其中一个master节点的slots (以删除10.0.0.24:7024主节点为例)

1
2
./redis-trib.rb check 10.0.10.24:7024  #查看24的slots数量，假如是6040
./redis-trib.rb reshard 10.0.10.24:7024
1
2
3
4
5
6
7
8
9
10
11
12
13
14
#被删除master的所有slot数量
How many slots do you want to move (from 1 to 16384)? 6040  
#接收10.0.0.24:7024节点slot的master 
What is the receiving node ID? 5d8ef5a7fbd72ac586bef04fa6de8a88c0671052 
 
Please enter all the source node IDs.  
 Type 'all' to use all the nodes as source nodes for the hash slots.  
 Type 'done' once you entered all the source nodes IDs.
 
#复制粘贴被删除master的node-id，此处为“10.0.0.24:7024”的node id
Source node #1:03ccad2ba5dd1e062464bc7590400441fafb63f2     
Source node #2:done    #输入done已完成
  
Do you want to proceed with the proposed reshard plan (yes/no)? yes   //重新确认slots变更操作
1
2
3
4
5
6
7
8
删除了主节点的master slots，这样就可以删除主节点了，这样就回到了没添加节点的状态
[root@localhost src]# ./redis-trib.rb del-node 10.0.10.24:7024 '3f80334052a981e729377ec55415d0c20b51895c'
>>> Removing node 3f80334052a981e729377ec55415d0c20b51895c from cluster 10.0.10.24:7024
>>> Sending CLUSTER FORGET messages to the cluster...
>>> SHUTDOWN the node.

最后使用已存在集群中的节点来查看集群状态：
./redis-trib.rb check 10.0.10.22:7022

如果主节点有从节点，在删除主节点之前，需要改变从节点的master

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
以此为例
[root@localhost src]# ./redis-trib.rb check 10.0.10.22:7022
>>> Performing Cluster Check (using node 10.0.10.22:7022)
M: 779eb8b2d6a932d535cfbb1574e4f7c4eb34b2b0 10.0.10.22:7022
   slots:7004-14687 (7684 slots) master
   1 additional replica(s)
S: 22d8c2b425a200c923b81f2682219733f44d9977 10.0.10.21:7024
   slots: (0 slots) slave
   replicates 779eb8b2d6a932d535cfbb1574e4f7c4eb34b2b0
M: aa54c9b2b8c191fe3536a63816ba6179ae8e993a 10.0.10.21:7021
   slots:0-7003,14688-15379 (7696 slots) master
   1 additional replica(s)
S: 00687f86b61031950ee38ca02968676ebc9e08e2 10.0.10.22:7025
   slots: (0 slots) slave
   replicates aa54c9b2b8c191fe3536a63816ba6179ae8e993a
M: 1e3ede5d80592aab56066559f079ba3f877dbf56 10.0.10.23:7023
   slots:15380-16383 (1004 slots) master
   1 additional replica(s)
S: e5ea2d992183903068695b553fff8016cbe678dd 10.0.10.23:7026
   slots: (0 slots) slave
   replicates 1e3ede5d80592aab56066559f079ba3f877dbf56
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
计划删除10.0.10.23:7023这个主节点，先改变10.0.10.23:7026的从节点
将10.0.10.23:7026加入新的master

[root@localhost src]# redis-cli -h 10.0.10.23 -p 7026
10.0.10.23:7026> 
10.0.10.23:7026> cluster replicate aa54c9b2b8c191fe3536a63816ba6179ae8e993a   //新master id
OK
10.0.10.23:7026> quit

#删除master 主节点
./redis-trib.rb del-node 10.0.10.23:7023 '1e3ede5d80592aab56066559f079ba3f877dbf56'
错误提示：[ERR] Node 10.0.10.23:7023 is not empty! Reshard data away and try again.

#删除该master的slots后再删除master节点
./redis-trib.rb reshard 10.0.10.23:7023

#再次删除master 主节点
./redis-trib.rb del-node 10.0.10.23:7023 '1e3ede5d80592aab56066559f079ba3f877dbf56'

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......