Fork me on GitHub

redis-Cluster集群部署

字数统计: 4.1k字   |   阅读时长≈ 18分

redis原理

redis简介

1
REmote DIctionary Server(Redis) 是一个由SalvatoreSanfilippo写的key-value存储系统。是一个高性能的key-value数据库。
1
2
Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。
它通常被称为数据结构服务器，因为值（value）可以是字符串(String), 哈希(Hash), 列表(list), 集合(sets) 和有序集合(sorted sets)等类型。

3.0以后的版本架构图如下：

redis_3.0jiagou

redis 特点

1
2
3
4
Redis 与其他 key - value 缓存产品有以下三个特点：
Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
Redis支持数据的备份，即master-slave模式的数据备份。

Redis集群的数据分片

1
2
3
4
5
6
7
8
9
10
Redis 集群没有使用一致性hash, 而是引入了哈希槽的概念
Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽

举个例子,比如当前集群有3个节点,那么:
* 节点 A 包含 0 到 5500号哈希槽.
* 节点 B 包含5501 到 11000 号哈希槽.
* 节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我像移除节点A,需要将A中得槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 
由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态

Redis集群的主从复制模型

1
2
3
4
5
6
7
为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用，所以集群使用了主从复制模型,每个节点都会有N-1个复制品.

在我们例子中具有A，B，C三个节点的集群,在没有复制模型的情况下,如果节点B失败了，那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.

然而如果在集群创建的时候（或者过一段时间）我们为每个节点添加一个从节点A1，B1，C1,那么整个集群便有三个master节点和三个slave节点组成，这样在节点B失败后，集群便会选举B1为新的主节点继续服务，整个集群便不会因为槽找不到而不可用了

不过当B和B1 都失败后，集群是不可用的.

Redis 持久化一致性保证

1
2
3
4
5
6
7
8
9
10
11
Redis集群不能保证强一致性。也就是说，在某些情况下集群会丢失部分已经保存在集群中的数据。

第一个原因，异步复制。一般情况，保存数据时会发生如下过程：
(1)客户端将数据写到主redis B上
(2)主redis B 返回给客户端 OK
(3)主redis B 将数据分发到 slaves B1 B2 B3
如上，主redis B在返回成功的时候，并没有确保数据已经同步到 B1 B2 B3上。假如数据写到主redis B之后，主redis B崩溃了，并且没有将刚才的数据同步到slaves上。那么其中的一个从节点就会被选举成主节点，丢失了刚才写的数据。

这个和大多数据库将数据定时刷到磁盘的情况一样。相同的，为了保证一致性，可以强制数据库将在返回客户端之前将数据写入到磁盘。但是这对性能的影响会很大。所以主从同步也存在这个问题。

在性能和一致性上都会需要做一定的权衡。如果确实需要，Redis集群支持同步的写操作，通过WAIT命令实现。这个可以降低丢失数据的概率。因为Redis集群没有实现强一致性，即使是使用了同步复制，也会有概率丢失数据
1
2
3
4
5
另外有一个值得注意的情况，也会丢失数据。集群处于不同的网络分区中。其中一个master B 和 Client 在一个网络分区中，其他节点在另外一个网络分区中。客户端向master B中写入一条记录。这个时候不同网络分区存在联通性问题。如果是短暂的，则不会有问题；如果是较长时间的，slave B 会被推选成 master B，从而导致数据丢失。

网络不畅通的时间配置——node timeout。

如果一个master节点，在经过 node timeout时间后，还是不能连接上其他的master接口，那么它会变成一个错误状态。

搭建Redis集群

测试环境

1
2
3
4
5
准备至少3台虚拟机,系统CentOS7

redis1 192.168.56.20   Port:7000/7001/7002
redis2 192.168.56.21   Port:7003/7004/7005
redis3 192.168.56.22   Port:7006/7007/7008

环境准备【全节点】

1
2
3
4
5
6
(1) 安装GCC编译工具
    yum install -y gcc g++ gcc-c++ make tcl
(2) 升级软件包
    yum -y update
(3) 关闭firewall
    systemctl stop firewalld.service && systemctl disable firewalld.service

安装redis【全节点】

1
2
3
4
5
6
cd /opt
wget http://download.redis.io/releases/redis-4.0.1.tar.gz
tar xzf redis-4.0.1.tar.gz
cd redis-4.0.1
make
make PREFIX=/usr/local/redis install

配置redis【全节点】

1
2
3
4
5
6
7
mkdir /usr/local/redis/etc -p
cp /opt/redis-4.0.1/redis.conf /usr/local/redis/etc/
cd /usr/bin/
ln -s /usr/local/redis/bin/redis-benchmark ./
ln -s /usr/local/redis/bin/redis-cli ./
ln -s /usr/local/redis/bin/redis-server ./
mkdir /var/log/redis -p     #创建redis日志存放目录

56.20节点配置

1
2
3
4
5
mkdir -p  /usr/local/redis/etc/700{0..2}  #创建redis缓存数据目录
cd   /usr/local/redis/etc/
vim 7000/redis.conf
vim 7001/redis.conf
vim 7002/redis.conf

配置文件-简要说明

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
daemonize no   ##是否以守护进程方式运行

pidfile /var/run/redis_7000.pid
port 7000

#高并发环境下你需要一个高backlog值来避免慢客户端连接问题
tcp-backlog 511 
bind 192.168.56.20 127.0.0.1

timeout 0  #客户端空闲关闭时间

tcp-keepalive 0   #设置SO_KEEPALIVE选项来向空闲连接的客户端发送ACK

loglevel notice   #指定日志记录级别, debug等

logfile "/var/log/redis/redis_7000.log"  #指明日志文件名

## syslog-enabled no   #redis日志记录到系统日志

## syslog-ident redis  #redis日志在系统日志中的标识

databases 16           #指定数据库个数

#指定rdb快照频率,
save ""  #表示关闭rdb快照持久化
#save 900 1
#save 300 10
#save 60 10000

#默认如果开启RDB快照(至少一条save指令)并且最新的后台保存失败，Redis将会停止接受写操作
stop-writes-on-bgsave-error yes 

#指定存储至本地数据库时是否压缩数据，默认为yes
rdbcompression yes

#生成的关闭校验的RDB文件有一个0的校验和，它将告诉加载代码跳过检查
rdbchecksum yes 

#指定本地数据库文件名，默认值为dump.rdb
dbfilename dump.rdb

#指定本地数据库存放目录
dir /data/A/redis-cluster/7000

#设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
#slaveof  192.168.56.20 6379
#设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭
## masterauth <master-password>

# 主从同步。通过 slaveof 指令来实现Redis实例的备份
slave-serve-stale-data yes 

# 从Redis2.6默认所有的slave为只读
slave-read-only yes 

# 在slave套接字发送SYNC之后禁用 TCP_NODELAY 
repl-diskless-sync no

#客户端最大连接数
#maxclients 10000

##指定Redis最大内存限制
maxmemory 40gb

#指定是否在每次更新操作后进行日志记录
appendonly no

#指定更新日志文件名，默认为appendonly.aof
appendfilename "appendonly.aof"

#指定更新日志条件
## appendfsync always
appendfsync everysec
## appendfsync no

#当hash只有少量的entry时，并且最大的entry所占空间没有超过指定的限#制时，会用一种节省内存的 数据结构来编码。可以通过下面的指令来设定限制
hash-max-ziplist-entries 512
hash-max-ziplist-value 64

# 与hash似，数据元素较少的list，可以用另一种方式来编码从而节省大量空间。
# # 这种特殊的方式只有在符合下面限制时才可以用
list-max-ziplist-entries 512
list-max-ziplist-value 64

#重建hash表的时候如果内存不足 如果此值设置为no则延时，如果为yes则尽快释放内存
activerehashing yes

#一个任务可以使用的cpu数目
hz 10

#当一个子进程重写AOF文件时，如果启用下面的选项，则文件每生成32M数据会被同步。为了增量式写入硬盘并且避免大的延迟高峰这个指令是非常有用的
aof-rewrite-incremental-fsync yes

cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000

vim 7000/redis.conf(最小化配置)

1
2
3
4
5
6
7
8
9
10
port 7000
bind 192.168.56.20
daemonize yes
pidfile /var/run/redis_7000.pid
cluster-enabled yes
cluster-config-file nodes_7000.conf
cluster-node-timeout 300
appendonly yes
loglevel notice
logfile "/var/log/redis/redis_7000.log"

vim 7001/redis.conf(最小化配置)

1
2
3
4
5
6
7
8
9
10
port 7001
bind 192.168.56.20
daemonize yes
pidfile /var/run/redis_7001.pid
cluster-enabled yes
cluster-config-file nodes_7001.conf
cluster-node-timeout 300
appendonly yes
loglevel notice
logfile "/var/log/redis/redis_7001.log"

vim 7002/redis.conf(最小化配置)

1
2
3
4
5
6
7
8
9
10
port 7002
bind 192.168.56.20
daemonize yes
pidfile /var/run/redis_7002.pid
cluster-enabled yes
cluster-config-file nodes_7002.conf
cluster-node-timeout 300
appendonly yes
loglevel notice
logfile "/var/log/redis/redis_7002.log"

参考56.20-配置另外两台机器

1
2
3
4
5
6
7
#56.21机器
目录：7003/7004/7005，配置文件也对应修改
bind:192.168.56.21

#56.22机器
目录：7006/7007/7008，配置文件也对应修改
bind:192.168.56.22

启动

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#56.20机器启动
redis-server /usr/local/redis/etc/7000/redis.conf 
redis-server /usr/local/redis/etc/7001/redis.conf 
redis-server /usr/local/redis/etc/7002/redis.conf 

#56.21机器启动
redis-server /usr/local/redis/etc/7003/redis.conf 
redis-server /usr/local/redis/etc/7004/redis.conf 
redis-server /usr/local/redis/etc/7005/redis.conf

#56.22机器启动
redis-server /usr/local/redis/etc/7006/redis.conf 
redis-server /usr/local/redis/etc/7007/redis.conf 
redis-server /usr/local/redis/etc/7008/redis.conf

启动管理可以使用supervisor管理redis

检查redis服务【全节点】

1
2
ps -ef |grep redis
ss -lntup |grep redis

安装ruby【全节点】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
yum -y install ruby ruby-devel rubygems rpm-build

#安装RVM(升级ruby为2.4.0)
curl -sSL https://rvm.io/mpapis.asc | gpg --import -
curl -L get.rvm.io | bash -s stable
source /etc/profile.d/rvm.sh
rvm reload
rvm requirements run
rvm install 2.4.0

#设置默认ruby版本
rvm list
rvm use 2.4.0 --default
ruby --version


gem install redis

创建集群(只在56.20机器配置即可)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
cd /opt/redis-4.0.1/src
[root@redis1 src]# ./redis-trib.rb create --replicas 1 \
192.168.56.20:7000 \
192.168.56.20:7001 \
192.168.56.20:7002 \
192.168.56.21:7003 \
192.168.56.21:7004 \
192.168.56.21:7005 \
192.168.56.22:7006 \
192.168.56.22:7007 \
192.168.56.22:7008

交互输入: yes
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

关闭集群

1
pkill redis

集群验证

连接集群测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
参数"-c"可连接到集群，因为 redis.conf将bind改为了ip地址，所以 -h 参数不可以省略，-p 参数为端口号

在56.20机器redis 7000的节点set 一个key

[root@redis1 ~]# redis-cli -h 192.168.56.20 -p 7000 -c 
192.168.56.20:7000> set name www.test.org
-> Redirected to slot [5798] located at 192.168.56.21:7003
OK
192.168.56.21:7003> 

可以看到redis set name之后重定向到56.21机器的7003节点了

##################################################################
现在在56.22机器进入任意一个节点,比如：redis 7008的节点get一个key

[root@redis3 etc]# redis-cli -h 192.168.56.22 -p 7007 -c
192.168.56.22:7007> get name
-> Redirected to slot [5798] located at 192.168.56.21:7003
"www.test.org"

由以上结果可以看出,redis get name重定向到了56.21的7003这个节点。如果看到这样的现象，说明机器已经是可用的了。

检查集群状态

1
2
3
4
5
/opt/redis-4.0.1/src/redis-trib.rb check 192.168.56.20:7000
或
/opt/redis-4.0.1/src/redis-trib.rb check 192.168.56.21:7005

注：测试任意redis节点均可

列出集群节点

1
2
3
4
列出集群当前已知的所有节点（node），以及这些节点的相关信息
[root@redis1 ~]# redis-cli -h 192.168.56.20 -p 7000 -c
192.168.56.20:7000> 
192.168.56.20:7000> cluster nodes

打印机器信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[root@redis1 ~]# redis-cli -h 192.168.56.20 -p 7000 -c
192.168.56.20:7000> 
192.168.56.20:7000> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:9
cluster_size:4
cluster_current_epoch:9
cluster_my_epoch:1
cluster_stats_messages_ping_sent:71732
cluster_stats_messages_pong_sent:71716
cluster_stats_messages_sent:143448
cluster_stats_messages_ping_received:71708
cluster_stats_messages_pong_received:71732
cluster_stats_messages_meet_received:8
cluster_stats_messages_received:143448

集群命令

1
2
语法格式
redis-cli -h host -p port -c
1
2
3
4
5
集群：
info
cluster info ：打印集群的信息
info Replication :打印Replication信息
cluster nodes ：列出集群当前已知的所有节点（ node），以及这些节点的相关信息。
1
2
3
4
5
节点：
cluster meet <ip> <port> ：将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。
cluster forget <node_id> ：从集群中移除 node_id 指定的节点。
cluster replicate <node_id> ：将当前节点设置为 node_id 指定的节点的从节点。
cluster saveconfig ：将节点的配置文件保存到硬盘里面。
1
2
3
4
5
6
7
8
槽(slot)
cluster addslots <slot> [slot ...] ：将一个或多个槽（ slot）指派（ assign）给当前节点。
cluster delslots <slot> [slot ...] ：移除一个或多个槽对当前节点的指派。
cluster flushslots ：移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。
cluster setslot <slot> node <node_id> ：将槽 slot 指派给 node_id 指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽>，然后再进行指派。
cluster setslot <slot> migrating <node_id> ：将本节点的槽 slot 迁移到 node_id 指定的节点中。
cluster setslot <slot> importing <node_id> ：从 node_id 指定的节点中导入槽 slot 到本节点。
cluster setslot <slot> stable ：取消对槽 slot 的导入（ import）或者迁移（ migrate）。
1
2
3
4
键
cluster keyslot <key> ：计算键 key 应该被放置在哪个槽上。
cluster countkeysinslot <slot> ：返回槽 slot 目前包含的键值对数量。
cluster getkeysinslot <slot> <count> ：返回 count 个 slot 槽中的键 。

redis数据类型

参考：http://www.yiibai.com/redis/redis_data_types.html

配置redis主从复制

主服务器Master配置（192.168.56.20）

1
2
3
4
5
6
7
8
9
10
11
12
13
1、 关闭rdb快照，rdb备份交由slave进行（只需在一台slave开启rdb即可）
       #save 900 1
       #save 300 10
       #save 60 10000
2、 开启aof日志，因为主服务器的aof日志数据是最新最全的，slave在数据同步时有可能会出现延迟
       appendonly yes
       appendfsync everysec
       no-appendfsync-on-rewrite yes
       auto-aof-rewrite-percentage 100
       auto-aof-rewrite-min-size 64mb
       appendfilename appendonly.aof
3、 配置ip绑定，redis默认只绑定只允许本机的服务访问，在配置集群时，需要绑定本机的局域网ip后slave才可以连接到master服务器
        bind 127.0.0.1 192.168.56.20

从服务器Slave配置(192.168.56.21/192.168.56.22)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1、配置master的IP和端口
   格式： slaveof  192.168.1.11 6379
2、 配置密码（如果master有密码）
3、 打开 rdb快照功能（多台slave只需开一台）
       save 900 1
       save 300 10
       save 60 10000
       stop-writes-on-bgsave-error yes
       rdbcompression yes
       rdbchecksum yes
       dbfilename "dump.rdb"
       dir "/data/A/redis_cluster"
4、 通常从服务器不能写,因此需要配置是否只读，配置项：
       slave-read-only yes
5、 优先级配置
       slave-priority 100

配置成功后启动三台服务器的redis，启动顺序最好为先master后slave，启动后，登录到redis命令行，执行info Replication

参考：http://www.yiibai.com/redis/redis_data_types.html

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......