Fork me on GitHub

Redis代理Twemproxy安装配置使用

字数统计: 2k字   |   阅读时长≈ 9分

Twemproxy介绍

1
Twemproxy 也叫 nutcraker。是 Twtter 开源的一个 Redis 和 Memcache 代理服务器，主要用于管理 Redis 和 Memcached 集群，减少与Cache 服务器直接连接的数量。

Twemproxy特性

1
2
3
4
5
6
7
8
9
10
11
12
13
轻量级、快速
保持长连接
减少了直接与缓存服务器连接的连接数量
使用 pipelining 处理请求和响应
支持代理到多台服务器上
同时支持多个服务器池
自动分片数据到多个服务器上
实现完整的 memcached 的 ASCII 和再分配协议
通过 yaml 文件配置服务器池
支持多个哈希模式，包括一致性哈希和分布
能够配置删除故障节点
可以通过端口监控状态
支持 linux, *bsd,os x 和 solaris

注：以下配置基于redis集群部署，快速移步：Redis Cluster集群部署-实战1

环境准备

1
2
3
4
5
6
7
8
9
10
11
autoconf下载地址：http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz
twemproxy下载地址：https://codeload.github.com/twitter/twemproxy/zip/master

Twemproxy1: 10.0.10.25
Twemproxy2: 10.0.10.26

#安装编译环境
yum groupinstall "Development Tools"

#安装基本软件
yum install unzip vim wget lrzsz

编译安装autoconf-2.69.tar.gz

1
2
3
4
tar -xf autoconf-2.69.tar.gz
cd autoconf-2.69
./configure
make && make install

编译安装Twemproxy

1
2
3
4
5
6
unzip twemproxy-master.zip 
cd twemproxy-master
autoreconf -fvi
./configure --prefix=/usr/local/twemproxy
make -j 8
make install

配置Twemproxy

1
2
3
4
cd /usr/local/twemproxy/
mkdir run etc
cd etc
vim twemproxy25.yml

配置文件-详解

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
alpha:
  listen: 0.0.0.0:11111
  hash: crc16
  distribution: modula
  auto_eject_hosts: true
  backlog: 2048
  redis: true
  server_retry_timeout: 200
  server_failure_limit: 1
  sds_rep: tcp://10.15.144.104:10300
  sds_pub: tcp://10.15.144.104:10301
  servers:
   - 127.0.0.1:7000:1:group1 server1
   - 127.0.0.1:7001:1:group2 server2
   - 127.0.0.1:7002:1:group3 server3
   - 127.0.0.1:7003:1:group1 slaver1
   - 127.0.0.1:7004:1:group2 slaver2
   - 127.0.0.1:7005:1:group3 slaver3
   - 10.15.144.37:2014:1:eval eval2
   - 10.15.144.37:2014:1:eval eval3
   - 10.15.144.37:9100:1:syncdb db1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
listen
twemproxy监听的端口。可以以ip:port或name:port的形式来书写。
 
hash
可以选择的key值的hash算法：
> one_at_a_time
> md5
> crc16
> crc32(crc32 implementation compatible with libmemcached)
> crc32a(correct crc32 implementation as per the spec)
> fnv1_64
> fnv1a_64
> fnv1_32
> fnv1a_32
> hsieh
> murmur
> jenkins
如果没选择，默认是fnv1a_64。
 
hash_tag
hash_tag允许根据key的一个部分来计算key的hash值。hash_tag由两个字符组成，一个是hash_tag的开始，另外一个是hash_tag的结束，在hash_tag的开始和结束之间，是将用于计算key的hash值的部分，计算的结果会用于选择服务器。
 例如：如果hash_tag被定义为”{}”，那么key值为"user:{user1}:ids"和"user:{user1}:tweets"的hash值都是基于”user1”，最终会被映射到相同的服务器。而"user:user1:ids"将会使用整个key来计算hash，可能会被映射到不同的服务器。


distribution
存在ketama、modula和random3种可选的配置。其含义如下：
(1)ketama
ketama一致性hash算法，会根据服务器构造出一个hash ring，并为ring上的节点分配hash范围。ketama的优势在于单个节点添加、删除之后，会最大程度上保持整个群集中缓存的key值可以被重用。
 
(2)modula
modula非常简单，就是根据key值的hash值取模，根据取模的结果选择对应的服务器。
 
(3)random
random是无论key值的hash是什么，都随机的选择一个服务器作为key值操作的目标。


timeout
单位是毫秒，是连接到server的超时值。默认是永久等待。
 
backlog
监听TCP 的backlog（连接等待队列）的长度，默认是512。

preconnect
是一个boolean值，指示twemproxy是否应该预连接pool中的server。默认是false。

redis
是一个boolean值，用来识别到服务器的通讯协议是redis还是memcached。默认是false。
 
server_connections
每个server可以被打开的连接数。默认，每个服务器开一个连接。
 
auto_eject_hosts
是一个boolean值，用于控制twemproxy是否应该根据server的连接状态重建群集。这个连接状态是由server_failure_limit 阀值来控制。
默认是false。
 
server_retry_timeout
单位是毫秒，控制服务器连接的时间间隔，在auto_eject_host被设置为true的时候产生作用。默认是30000 毫秒。
 
server_failure_limit
控制连接服务器的次数，在auto_eject_host被设置为true的时候产生作用。默认是2。
 
servers
左半部分是一个pool中的服务器的地址、端口和权重的列表，中间一个空格，后半部分是一个可选的服务器的名字，如果提供服务器的名字，将会使用它决定server的次序，从而提供对应的一致性hash的hash ring。否则，将使用server被定义的次序

本例配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
twemproxy25:
  listen: 10.0.10.25:10000
  hash: fnv1a_64
  distribution: modula
  auto_eject_hosts: true
  redis: true
  timeout: 4000
  server_retry_timeout: 30000
  server_failure_limit: 5
  servers:
    - 10.0.10.21:7021:1 10.0.10.21:7021
    - 10.0.10.21:7024:1 10.0.10.21:7024
    - 10.0.10.22:7022:1 10.0.10.22:7022
    - 10.0.10.22:7025:1 10.0.10.22:7025
    - 10.0.10.23:7023:1 10.0.10.23:7023
    - 10.0.10.23:7026:1 10.0.10.23:7026
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
twemproxy26:
  listen: 10.0.10.26:10000
  hash: fnv1a_64
  distribution: modula
  auto_eject_hosts: true
  redis: true
  timeout: 4000
  server_retry_timeout: 30000
  server_failure_limit: 5
  servers:
    - 10.0.10.21:7021:1 10.0.10.21:7021
    - 10.0.10.21:7024:1 10.0.10.21:7024
    - 10.0.10.22:7022:1 10.0.10.22:7022
    - 10.0.10.22:7025:1 10.0.10.22:7025
    - 10.0.10.23:7023:1 10.0.10.23:7023
    - 10.0.10.23:7026:1 10.0.10.23:7026

分别启动Twemproxy服务

1
2
3
4
5
6
7
8
9
10
cd /usr/bin && ln -s /usr/local/twemproxy/sbin/nutcracker ./   #命令软链
nutcracker -t -c /usr/local/twemproxy/etc/twemproxy.yml  #测试配置文件是否有语法错误

#启动Twemproxy
nutcracker -d -c /usr/local/twemproxy/etc/twemproxy.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/redisproxy.log

#检查启动情况
ps -ef |grep nutcracker
netstat -lntup |grep 10000
tailf /usr/local/twemproxy/run/redisproxy.log

Twemproxy使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@Twemproxy26 etc]# nutcracker --help
This is nutcracker-0.4.1

Options:
-h, –help                   : 查看帮助文档，显示命令选项
-V, –version                : 查看nutcracker版本
-t, –test-conf              : 测试配置脚本的正确性
-d, –daemonize              : 以守护进程运行
-D, –describe-stats         : 打印状态描述
-v, –verbosity=N            : 设置日志级别 (default: 5, min: 0, max: 11)
-o, –output=S               : 设置日志输出路径，默认为标准错误输出 (default: stderr)
-c, –conf-file=S            : 指定配置文件路径 (default: conf/nutcracker.yml)
-s, –stats-port=N           : 设置状态监控端口，默认22222 (default: 22222)
-a, –stats-addr=S           : 设置状态监控IP，默认0.0.0.0 (default: 0.0.0.0)
-i, –stats-interval=N       : 设置状态聚合间隔 (default: 30000 msec)
-p, –pid-file=S             : 指定进程pid文件路径，默认关闭 (default: off)
-m, –mbuf-size=N            : 设置mbuf块大小，以bytes单位 (default: 16384 bytes)

连接Twemproxy

1
2
3
4
5
6
7
8
和连接redis一样的操作
[root@localhost ~]# redis-cli -h 10.0.10.25 -p 10000 -c
10.0.10.25:10000> set name2 wuyanteng
-> Redirected to slot [742] located at 10.0.10.21:7021
OK
10.0.10.21:7021> get name2
"wuyanteng"
10.0.10.21:7021>
1
2
3
4
5
6
7
8
[root@localhost ~]# redis-cli -h 10.0.10.26 -p 10000 -c
10.0.10.26:10000> 
10.0.10.26:10000> 
10.0.10.26:10000> set garywu wuyanteng
OK
10.0.10.26:10000> get garywu
"wuyanteng"
10.0.10.26:10000>

性能压力测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
用redis自带的redis-benchmark进行性能测试Twemproxy

[root@localhost ~]# redis-benchmark -h 10.0.10.25 -p 10000 -c 100 -t set -d 500
====== SET ======
  100000 requests completed in 2.17 seconds
  100 parallel clients
  500 bytes payload
  keep alive: 1

9.25% <= 1 milliseconds
79.36% <= 2 milliseconds
79.40% <= 3 milliseconds
82.94% <= 4 milliseconds
91.81% <= 5 milliseconds
99.84% <= 6 milliseconds
99.97% <= 7 milliseconds
100.00% <= 8 milliseconds
100.00% <= 8 milliseconds
46125.46 requests per second

原生redis:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@localhost ~]# redis-benchmark -h 10.0.10.22 -p 7022 -c 100 -t set -d 500
====== SET ======
  100000 requests completed in 2.62 seconds
  100 parallel clients
  500 bytes payload
  keep alive: 1

4.79% <= 1 milliseconds
56.33% <= 2 milliseconds
81.89% <= 3 milliseconds
91.51% <= 4 milliseconds
98.59% <= 5 milliseconds
99.76% <= 6 milliseconds
99.91% <= 7 milliseconds
99.98% <= 8 milliseconds
100.00% <= 9 milliseconds
100.00% <= 9 milliseconds
38167.94 requests per second

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......