Fork me on GitHub

SSDB-NoSQL数据库部署

字数统计: 4.2k字   |   阅读时长≈ 18分

概述

1
2
3
4
5
SSDB 是一个 C++ 开发的 NoSQL 数据库, 支持Key-value/Key-hashmap/zset(sorted set)等数据结构，十分适合存储数亿条级别的列表、排序表等集合数据，是redis的替代与增强方案。

SSDB使用Google公司开源的LevelDB引擎作为底层的存储引擎。SSDB 采用 New BSD License 许可协议, 一个非常宽松灵活的协议，支持主从复制, 负载均衡。

SSDB地址：http://ssdb.io/zh_cn/

SSDB特性

  • 替代 Redis 数据库, Redis 的 100 倍容量
  • LevelDB 网络支持, 使用 C/C++ 开发
  • Redis API 兼容, 支持 Redis 客户端
  • 适合存储集合数据, 如 list, hash, zset…
  • 客户端 API 支持的语言包括: C++, PHP, Python, Java, Go
  • 持久化的队列服务
  • 主从复制, 负载均衡

SSDB与redis区别

1
redis数据是全部存储在了内存中，而SSDB绝对优势是将数据写入了硬盘，同时也支持配置部分内存用于缓存热数据。

ssdb-redis

SSDB数据类型

1
2
3
4
5
6
7
KV(Key-value)数据类型KV 数据类型主要用于存储离散的、之间没有关系或者关系被忽略 的大数据, 如图片文件, 大段文本等. 一般 KV 类型都可以被 Hashmap 替代, 但KV会比Hashmap性能高一些.

Hashmap 如果数据需要经常被遍历, 则应该使用 Hashmap 来替代 KV。对于只添加, 不更新和删除的有
排序需求的数据集合, 可以用 Hashmap 来存储而不需要使用 Zset, 因为 Hashmap 会比Zset 性能高一些.

Zset 是一种根据数据项的权重(score, 整数值)进行排序的集合, Zset 集合中的数据项是唯一,不可重复的. Zset 可以理解为关系数据中只有 ID 主键和整数 score 字段⼀一共两个字段的表.因为 Zset 的排序特性, 所以可用来存储排序列表, 如商品按价格的排序列表, 商品按上架日期的排序列表等等. 每一个排序列表对应一个 Zset 集合.
Zset 不能用来存储大体积的数据, 因为它是一种"索引"数据类型, 被索引的东西(集合中的数据项)只能是 200 字节以内的字节数组(包括字符串).

部署

编译安装

1
2
3
4
5
6
yum groupinstall "Development tools" -y
wget --no-check-certificate https://github.com/ideawu/ssdb/archive/master.zip
unzip master
cd ssdb-master
make
make install PREFIX=/usr/local/ssdb

故障解决：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
如果出现如下错误:
g++ ...deps/snappy-1.1.0/.libs/libsnappy.a: No such file or directory
make[1]: *** [all] Error 1

或者

g++ ...deps/jemalloc-3.3.1/lib/libjemalloc.a: No such file or directory
make[1]: *** [all] Error 1

这是因为 Snappy 或者 Jemalloc 没有编译成功, 这一般是因为你的系统时钟有问题。

解决方案:
cd deps/snappy-1.1.0
autoreconf --force --install
./configure
make

或者

cd deps/jemalloc-3.3.1
autoreconf --force --install
./configure
make

启动和停止

1
2
3
4
5
6
7
8
9
10
11
# 启动主库, 此命令会阻塞住命令行
./ssdb-server ssdb.conf

# 或者启动为后台进程(不阻塞命令行)
./ssdb-server -d ssdb.conf

# 停止 ssdb-server
./ssdb-server ssdb.conf -s stop

# 重启
./ssdb-server ssdb.conf -s restart

SSDB启动脚本（随操作系统自启动）

1
2
3
假设你已经安装 SSDB 在默认的 /usr/local/ssdb 目录, 把 tools/ssdb.sh 脚本放到 /etc/init.d 目录下.

注意: 对于 CentOS 用户, 请将 ssdb.sh 重命名为 ssdb.
1
2
3
4
将 /data/ssdb_data/test/ssdb.conf 修改为你的 SSDB 配置文件的路径. 如果你有多个 SSDB 实例, 那么把它们写在一行, 用空格来分隔, 例如:

# each config file for one instance
configs=/usr/local/ssdb/ssdb.conf /usr/local/ssdb1/ssdb.conf
1
2
chkconfig --add ssdb
chkconfig ssdb on

检查ssdb版本

1
2
3
[root@gserver1 ssdb]# /usr/local/ssdb/ssdb-server -v
ssdb-server 1.9.5
Copyright (c) 2012-2015 ssdb.io

配置

1
注：SSDB 的配置文件使用一个 TAB 来表示一级缩进, 不要使用空格来缩进, 无论你用1个, 2个, 3个, 4个, 5个, 6个, 7个, 8个或者无数个空格都不行!
1
重要：一定要记得修改你的 Linux 内核参数, 关于 max open files(最大文件描述符数)的内容, 请参考 [1]. 否则, 你会在 log.txt 看到 Too many open files 类似的错误, 或者在客户端看到 Connection reset by peer 错误.

CentOS7解决“打开文件数max open files”配置

1
2
3
4
5
6
7
8
在ssdb.conf中最后加入如下代码

leveldb:
	    max_open_files: 50000

配置完成需要重启系统
参考：https://www.oldcai.com/archives/1123	
测试系统打开文件数(工具:c1000k): https://github.com/ideawu/c1000k

监听网络端口

1
2
3
4
5
6
7
8
9
10
11
work_dir = ./var
pidfile = ./var/ssdb.pid

server:
	ip: 127.0.0.1   #本地回环网络。无法从其它机器上连接此 SSDB 服务器
	port: 32121

注：如果你希望从其它机器上连接 SSDB 服务器, 必须把 127.0.0.1 改为 0.0.0.0.
    同时, 利用配置文件的 deny, allow 指令限制可信的来源 IP 访问.

警告：如果不做网络限制便监听 0.0.0.0 IP 可能导致被任意机器访问到你的数据, 这很可能是一个安全问题! 你可以结合操作系统的 iptables 来限制网络访问.

只读模式

1
2
server:
	readonly: yes|no

SSDB 可以工作在只读模式下, 在只读模式下, 所有的写操作命令都会被服务端拒绝:

1
2
3
4
5
ssdb 127.0.0.1:8888> set a 2
client_error: Forbidden Command: set
(0.000 sec)

默认配置文件不设置此选项, 那表示可读可写.

日志配置与分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
logger:
	level: debug     #支持的日志级别有: debug, info, warn, error, fatal
	output: log.txt  #可直接写相对路径或者绝对路径, 如果相对路径, 则是相对配置文件所在的目录.
	rotate:
	       size: 1000000000   #设置日志拆分时的大小, 单位为字节数,默认100M大小进行切分

注：logger.rorate.size 日志循环和清理; 
(1)日志切分后的文件名格式如：log.txt.20150723-230422, 切分后的日志文件不会自动被清理, 你需要自己写     crontab 脚本来清理.

如果你想输出日志到终端屏幕, 编辑 ssdb.conf, 将

logger:
	output: log.txt
修改为

logger:
	output: stdout

日志解读

1
一般, 建议你将 logger.level 设置为 debug 级别.

请求处理

1
2014-06-18 11:01:40.335 [DEBUG] serv.cpp(395): w:0.393,p:5.356, req: set a 1, resp: ok 1
  • w:0.393 请求的排队时间, 毫秒
  • p:5.356 请求的处理时间, 毫秒
  • req:... 请求内容
  • resp:... 响应内容

找出慢请求 , 命令是:

1
2
3
4
tail -f log.txt | grep resp | grep '[wp]:[1-9][0-9]\{0,\}\.'
# 或者
cat log.txt | grep resp | grep '[wp]:[1-9][0-9]\{0,\}\.'

这些命令用于找出排队时间, 或者处理时间大于等于 1 毫秒的请求.

找出大于 10 毫秒的请求:

1
cat log.txt | grep resp | grep '[wp]:[1-9][0-9]\{1,\}\.'

找出大于 100 毫秒的请求:

1
cat log.txt | grep resp | grep '[wp]:[1-9][0-9]\{2,\}\.'

SSDB 在工作中

ssdb-server 会每隔 5 分钟输出这样的一条 log

1
2
3
2014-06-18 11:18:03.600 [INFO ] ssdb-server.cpp(215): ssdb working, links: 0
2014-06-18 11:23:03.631 [INFO ] ssdb-server.cpp(215): ssdb working, links: 0

  • links: 0 当前的连接数

LevelDB 配置

1
2
3
4
5
6
7
8
9
10
11
leveldb.cache_size 内存缓存大小, 单位 MB
一般地, 这个数字越大, 性能越好, 你可设置为物理内存的一半. 如果你的机器内存较小, 那就把它改小, 最小值是 16.

leveldb.write_buffer_size 写缓冲区大小, 单位 MB
如果你的机器内存小, 那就把它改小, 否则改大. 它应该在这个范围内: [4, 128];

leveldb.compaction_speed
一般情况下, 不用关心. 如果你的硬盘性能非常差, 同时, 你的数据几乎不变动, 也没有什么新数据写入, 可以把它改小(最好大于 50).

leveldb.compression 压缩硬盘上的数据
最好设置为 yes! 如果是 yes, 一般你能存储 10 倍硬盘空间的数据, 而且性能会更好.

内存占用

1
2
3
4
5
6
7
8
9
10
11
12
一个 ssdb-server 实例占用的内存瞬时(有可能, 而且即使达到, 也只是持续短时间)最高达到(MB):

cache_size + write_buffer_size * 66 + 32
这是对于压缩选项没有开启的情况. 如果 compression: yes, 计算公式是:

cache_size + 10 * write_buffer_size * 66 + 32
你可以调整配置参数, 限制 ssdb-server 的内存占用.

对于一般负载的实例来说, 物理内存的持续占用是:

cache_size + write_buffer_size * 4 + 32
根据实际经验, 使用默认配置的实例, 会占用约 1GB 的内存. 这个经验你可以参考.

设置内存上限

1
2
3
4
5
6
7
很抱歉, SSDB 无法设置内存占用上限. SSDB占用的内存大小, 和下列因素相关:

cache_size 参数配置, 这是最主要的因素.
客户端连接的数量, 一般来说, 每一个连接要占用 2MB 的内存, 但也和连接的使用繁忙度请求响应的大小等有关.
文件缓存, 虽然是被 ssdb-server 进程占用, 但是可被操作系统回收的, 可能会占用数十 GB.
SSDB 的繁忙程度, 服务越繁忙, SSDB 会倾向于使用更多的内存, 以提高响应速度.
总体来说, cache_size 参数是你可以控制的, 后面的因素你无法控制. 例如, 在一个比较空闲的 SSDB 上, 如果物理内存是 16G, 而你设置 cache_size 是 8000(8G), 那么你通过 top 命令会看到 ssdb-server 进程占用 RES 内存可能在 12G 左右. 如果是一个比较繁忙的实例, RES 可能达到 15G.

命令行工具ssdb-cli使用

1
2
3
连接到SSDB服务器
/usr/local/ssdb/ssdb-cli -h 127.0.0.1 -p 8888    本地连接
/usr/local/ssdb/ssdb-cli -h 192.168.56.101 -p 32121 远程连接

输入 ‘h’, 然后按回车查看帮助信息. 下面是操作的演示:

1
2
3
4
5
6
7
8
9
10
11
12
13
ssdb 127.0.0.1:8888> set k 1
ok
(0.000 sec)
ssdb 127.0.0.1:8888> get k
1
(0.000 sec)
ssdb 127.0.0.1:8888> del k
ok
(0.000 sec)
ssdb 127.0.0.1:8888> get k
error: not_found
(0.000 sec)
ssdb 127.0.0.1:8888>

SSDB命令列表

参考：立即转到-SSDB命令

同步和复制的配置与监控

一主多从

server1 【IP:192.168.56.101】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
server:
        ip: 0.0.0.0
        port: 32121
        deny: all
        allow: 192.168

replication:
        binlog: yes
        sync_speed: -1
        slaveof:
                id: svc_1
                type: mirror
                host: 192.168.56.101
                port: 32121

server2

1
2
3
4
5
6
7
8
replication:
        binlog: yes
        sync_speed: -1
        slaveof:      
                id: svc_2       
                type: sync
                host: 192.168.56.101
                port: 32121

server3

1
2
3
4
5
6
7
8
replication:
        binlog: yes
        sync_speed: -1
        slaveof:      
                id: svc_3      
                type: sync
                host: 192.168.56.101
                port: 32121

多主多从

server1【IP:192.168.56.101】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
server:
        ip: 0.0.0.0
        port: 32121
        deny: all
        allow: 192.168

replication:
        binlog: yes
        sync_speed: -1
        slaveof:
                id: svc_1
                type: mirror
                host: 192.168.56.101
                port: 32121

server2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
server:
        ip: 0.0.0.0
        port: 32121
        deny: all
        allow: 192.168

replication:
        binlog: yes
        sync_speed: -1
        slaveof:
                id: svc_2
                type: mirror
                host: 192.168.56.101
                port: 32121

server3

1
2
3
4
5
6
7
8
replication:
        binlog: yes
        sync_speed: -1
        slaveof:      
                id: svc_3      
                type: sync
                host: 192.168.56.101
                port: 32121

单台服务器包含n个实例

在一组一共包含 n 个实例的 SSDB 实例群中, 每一个实例必须 slaveof 其余的 n-1 个实例.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
replication:
	slaveof:
		id: svc_1
		# sync|mirror, default is sync
		type: mirror
		# use ip for older version
		#ip: 127.0.0.1
		# use host since 1.9.2
		host: localhost
		port: 8888
	slaveof:
		id: svc_2
		# sync|mirror, default is sync
		type: mirror
		# use ip for older version
		#ip: 127.0.0.1
		# use host since 1.9.2
		host: localhost
		port: 8889
	# ... more slaveof

监控同步状态

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
[root@gserver1 ssdb]# ./ssdb-cli -h 192.168.56.101 -p 32121
ssdb 192.168.56.101:32121> info
version
	1.9.5
links
	1
total_calls
	3
dbsize
	398
binlogs
	    capacity : 20000000    #capacity: binlog 队列的最大长度
	    min_seq  : 1           #min_seq: 当前队列中的最小 binlog 序号
	    max_seq  : 14          #max_seq: 当前队列中的最大 binlog 序号
replication
	client 192.168.56.103:33194   #slaveof|client host:port, 远端 master/slave 的 host:port.
	    type     : sync           #type: 类型, sync|mirror.
	    status   : SYNC           #status: 当前同步状态, DISCONNECTED|INIT|OUT_OF_SYNC|COPY|SYNC.
	    last_seq : 14             #last_seq: 上一条发送或者收到的 binlog 的序号.
replication
	client 192.168.56.102:52412
	    type     : mirror
	    status   : SYNC
	    last_seq : 14
replication
	client 192.168.56.101:59664
	    type     : mirror
	    status   : SYNC
	    last_seq : 14
replication
	slaveof 192.168.56.101:32121
	    id         : svc_1
	    type       : mirror
	    status     : SYNC
	    last_seq   : 14
	    copy_count : 4
	    sync_count : 0

关于status状态

1
2
3
4
5
DISCONNECTED: 与 master 断开了连接, 一般是网络中断或者是配置文件限制了访问.
INIT: 初始化状态.
OUT_OF_SYNC: 由于短时间内在 master 有大量写操作, 导致 binlog 队列淘汰, slave 丢失同步点, 只好重新复制全部的数据.
COPY: 正在复制基准数据的过程中, 新的写操作可能无法及时地同步.
SYNC: 同步状态是健康的.

判断同步状态–是否正常

1
2
3
4
5
对于 master, binlogs.max_seq 是指当前实例上的最新一次的写(写/更新/删除)操作的序号, replication.client.last_seq 是指已发送给 slave 的最新一条 binlog 的序号.

所以, 如果你想判断主从同步是否已经同步到位(实时更新), 那么就判断 binlogs.max_seq 和 replication.client.last_seq 是否相等, 同时 status 是 SYNC.

上面的例子中，比对max_seq  : 14 与last_seq : 14 数值即可。

info cmd

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
ssdb 192.168.56.101:32121> info cmd
version
	1.9.5
cmd.zincr
	calls: 0	time_wait: 0	time_proc: 0
cmd.cluster_set_kv_status
	calls: 0	time_wait: 0	time_proc: 0
cmd.sync140
	calls: 0	time_wait: 0	time_proc: 0
cmd.ttl
	calls: 0	time_wait: 0	time_proc: 0
cmd.qfix
	calls: 0	time_wait: 0	time_proc: 0
cmd.qtrim_front

calls: 该命令总共处理了多少次.
time_wait: 命令在被处理前等待的总共时间(单位毫秒).
time_proc: 命令处理总共消耗的时间(单位毫秒).

对数据库进行强制收缩

1
2
3
4
ssdb 192.168.56.101:32121> compact
ok
(0.010 sec)
这个命令强制 SSDB 服务器对数据进行收缩(compaction), 收缩之后, 操作通常会变得更快.但是, compact 的过程可能会拖慢正常服务, 特别是是当数据库比较大时. 所以, 建议在空闲时使用.

SSDB备份(导入导出)

使用ssdb-cli

导出

1
2
3
4
5
6
7
8
导出整个数据库
cd /usr/local/ssdb
./ssdb-cli -h 192.168.56.101 -p 32121
ssdb 192.168.56.101:32121> export backup.ssdb
100%
done.

默认导出路径在/usr/local/ssdb目录下
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
按照key区间导出数据库（导出/导入）

ssdb 192.168.56.101:32121> export -i 2017.9.26_backup.ssdb
input KV range[start, end]: 
  start(inclusive, default none): a
    end(inclusive, default none): z
input HASH range: 
  start(inclusive, default none): 
    end(inclusive, default none): 
input ZSET range: 
  start(inclusive, default none): 
    end(inclusive, default none): 
input QUEUE range: 
  start(inclusive, default none): 
    end(inclusive, default none): 
100%
done.

注：命令 export -i backup.ssdb将导出区间 [a, z] 内的 KV 和 所有的 HASH, ZSET, QUEUE.

导入

1
2
3
4
5
6
7
8
9
10
ssdb 192.168.56.101:32121> import backup.ssdb
或
ssdb 192.168.56.101:32121> import 2017.9.26_backup.ssdb
33%
64%
79%
100%
done.

注意： import 命令会把数据库中的相同 key 给替换.

使用ssdb-dump命令

备份导出

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
用法：/usr/local/ssdb/ssdb-dump  ip   port   output_folder
选项：
ip - ssdb 服务器监听的 IP 地址
port - ssdb 服务器监听的端口号
output_folder - 将要创建备份数据的本地目录

注：目录 output_folder 必须不存在, 因为 ssdb-dump 会创建这个目录. 导出之后, 这个目录里将有两个子目录, data 目录里包含着数据, 还有一个空的 meta 目录.

##############################################################################################

[root@gserver1 ssdb]# ./ssdb-dump 192.168.56.101 32121 ./bak
ssdb-dump - SSDB backup command
Copyright (c) 2012-2015 ssdb.io

recv begin...
received 1 entry(s)
received 4 entry(s)
recv end

total dumped 4 entry(s)
                               Compactions
Level  Files Size(MB) Time(sec) Read(MB) Write(MB)
--------------------------------------------------

compacting data...
                               Compactions
Level  Files Size(MB) Time(sec) Read(MB) Write(MB)
--------------------------------------------------
  2        1        0         0        0         0

backup has been made to folder: ./bak

[root@gserver1 ssdb]# cd bak/
[root@gserver1 bak]# ls -lh
total 0
drwxr-xr-x 2 root root 103 Sep 26 05:04 data
drwxr-xr-x 2 root root   6 Sep 26 05:04 meta

恢复

1
将 output_folder 目录拷贝到你的服务器上面, 你可能需要将它改名. 然后修改你的 ssdb.conf 配置文件, 将 work_dir 指向output_folder 目录, 然后重启 ssdb-server.

从redis迁移数据到SSDB

1
2
3
4
5
6
7
8
9
10
11
12
SSDB源码包中，Tools目录下的“ redis-import.php ” PHP 脚本可以用来将 Redis 服务器上的数据, 拷贝到 SSDB 服务器上.

用法：php redis-import.php redis_host redis_port redis_db ssdb_host ssdb_port

参数:
redis_host: Redis 运行所在的 IP 或者主机名
redis_port: Redis 监听的端口
redis_db: Redis 的 DB 编号
ssdb_host: SSDB 运行所在的 IP 或者主机名
ssdb_port: SSDB 监听的端口

注：需确保你的 PHP Redis 模块 https://github.com/nicolasff/phpredis 已经安装.

将现有的LevelDB数据导入SSDB

1
2
3
4
5
6
7
8
9
10
11
12
13
14
SSDB 提供了 leveldb-import 工具来将 LevelDB 的数据导入到 SSDB 数据库中. 该工具的使用非常简单

用法:
./tools/leveldb-import ip port input_folder

选项:
ip - SSDB服务器的 IP
port - SSDB服务器的端口号
input_folder - 本地LevelDB数据库的目录

示例:
./tools/leveldb-import 127.0.0.1 8888 ./leveldb/

注：你不能直接复制 LevelDB 的文件到 SSDB 目录, 这种方式是错误的.

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......