BeansDB豆瓣开源Key/Value分布式NoSQL

介绍

BeansDB是由豆瓣开源的一个Key/Value存储系统,基于亚马逊Dynamo进行二次开发。

支持和接受memcache协议，官方客户端只有Python版，不过因为协议兼容也可以使用memcache客户端。

特点

与memcache相比，beansdb特点：

1. 数据是持久化的，像value这种不可变的数据文件完全在硬盘上，内存中只存放key的hash索引
2. 在持久化的基础上，为了提高可靠性，一份数据可以设置存放在多个地方
3. 把分布式功能通过客户端api实现，而beansdb本身是单机的
4. 存储引擎使用Bitcast的方式
5. beansdb没有实现expired功能
6. 其网络连接的管理直接照搬了redis的实现方式。

生产场景

据GitHub上的Beansdb介绍，豆瓣主要用Beansdb存储图片、Mp3、大文本等等，也就是说，Beansdb是适用于大键值的键值系统。

截止2015年最新版本：V0.7.1.4
下载地址：https://github.com/douban/beansdb

编译安装

安装方法在源码目录的INSTALL文件中，以下部分内容为摘录并整理
git clone https://github.com/douban/beansdb
cd beansdb
./autogen.sh

错误：
[root@Twemproxy25 beansdb-master]# ./autogen.sh 
autoreconf --install
configure.ac:12: warning: macro `AM_PROG_AR' not found in library
configure.ac:12: error: possibly undefined macro: AM_PROG_AR

解决方法：
在源码目录执行：sed -i -e 's/^AM_PROG_AR/#AM_PROG_AR/' configure.ac

再次执行：
./autogen.sh

./configure --prefix=/usr/local/beansdb    
make && make install
cd /usr/bin && ln -s /usr/local/beansdb/bin/* ./    #命令软链

beansdb -h  #获取帮助

快速开始

源码目录：/root/beansdb-master/python中自带测试代码文件 dbclient.py

通过该文件可以分析出dbclient.py的文件结构：

dbclient.py文件的最顶层包含：

fnv1a：一个哈希函数。
MCStore：memcache客户端的封装。
WriteFailedError：自定义的异常类。
Beansdb：Beansdb客户端类。

mkdir /data/beansdb -p    #创建beansdb数据存储目录
mkdir /usr/local/beansdb/etc -p 
mkdir /var/run/beansdb -p
mkdir /var/log/beansdb -p
useradd beansdb -s /sbin/nologin -M
chown -R beansdb.beansdb /var/log/beansdb
chown beansdb.beansdb /var/log/beansdb/beansdb.log

#启动实例
beansdb -d -p 7900 -l 10.0.10.25 -H /data/beansdb -P /var/run/beansdb/beansdb.pid -L /var/log/beansdb/beansdb.log -T 2

官方example配置

from dbclient import Beansdb

# three beansdb nodes on localhost
BEANSDBCFG = {
    "localhost:7901": range(16),
    "localhost:7902": range(16),
    "localhost:7903": range(16),
}

db = Beansdb(BEANSDBCFG, 16)

db.set('hello', 'world')
db.get('hello')
db.delete('hello')

翻译过来就是

localhost:7901:1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

localhost:7902:1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

localhost:7903:1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

客户端拿到这个配置，会做一下“倒排”,即

0：localhost:7901；localhost:7902；localhost:7903

1：localhost:7901；localhost:7902；localhost:7903

2：localhost:7901；localhost:7902；localhost:7903

............

15：localhost:7901；localhost:7902；localhost:7903

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2017/03/02/BeansDB豆瓣开源Key-Value分布式NoSQL/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！