Fork me on GitHub

高可用MongoDB集群

字数统计: 3.8k字   |   阅读时长≈ 18分

MongoDB是最易用的NoSQL，比较适合取代MySQL做一些存储，不过不是强一致性的。本章节主要分享高可用分片+副本集部署。从下图中可以看到有四个组件：mongos、config server、shard、replica set。

mongo高可用集群

mongos

1
mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。

config server

1
config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！

shard

1
shard，分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。

replica set

1
replica set，中文翻译副本集，其实就是shard的备份，防止shard挂掉之后数据丢失。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。

仲裁者

1
仲裁者（Arbiter），是复制集中的一个MongoDB实例，它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备，不能将Arbiter部署在同一个数据集节点中，可以部署在其他应用服务器或者监视服务器中，也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员（包括primary），需要添加仲裁节点做为投票，否则primary不能运行时不会自动切换primary。

架构原理-总结

1
简单了解之后，我们可以这样总结一下，应用请求mongos来操作mongodb的增删改查，配置服务器存储数据库元信息，并且和mongos做同步，数据最终存入在shard（分片）上，为了防止数据丢失同步在副本集中存储了一份，仲裁在数据存储到分片的时候决定存储到哪个节点。

环境准备

1
2
3
操作系统: CentOS7.2
服务器: 3台 - 10.0.10.25/26/27
Mongo版本： 3.4.6(mongodb-linux-x86_64-3.4.6.tgz)
服务器规划
服务器25 服务器26 服务器27
mongos mongos mongos
config server config server config server
shard server1主节点 shard server1副节点 shard server1仲裁节点
shard server2仲裁节点 shard server2主节点 shard server2副节点
shard server3主节点 shard server3仲裁节点 shard server3副节点
端口分配
mongos config server shard server1 shard server2 shard server3
20000 21000 27001 27002 27003

集群部署

安装MongoDB

1
2
3
4
5
6
7
8
mongodb3.4.6下载: https://www.mongodb.org/dl/linux/x86_64

解压到/usr/local
tar -zxvf mongodb-linux-x86_64-3.4.6.tgz -C /usr/local/

软链
ln -sv /usr/local/mongodb-linux-x86_64-3.4.6 /usr/local/mongodb
ls -lh /usr/local/mongodb

分别在每台服务器建立conf、mongos、config、shard1、shard2、shard3六个目录

1
2
3
4
5
6
7
8
9
10
11
12
13
14
注: 因为mongos不存储数据, 所以此处建立mongos目录用于存放pid。

mkdir -p /data/A/mongodb/conf
mkdir -p /data/A/mongodb/mongos   #只用来存放pid
mkdir -p /data/A/mongodb/config/data
mkdir -p /data/A/mongodb/shard1/data
mkdir -p /data/A/mongodb/shard2/data
mkdir -p /data/A/mongodb/shard3/data

mkdir -p /var/log/mongodb/mongos
mkdir -p /var/log/mongodb/config
mkdir -p /var/log/mongodb/shard1
mkdir -p /var/log/mongodb/shard2
mkdir -p /var/log/mongodb/shard3

配置环境变量

1
2
3
4
5
6
7
cat >> /etc/profile <<EOF
export MONGODB_HOME=/usr/local/mongodb
export PATH=$PATH:$MONGODB_HOME/bin
EOF

使其生效
source /etc/profile

config server配置(3台机器)

1
注: mongodb3.4及以后要求config server也需要创建副本集,否则集群部署不成功

3台服务器-分别添加配置文件

1
vi /data/A/mongodb/conf/config.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
## 配置文件内容
pidfilepath = /data/A/mongodb/config/configsvr.pid
dbpath = /data/A/mongodb/config/data
logpath = /var/log/mongodb/config/congigsvr.log
logappend = true
 
bind_ip = 0.0.0.0
port = 21000
fork = true
 
#声明这是一个DB(config server)集群的配置
configsvr = true

#副本集名称(稍后初始化副本集需要使用)
replSet=configs
 
#设置最大连接数
maxConns=20000

启动3台服务器的config server

1
2
3
4
5
6
7
8
9
启动
mongod -f /data/A/mongodb/conf/config.conf 

验证端口
[root@bogon ~]# ss -lntup |grep 21000
tcp    LISTEN     0      128       *:21000     *:*    users:(("mongod",pid=2149,fd=7))

验证日志
[root@bogon ~]# tailf /var/log/mongodb/config/congigsvr.log

登陆任意一台配置服务器,初始化配置副本集

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#连接mongo config server
mongo --port 21000

#config变量
config = {
... _id: "configs",
...   members : [
...        {_id : 0,host : "10.0.10.25:21000"},     #格式:IP:Port
...        {_id : 1,host : "10.0.10.26:21000"},
...        {_id : 2,host : "10.0.10.27:21000"}
...     ]
... }

#初始化副本集(初始化完成后, “>”变成了“configs:SECONDARY>”)
> rs.initiate(config)
{ "ok" : 1 }
configs:SECONDARY>

其中, _id: “configs”应与配置文件中配置的副本集名称[replSet=configs]一致;

配置分片副本集(3台机器)

设置第一个分片副本集
1
vim /data/A/mongodb/conf/shard1.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
pidfilepath = /data/A/mongodb/shard1/shard1.pid
dbpath = /data/A/mongodb/shard1/data
logpath = /var/log/mongodb/shard1/shard1.log
logappend = true

bind_ip = 0.0.0.0
port = 27001
fork = true
 
#打开web监控(端口默认28001)
httpinterface=true
rest=true
 
#副本集名称
replSet=shard1
 
#声明这是一个DB(分片副本)集群的配置
shardsvr = true
 
#设置最大连接数
maxConns=20000

分别启动3台机器的shard1 server

1
2
3
4
5
6
7
8
9
启动
mongod -f /data/A/mongodb/conf/shard1.conf

验证端口
[root@bogon ~]# ss -lntup |grep 27001
tcp    LISTEN     0      128    *:27001   *:*   users:(("mongod",pid=2649,fd=7))

验证日志
[root@bogon ~]# tailf /var/log/mongodb/shard

在非仲裁服务器,初始化shard1副本集

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
连接
mongo --port 27001

使用admin数据库(没有则创建)
use admin

定义副本集配置, 第三个节点的“arbiterOnly”:true 代表其为仲裁节点
> config = {
... _id:"shard1",
... members: [
...      {_id:0, host:"10.0.10.25:27001"},
...      {_id:1, host:"10.0.10.26:27001"},
...      {_id:2, host:"10.0.10.27:27001", arbiterOnly:true}
...    ]
... }

初始化副本集配置
> rs.initiate(config);
{ "ok" : 1 }
shard1:SECONDARY>

shard1 Web监控

1
2
3
4
5
6
7
8
9
10
11
12
13
14
注: 配置文件中启用了Web监控,如何访问呢？
ss -lntup |grep mongo
tcp    LISTEN     0      128       *:21000    *:*   users:(("mongod",pid=18173,fd=7))
tcp    LISTEN     0      128       *:27001    *:*   users:(("mongod",pid=18265,fd=7))
tcp    LISTEN     0      128       *:28001    *:*   users:(("mongod",pid=18265,fd=9))
可以看到, 端口多出来一个28001

Web访问：
        http://10.0.10.25:28001
        http://10.0.10.26:28001
        http://10.0.10.27:28001
        
查看shard1副本集状态:
        http://10.0.10.25:28001/_replSet
设置第二个分片副本集
1
vim /data/A/mongodb/conf/shard2.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
pidfilepath = /data/A/mongodb/shard2/shard2.pid
dbpath = /data/A/mongodb/shard2/data
logpath = /var/log/mongodb/shard2/shard2.log
logappend = true

bind_ip = 0.0.0.0
port = 27002
fork = true
 
#打开web监控
httpinterface=true
rest=true
 
#副本集名称
replSet=shard2
 
#声明这是一个DB(分片副本)集群的配置
shardsvr = true
 
#设置最大连接数
maxConns=20000

分别启动3台机器的shard2 server

1
2
3
4
5
6
7
8
9
10
11
12
13
启动shard2
mongod -f /data/A/mongodb/conf/shard2.conf

端口验证
[root@bogon ~]# ss -lntup |grep mongo
tcp    LISTEN     0      128       *:21000    *:*   users:(("mongod",pid=2326,fd=7))
tcp    LISTEN     0      128       *:27001    *:*   users:(("mongod",pid=2649,fd=7))
tcp    LISTEN     0      128       *:27002    *:*   users:(("mongod",pid=2755,fd=7))
tcp    LISTEN     0      128       *:28001    *:*   users:(("mongod",pid=2649,fd=9))
tcp    LISTEN     0      128       *:28002    *:*   users:(("mongod",pid=2755,fd=9))

日志验证
tailf /var/log/mongodb/shard2/shard2.log

在非仲裁服务器，初始化shard2副本集

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
连接
mongo --port 27002

使用admin数据库
use admin

定义副本集配置, 第三个节点的“arbiterOnly”:true 代表其为仲裁节点
> config = {
... _id:"shard2",
... members: [
...      {_id:0, host:"10.0.10.25:27002",arbiterOnly:true},
...      {_id:1, host:"10.0.10.26:27002"},
...      {_id:2, host:"10.0.10.27:27002"}
...    ]
... }

初始化副本集配置
> rs.initiate(config);
{ "ok" : 1 }
shard2:SECONDARY>

shard2 Web监控

1
2
3
4
5
6
7
Web访问：
        http://10.0.10.25:28002
        http://10.0.10.26:28002
        http://10.0.10.27:28002
        
查看shard2副本集状态:
        http://10.0.10.25:28002/_replSet
设置第三个分片副本集
1
vim /data/A/mongodb/conf/shard3.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
pidfilepath = /data/A/mongodb/shard3/shard3.pid
dbpath = /data/A/mongodb/shard3/data
logpath = /var/log/mongodb/shard3/shard3.log
logappend = true

bind_ip = 0.0.0.0
port = 27003
fork = true
 
#打开web监控
httpinterface=true
rest=true
 
#副本集名称
replSet=shard3
 
#声明这是一个DB(分片副本)集群的配置
shardsvr = true
 
#设置最大连接数
maxConns=20000

分别启动3台机器的shard3 server

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
启动shard3
mongod -f /data/A/mongodb/conf/shard3.conf

端口验证
[root@bogon ~]# ss -lntup |grep mongo
tcp    LISTEN     0      128       *:21000  *:*   users:(("mongod",pid=2326,fd=7))
tcp    LISTEN     0      128       *:27001  *:*   users:(("mongod",pid=2649,fd=7))
tcp    LISTEN     0      128       *:27002  *:*   users:(("mongod",pid=2755,fd=7))
tcp    LISTEN     0      128       *:27003  *:*   users:(("mongod",pid=2827,fd=7))
tcp    LISTEN     0      128       *:28001  *:*   users:(("mongod",pid=2649,fd=9))
tcp    LISTEN     0      128       *:28002  *:*   users:(("mongod",pid=2755,fd=9))
tcp    LISTEN     0      128       *:28003  *:*   users:(("mongod",pid=2827,fd=9))

日志验证
tailf /var/log/mongodb/shard3/shard3.log

在非仲裁服务器，初始化shard3副本集

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
连接
mongo --port 27003

使用admin数据库
use admin

定义副本集配置, 第三个节点的“arbiterOnly”:true 代表其为仲裁节点
> config = {
... _id:"shard3",
... members: [
...      {_id:0, host:"10.0.10.25:27003"},
...      {_id:1, host:"10.0.10.26:27003",arbiterOnly:true},
...      {_id:2, host:"10.0.10.27:27003"}
...    ]
... }

初始化副本集配置
> rs.initiate(config);
{ "ok" : 1 }
shard3:SECONDARY>

shard3 Web监控

1
2
3
4
5
6
7
Web访问：
        http://10.0.10.25:28003
        http://10.0.10.26:28003
        http://10.0.10.27:28003
        
查看shard3副本集状态:
        http://10.0.10.25:28003/_replSet

配置路由服务 mongos

先启动配置服务器和分片服务器,后启动路由实例（三台机器）

1
vim /data/A/mongodb/conf/mongos.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
pidfilepath = /data/A/mongodb/mongos/mongos.pid
logpath = /var/log/mongodb/mongos/mongos.log
logappend = true

bind_ip = 0.0.0.0
port = 20000
fork = true

#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字
configdb = configs/10.0.10.25:21000,10.0.10.26:21000,10.0.10.27:21000
 
#设置最大连接数
maxConns=20000

启用3台服务器的mongos

1
2
3
4
5
6
7
8
9
启动(启动命令为mongos)
mongos -f /data/A/mongodb/conf/mongos.conf

验证端口
[root@bogon ~]# ss -lntup |grep mongos
tcp    LISTEN     0      128       *:20000   *:*  users:(("mongos",pid=2933,fd=5))

验证日志
tailf /var/log/mongodb/mongos/mongos.log

启用分片

1
目前已经成功部署了mongodb配置服务器、路由服务器，各个分片服务器，此时当应用程序连接到mongos路由服务器时并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。

登陆任意一台mongos

1
2
3
4
5
6
7
8
9
10
11
12
13
连接mongos
mongo --port 20000

使用admin数据库
use admin

串联路由服务器与分配副本集
sh.addShard("shard1/10.0.10.25:27001,10.0.10.26:27001,10.0.10.27:27001")
sh.addShard("shard2/10.0.10.25:27002,10.0.10.26:27002,10.0.10.27:27002")
sh.addShard("shard3/10.0.10.25:27003,10.0.10.26:27003,10.0.10.27:27003")

查看集群状态
sh.status()

指定数据库自动分片及测试

1
目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。
1
2
3
4
5
6
7
8
9
10
11
连接mongos
mongo --port 20000

切换到admin
use admin

#指定testdb分片生效
db.runCommand( { enablesharding :"testdb"});

#指定数据库里需要分片的集合和片键
db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } )
1
我们设置testdb的 table1表需要分片，根据 id 自动分片到 shard1 ，shard2，shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表 都需要分片！

报错处理

1
2
3
4
5
6
7
注:如果不切换到admin则会报错
mongos> db.runCommand({enablesharding:"test"});  
{  
    "ok" : 0,  
    "errmsg" : "enableSharding may only be run against the admin database.",  
    "code" : 13  
}

测试分片配置结果

1
2
3
4
5
6
7
8
9
10
11
连接任意一个mongos
mongo  mongo 10.0.10.25:20000

使用testdb
use  testdb;

插入测试数据
mongos> db.table1.insert({id:1,"test1":"testval1"});
mongos> db.table1.insert({id:2,"test1":"testval1"});
mongos> db.table1.insert({id:4,"test1":"testval1"});
WriteResult({ "nInserted" : 1 })

查看分片情况如下，部分无关信息省掉了

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
db.table1.stats();

{
        "sharded" : true,
        "ns" : "testdb.table1",
        "count" : 100000,
        "numExtents" : 13,
        "size" : 5600000,
        "storageSize" : 22372352,
        "totalIndexSize" : 6213760,
        "indexSizes" : {
                "_id_" : 3335808,
                "id_1" : 2877952
        },
        "avgObjSize" : 56,
        "nindexes" : 2,
        "nchunks" : 3,
        "shards" : {
                "shard1" : {
                        "ns" : "testdb.table1",
                        "count" : 42183,
                        "size" : 0,
                        ...
                        "ok" : 1
                },
                "shard2" : {
                        "ns" : "testdb.table1",
                        "count" : 38937,
                        "size" : 2180472,
                        ...
                        "ok" : 1
                },
                "shard3" : {
                        "ns" : "testdb.table1",
                        "count" :18880,
                        "size" : 3419528,
                        ...
                        "ok" : 1
                }
        },
        "ok" : 1
}

后期运维

1
2
3
4
5
6
7
8
9
mongodb的启动顺序:  (先启动)配置服务器 -->再启动分片 --> 最后启动mongos.

mongod -f /data/A/mongodb/conf/config.conf
mongod -f /data/A/mongodb/conf/shard1.conf
mongod -f /data/A/mongodb/conf/shard2.conf
mongod -f /data/A/mongodb/conf/shard3.conf
mongos -f /data/A/mongodb/conf/mongos.conf

建议使用supervisor管理启动mongodb

参考：mongodb3.4集群部署

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......