搭建高可用mongodb集群（副本集）

先提出以下几个问题：

主节点挂了能否自动切换连接？目前需要手工切换。
主节点的读写压力过大如何解决？
从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？
数据压力大到机器支撑不了的时候能否做到自动扩展？

这篇文章看完这些问题就可以搞定了。NoSQL的产生就是为了解决大数据量、高扩展性、高性能、灵活数据模型、高可用性。但是光通过主从模式的架构远远达不到上面几点，由此MongoDB设计了副本集和分片的功能。这篇文章主要介绍副本集：

mongoDB官方已经不建议使用主从模式了，替代方案是采用副本集的模式，点击查看，如图：

那什么是副本集呢？打魔兽世界总说打副本，其实这两个概念差不多一个意思。游戏里的副本是指玩家集中在高峰时间去一个场景打怪，会出现玩家暴多怪物少的情况，游戏开发商为了保证玩家的体验度，就为每一批玩家单独开放一个同样的空间同样的数量的怪物，这一个复制的场景就是一个副本，不管有多少个玩家各自在各自的副本里玩不会互相影响。 mongoDB的副本也是这个，主从模式其实就是一个单副本的应用，没有很好的扩展性和容错性。而副本集具有多个副本保证了容错性，就算一个副本挂掉了还有很多副本存在，并且解决了上面第一个问题“主节点挂掉了，整个集群内会自动切换”。难怪mongoDB官方推荐使用这种模式。我们来看看mongoDB副本集的架构图：

由图可以看到客户端连接到整个副本集，不关心具体哪一台机器是否挂掉。主服务器负责整个副本集的读写，副本集定期同步数据备份，一但主节点挂掉，副本节点就会选举一个新的主服务器，这一切对于应用服务器不需要关心。我们看一下主服务器挂掉后的架构：

副本集中的副本节点在主节点挂掉后通过心跳机制检测到后，就会在集群内发起主节点的选举机制，自动选举一位新的主服务器。看起来很牛X的样子，我们赶紧操作部署一下！
官方推荐的副本集机器数量为至少3个，那我们也按照这个数量配置测试。

1.准备两台机器

10.55.15.124、10.55.15.137、10.55.15.178。 10.55.15.124 当作副本集主节点，10.55.15.137、10.55.15.178作为副本集副本节点。

2.分别在每台机器上建立mongodb副本集测试文件夹

#存放整个mongodb文件
mkdir -p /data/mongodb/replset

#存放整个mongodb日志文件
mkdir -p /data/mongodb/replset/logs
 
#存放mongodb数据文件
mkdir -p /data/mongodb/replset/data
 
#进入mongodb文件夹
cd  /data/mongodb

3.安装mongodb

注意linux生产环境不能安装32位的mongodb，因为32位受限于操作系统最大2G的文件限制（安装步骤略）

4.分别在每台机器上启动mongodb(两种启动方式)
- 前台启动

mongod  --dbpath /data/mongodb/replset/data   --replSet replset

- 后台启动（配置文件方式）
  vim replset.conf

dbpath = /data/mongodb/replset/data/
logpath = /data/mongodb/replset/logs/replset.log
logappend = true
port = 27017 
rest = true
replSet = replset 
fork = true
oplogSize = 4000
directoryperdb = true
nohttpinterface = true
profile = 0

5.初始化副本集
在三台机器上任意一台机器登陆mongodb,这里以10.55.15.124为例

mongo 10.55.15.124:27017
 
#使用admin数据库
use admin
#定义副本集配置变量，这里的 _id:”replset” 和上面命令参数“ –replSet replset” 要保持一样。

config = { _id:"replset", members:[
... {_id:0,host:"10.55.15.137:27017"},
... {_id:1,host:"10.55.15.124:27017"},
... {_id:2,host:"10.55.15.178:27016"}]
... }

# 上面未设置优先级，优先级默认都为1，可根据服务器的配置，进行人为添加priority优先级调整
config = { _id:"replset", members:[
... {_id:0,host:"10.55.15.137:27017,priority: 100"},
... {_id:1,host:"10.55.15.124:27017,priority: 70"},
... {_id:2,host:"10.55.15.178:27016,priority: 50"}]
... }

输出：

{
        "_id" : "replset",
        "members" : [
                {
                        "_id" : 0,
                        "host" : "10.55.15.137:27017"
                },
                {
                        "_id" : 1,
                        "host" : "10.55.15.124:27017"
                },
                {
                        "_id" : 2,
                        "host" : "10.55.15.178:27016"
                }
        ]
}

6.初始化副本集配置

rs.initiate(config);

- 成功输出

{ "ok" : 1 }

- 失败输出：

{
        "ok" : 0,
        "errmsg" : "replSetInitiate quorum check failed because not all proposed set members responded affirmatively: 10.55.151.137:27017 failed with Couldn't get a connection within the time limit",
        "code" : 74,
        "codeName" : "NodeNotFound"
}

- 失败解决方案

检查防火墙，是否已放行端口或已关闭；

#RedHat/CentOS 6 查看防火墙状态
 service iptables status
#关闭防火墙
 service iptables stop 
 
# CentOS 7关闭防火墙
 systemctl stop firewalld

防火墙放过端口

vim /etc/sysconfig/iptables
# 在规则最上方加入下面两条规则
-A INPUT -p tcp --destination-port 27017 -m state --state NEW,ESTABLISHED -j ACCEPT
-A OUTPUT -p tcp --source-port 27017 -m state --state ESTABLISHED -j ACCEPT
#  重启防火墙

service iptables restart

检查是不是手贱输错ip，导致ip不在同一局域网

7.检查状态

# 查看副本状态
rs.status()

输出：

{
	"set" : "replset",
	"date" : ISODate("2017-07-27T00:55:15.505Z"),
	"myState" : 1,
	"term" : NumberLong(2),
	"heartbeatIntervalMillis" : NumberLong(2000),
	"members" : [
		{
			"_id" : 0,
			"name" : "10.55.15.137:27017",
			"health" : 1,					# 1 说明是运行正常，没有挂掉，0则说明该节点已经挂掉
			"state" : 2,
			"stateStr" : "SECONDARY",    #SECONDARY说明是副本集副本节点
			"uptime" : 566,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"lastHeartbeat" : ISODate("2017-07-27T00:55:15.081Z"),
			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:14.126Z"),
			"pingMs" : NumberLong(7),
			"syncingTo" : "10.55.15.124:27017",
			"configVersion" : 1
		},
		{
			"_id" : 1,
			"name" : "10.55.15.124:27017",
			"health" : 1,				# 1 说明是运行正常，没有挂掉，0则说明该节点已经挂掉
			"state" : 1,
			"stateStr" : "PRIMARY",     #PRIMARY说明是副本集主节点
			"uptime" : 593,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"electionTime" : Timestamp(1501116355, 1),
			"electionDate" : ISODate("2017-07-27T00:45:55Z"),
			"configVersion" : 1,
			"self" : true
		},
		{
			"_id" : 2,
			"name" : "10.55.15.178:27016",
			"health" : 1,				    # 1 说明是运行正常，没有挂掉，0则说明该节点已经挂掉
			"state" : 2,
			"stateStr" : "SECONDARY",      #SECONDARY说明是副本集副本节点
			"uptime" : 537,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"lastHeartbeat" : ISODate("2017-07-27T00:55:14.769Z"),
			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:13.643Z"),
			"pingMs" : NumberLong(2),
			"syncingTo" : "10.55.15.137:27017",
			"configVersion" : 1
		}
	],
	"ok" : 1
}

8.查看配置信息
rs.conf()

priority的优先级越高，成为主节点的概率越高，一开始我们没有指定优先级，则优先级默认都为1，可以根据服务器的配置进行一定的优先级调整(在初始化之前设置)

{
	"_id" : "replset",
	"version" : 1,
	"protocolVersion" : NumberLong(1),
	"members" : [
		{
			"_id" : 0,
			"host" : "10.55.15.137:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,   # 优先级越高，成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 1,
			"host" : "10.55.15.124:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,  # 优先级越高，成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 2,
			"host" : "10.55.15.178:27016",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,   # 优先级越高，成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		}
	],
	"settings" : {
		"chainingAllowed" : true,
		"heartbeatIntervalMillis" : 2000,
		"heartbeatTimeoutSecs" : 10,
		"electionTimeoutMillis" : 10000,
		"getLastErrorModes" : {
			
		},
		"getLastErrorDefaults" : {
			"w" : 1,
			"wtimeout" : 0
		}
	}
}

9.仲裁

在MongoDB的副本集群中，还有一个角色叫做仲裁服务器，它的特点是只参与投票选举，而不会同步数据。MongoDB的配置与其他副本节点服务器相同，同样也要保证没有数据且启用了--replSet参数。

在mongodb与spring整合，使用副本集模式时，配置文件中只需配置一个仲裁节点的ip及端口即可找到所有节点，不能配置主节点或其他副本节点

我们可以通过下面的步骤来新增一台仲裁服务器。
这里新启动了一个mongodb节点（10.55.15.124:27016），连接mongodb主节点执行如下操作

use admin
#添加仲裁节点
replset:PRIMARY>rs.addArb("10.55.15.124:27016");

# 查看状态
rs.status();

10.测试
- 测试主节点和副本节点读写

10.55.15.124:27017为主节点，可读可写

mongo 10.55.15.124:27017
replset:PRIMARY> use test
switched to db test
replset:PRIMARY> db.user.insert({name:"zml2015"})
WriteResult({ "nInserted" : 1 })
repset:PRIMARY> db.user.find()
{ "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
{ "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "zml2015" }

10.55.15.178为副本节点，只读(默认不可读，可先设置db.getMongo().setSlaveOk()，然后进行可读操作)

mongo 10.55.15.178:17016

replset:SECONDARY> use test
switched to db test

replset:SECONDARY> db.user.insert({name:"zml2015"})
WriteResult({ "writeError" : { "code" : 10107, "errmsg" : "not master" } })

# 副本节点默认也不可读
replset:SECONDARY> db.user.find().pretty();
Error: error: { "ok" : 0, "errmsg" : "not master and slaveOk=false", "code" : 13435 }
##设置slaveOk为true
db.getMongo().setSlaveOk();
replset:SECONDARY> db.user.find().pretty();
{ "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
{ "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "zml2015" }

- 模拟主节点故障

干掉10.55.15.124:27017主节点

[root@rocketmq-master1 server]# mongod --shutdown --dbpath=/data/mongodb/replset/data/
killing process with pid: 12975

干掉后，其他副本节点会说10.55.15.124连不上了
不过此时再登陆可用的这两台mongodb其中任意一台,以10.55.15.137:27017为例
查看状态

repset:PRIMARY>rs.status()

让挂掉的节点重新上线后，再查看状态

Q.E.D.

Hi,Friend

搭建高可用mongodb集群（副本集）

Windows安装mongoDB

通过pid杀死进程，然后重启服务（tomcat重启）

zml2015