mongodb之集群模式
kevin.Zhu 发布于：2022-3-29 18:27 分类：文摘 有 11 人浏览，获得评论 0 条
https://www.cnblogs.com/wadeyu/p/7930608.html
前言
数据量大了或者并发量上来了，单机肯定是抗不住的，这个时候要开始考虑使用集群了。mongodb目前为止支持三种集群模式：主从集群，副本集集群，分片集群。
主从集群
特性
1. 一主多从
2. 主负责读写
3. 从负责读
4. 从通过异步同步主op日志同步主数据
5. 主挂无法自动恢复
架构图
实践
规划
一主两从
ip端口配置
主节点：127.0.0.1:27021
从节点1：127.0.0.1:27022
从节点2：127.0.0.1:27023
启动主节点
su -s /bin/bash -c "/usr/bin/mongod --master -f /etc/mongodb/27021.conf" mongod
启动从节点
su -s /bin/bash -c "/usr/bin/mongod --slave --source 127.0.0.1:27021 -f /etc/mongodb/27022.conf" mongod
su -s /bin/bash -c "/usr/bin/mongod --slave --source 127.0.0.1:27021 -f /etc/mongodb/27023.conf" mongod
设置从节点可用
use admin
rs.slaveOk()
查看是否主节点
use admin
rs.isMaster()
查看主节点复制状态信息
use admin
rs.printReplicationInfo()
查看从节点复制状态信息
use admin
rs.printSlaveReplicationInfo()
replica set集群
特性
1. n个不同类型节点组成
2. 每个节点数据相同
3. 建议至少有一个primary和两个secondary节点
4. 集群中只能有一个primary节点
5. 写请求都通过primary节点
6. 支持自动故障恢复
7. primary节点不可用时，通过投票选举从secondary节点列表中选出primary节点，因此最好节点数量是奇数
8. secondary节点从primary节点通过oplog异步方式同步数据
节点类型
primary
主节点，负责集群数据维护，所有数据更新操作都通过主节点
secondary
从节点，从主节点复制数据，提供读请求响应
arbiter
选举节点，不保存数据，只参与primary投票选举
架构图
节点属性说明
priority: 0 表示不是候选人，可以投票
hidden:true 对用户端不可见，不可见的节点priority必须设置为0
votes: 1 投票权限 0表示不能投票
实践
规划
搭建3个节点的集群，一个primary，两个secondary
ip和端口配置
host1: 127.0.0.1:27018
host2: 127.0.0.1:27019
host3: 127.0.0.1:27020
集群名: replSetTest0
启动3个事例
单个实例的配置
启动
su -s /bin/bash -c "/usr/bin/mongod -f /etc/mongodb/27018.conf" mongod
su -s /bin/bash -c "/usr/bin/mongod -f /etc/mongodb/27019.conf" mongod
su -s /bin/bash -c "/usr/bin/mongod -f /etc/mongodb/27020.conf" mongod
mongod -f /etc/mongodb/27018.conf --shutdown
集群初始化
|
1
2
3
4
5
6
7
8
9
10
11
12
|
mongo --port 27018
rs.initiate(
{
_id: "replSetTest0",
version: 1,
members: [
{ _id: 0, host : "127.0.0.1:27018" },
{ _id: 1, host : "127.0.0.1:27019" },
{ _id: 2, host : "127.0.0.1:27020" }
]
}
)
|
设置从节点可用
mongo --port 27018(填写实际的从节点地址)
rs.slaveOk()
查看集群状态
mongo --port 27018
rs.status()
查看是否primary节点
mongo --port 27018
rs.isMaster()
查看集群配置
mongo --port 27018
rs.conf()
添加节点
mongo 主节点地址
rs.add({} | host地址)
删除节点
mongo 主节点地址
删除前，建议先停止这个节点的服务
rs.remove(hostname)
更改集群配置
mongo 主节点地址
rs.reconfig({},{})
分片集群
选定一个或多个key，按照选定的key进行数据分割，分割后的数据分别保存在不同的mongodb副本集中，这个是分片的基本思路。
分片思路可以水平扩展机器，根据业务需要扩展任意多的机器。读写压力分散到集群不同的机器中。
架构图
组件
配置server
副本集集群，分片信息，用户授权信息，配置信息等都保存在这里
分片server
单个独立的mongod实例或者副本集集群，存放真实的数据
路由server
处理客户端连接请求，路由到存放数据的分片server，合并分片server的数据，返回给客户端
分片策略
支持类型
哈希分片
对分片key使用某种哈希算法，根据哈希值确定数据插入哪个分片server中
特点
数据离散性好，能均匀分布在不同的分片server中
不适合根据范围查询的情况
范围分片
对分片key的值通过范围确定存储的分片server
特点
数据离散性可能不好，可能会造成热点数据在某个分片server中
适合范围查询的情况
限制
分片key确定后不能更改
分片key必须设置索引，如果不是，设置分片key时，mongod会自动创建
原则
1. 选择值多样性的key，尽可能分散，避免数据文档集中到某些分片server中
2. 考虑以后是否会数据分组，数据分组时分组key需要是分片key或者分片组合key的前缀
3. 选择合适的分片类型，不同的分片类型适用的场景不一样
4. 当必须选择值重复频率高的key时，可以考虑选择组合key
实践
规划
考虑到只是实践使用，配置server副本集只用一台，分片server副本集也只用一台
1台配置server： 127.0.0.1:27024(副本集集群，集群名:shardClusterCfgServerReplSet0)
1台路由server： 127.0.0.1:27025
2台分片server：127.0.0.1:27026(副本集集群，集群名:shardClusterShardServerReplSet0)，127.0.0.1:27027(副本集集群，集群名:shardClusterShardServerReplSet1)
启动配置server
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
sharding:
clusterRole: configsvr
replication:
replSetName: shardClusterCfgServerReplSet0
su -s /bin/bash -c "/usr/bin/mongod -f /etc/mongodb/27024.conf" mongod
rs.initiate(
{
_id: "shardClusterCfgServerReplSet0",
configsvr: true,
members: [
{ _id : 0, host : "127.0.0.1:27024" }
]
}
)
|
启动分片server
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
sharding:
clusterRole: shardsvr
replication:
replSetName: shardClusterShardServerReplSet0
su -s /bin/bash -c "/usr/bin/mongod -f /etc/mongodb/27026.conf" mongod
su -s /bin/bash -c "/usr/bin/mongod -f /etc/mongodb/27027.conf" mongod
rs.initiate(
{
_id: "shardClusterShardServerReplSet1",
members: [
{ _id : 0, host : "127.0.0.1:27027" }
]
}
)
|
启动路由server
su -s /bin/bash -c "/usr/bin/mongos -f /etc/mongodb/27025.conf" mongod
增加或者移除分片最好停服操作，减少数据不一致的可能性
使用配置server用户登录mongos进行操作
添加分片server
添加分片操作会触发数据迁移，迁移过程中对数据库性能会有些影响
sh.addShard("shardClusterShardServerReplSet0/127.0.0.1:27026")
sh.addShard("shardClusterShardServerReplSet1/127.0.0.1:27027")
开启数据库分片
sh.enableSharding("test")
设置集合分片key
sh.shardCollection("test.people",{_id:1})
移除分片server
移除分片server前需要先迁移分区数据到其它分片，为了保证整个集群性能，迁移过程中会占用比较小的资源，网络带宽和数据量大小会影响迁移时间，
可能需要几分钟到几天不等
移除步骤
step1 确定迁移进程开启
sh.getBalancerState()
返回true表示开启
step2 确定需要删除分片的名字
db.adminCommand( { listShards : 1 } )
_id字段值为分片名称
step3 迁移分片数据到其它分片
db.adminCommand({removeShard:"shardClusterShardServerReplSet1"})
|
1
2
3
4
5
6
7
8
9
10
|
{
"msg" : "draining started successfully",
"state" : "started",
"shard" : "shardClusterShardServerReplSet1",
"note" : "you need to drop or movePrimary these databases",
"dbsToMove" : [
"test"
],
"ok" : 1
}
|
step4 查看迁移状态
db.adminCommand({removeShard:"shardClusterShardServerReplSet1"})
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
{
"msg" : "draining ongoing",
"state" : "ongoing",
"remaining" : {
"chunks" : NumberLong(0),
"dbs" : NumberLong(1)
},
"note" : "you need to drop or movePrimary these databases",
"dbsToMove" : [
"test"
],
"ok" : 1
}
|
step5 迁移未分片的数据
分片数据迁移完成后执行
返回的状态列表字段remaining.chunks为0时表示迁移完成
如果没有未分片的数据库，不需要执行这个步骤
返回的状态列表有一个字段dbsToMove，这个字段的内容为需要迁移的未分片的数据库，不为空时需要执行迁移操作
use admin
db.runCommand({movePrimary:"test", to:"shardClusterShardServerReplSet0"})
db.runCommand({flushRouterConfig:1})
step6 数据迁移完成确认
前面步骤都执行完成后执行
db.adminCommand({removeShard:"shardClusterShardServerReplSet1"})
|
1
2
3
4
5
6
|
{
"msg" : "removeshard completed successfully",
"state" : "completed",
"shard" : "shardClusterShardServerReplSet1",
"ok" : 1
}
|
集群相关操作
连接mongos
mongo --host mongos_host --port mongos_port
查看状态
sh.status()
显示开启分区的数据库
use config
db.databases.find({partitioned:true})
显示分片server列表
db.adminCommand( { listShards : 1 } )
查看数据迁移进程状态
sh.getBalancerState()
备注
1. 第一次初始化时禁用权限判断，添加好用户之后再开启
2. 增删改只能在主节点操作
3. 集群使用的密码不能超过1K且只能是base64编码字符集
4. keyFile文件权限不能开放给所在组成员和其他组成员
5. 生成随机密码：openssl rand -base64 741