`

征服 Mongodb 之 主从复制&集群复制

阅读更多

廉颇老矣,尚可饭否?然也!

Mongodb的研究总是断断续续,需要持续经营,将其积累,为日后的工作提供参考。

年底了,把今年用到的东西做个收敛。把这个年初就写了点的东西再好好收拾收拾。

今天尝试一把复制集群ReplicateSet模式,做个小总结,后续在这个帖子上不断填充。

 

集群配置相关链接:

征服 Mongodb 之 安装与系统服务配置

征服 Mongodb 之 主从复制&集群复制

 

基本操作相关链接:

征服 Mongodb 之 常用命令、基本数据类型  

征服 Mongodb 之 Modifier初识

征服 Mongodb 之 Modifier增强

征服 Mongodb 之 CRUD

 

一、主从复制

一般数据库都会用到这种最通用的模式——主从模式。这种方式简单灵活,可用于备份、故障恢复,读扩展。为了平衡负载,一般通过读写分离模式,即主库写、从库读。

 

 

假设我们有两台MongoDB服务器,10.11.20.140和10.11.20.139。如果要配置主从复制,可参考如下实现:

 

Master(10.11.20.140):

 

port = 27017
dbpath = /data/db
logpath = /var/log/mongodb.log
logappend = true 
journal = true
pidfile = /var/run/mongodb.pid
fork = true
master = true

  

注意:

master=true

 

Slave(10.11.20.139):

 

port=27017
dbpath = /data/db
logpath = /var/log/mongodb.log
logappend = true 
journal = true
fork = true
slave = true
source = 10.11.20.140:27017

  

 注意:

slave=true

source=10.11.20.140:27017

上述配置,即可完成Master-Slave

 

简单测试下,在Master(10.11.20.140)上写数据,在Slave(10.11.20.139)上读出。

Master写入:

 

mongo 10.11.20.140:27017
MongoDB shell version: 2.0.7
connecting to: 10.11.20.140:27017/test
> db.test.save( { a: 1 } )

 

Slave 读出:

 

mongo 10.11.20.139:27017
MongoDB shell version: 2.0.7
connecting to: 10.11.20.139:27017/test
> db.test.find()
{ "_id" : ObjectId("502cccaf2d44738c3b181391"), "a" : 1 }
>

 

 完成主从同步!

 

   注意:如果这是配置了“auth = false”,主从同步可能失败。

 

二、集群复制

主从复制虽然可以承受一定的负载压力,但这种方式仍然是一个单点,如果主库挂了,数据写入就成了风险。如果,当主库挂掉的时候,可以在访问ip不变的前提下,自动将从库作为主库使用,是不是就能避免这种风险?貌似这又涉及到Linux上的服务KeepAlive等等。

在Mongodb中,提供了一种优于主从模式的集群复制(ReplicateSet)。最理想的模式是,节点之间不分特定的主从。任何一个节点都可以是主节点primary,而其他节点都是secondary,甚至可以通过投票方式选出主节点。

一般的集群复制,可以是如下这个结构:


  

假设我们拥有3台Mongodb,192.168.158.130、192.168.158.131192.168.158.132。我们希望这3台Mongodb能够构建ReplicateSet模式,可以依照如下操作实现:

1. 配置副本集

假设我们这里的副本集定为snowolf,需要在mongodb配置文件中进行如下配置:

replSet = snowolf

   然后,我们启动这两台Mongodb,查看状态。

$ mongo 192.168.158.130
MongoDB shell version: 2.0.4
connecting to: 192.168.158.130/test
> rs.status()
{
        "startupStatus" : 3,
        "info" : "run rs.initiate(...) if not yet done for the set",
        "errmsg" : "can't get local.system.replset config from self or any seed (EMPTYCONFIG)",
        "ok" : 0
}
> 

    这时候,复制集群还没有达到可用,需要进一步配置。

2. 配置成员

   这里可以在任一节点进行,通过rs.initiate(cfg)完成配置。

   先配置一个中间变量:

> cfg={_id:'snowolf',members:[ 
... {_id:0,host:'192.168.158.130:27017'},
... {_id:1,host:'192.168.158.131:27017'}]
... }
{
        "_id" : "snowolf",
        "members" : [
                {
                        "_id" : 0,
                        "host" : "192.168.158.130:27017"
                },
                {
                        "_id" : 1,
                        "host" : "192.168.158.131:27017"
                }
        ]
}

 接下来,需要让配置生效:

> rs.initiate(cfg)
{
        "info" : "Config now saved locally.  Should come online in about a minute.",
        "ok" : 1
}

如果如上所示,说明配置成功。

这时候,再看看当前的状态:

> rs.status()
{
        "set" : "snowolf",
        "date" : ISODate("2013-11-14T08:33:58Z"),
        "myState" : 1,
        "members" : [
                {
                        "_id" : 0,
                        "name" : "192.168.158.130:27017",
                        "health" : 1,
                        "state" : 1,
                        "stateStr" : "PRIMARY",
                        "optime" : {
                                "t" : 1384417894000,
                                "i" : 1
                        },
                        "optimeDate" : ISODate("2013-11-14T08:31:34Z"),
                        "self" : true
                },
                {
                        "_id" : 1,
                        "name" : "192.168.158.131:27017",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        "uptime" : 137,
                        "optime" : {
                                "t" : 1384417894000,
                                "i" : 1
                        },
                        "optimeDate" : ISODate("2013-11-14T08:31:34Z"),
                        "lastHeartbeat" : ISODate("2013-11-14T08:33:57Z"),
                        "pingMs" : 348
                }
        ],
        "ok" : 1
}

 我们在一开始,并没有强制设定哪个IP是primary节点,哪个是secondary节点。这完全由Mongodb集群来决定。

这时在命令行下,提示符也发生了变化。

Primary节点:

PRIMARY> 

Secondary节点:

SECONDARY> 

别急,这时候还没有大功告成,如果直接在secondary上操作,会发生如下错误:

SECONDARY> db.t.find()
error: { "$err" : "not master and slaveok=false", "code" : 13435 }

需要告知Mongodb集群,从哪台机器上进行读操作:

SECONDARY> rs.slaveOk()
not master and slaveok=false

 这时就不会有刚才的错误了。

测试:

在primary节点写入操作:

PRIMARY> db.t.insert({uid:12345})
PRIMARY> db.t.find()
{ "_id" : ObjectId("52848f782c6dd18b00fdf65d"), "uid" : 12345 }

 在secondary节点读操作:

SECONDARY> db.t.find()
{ "_id" : ObjectId("52848f782c6dd18b00fdf65d"), "uid" : 12345 }

 

似乎大功告成,如果这时候我们把primary节点停掉,在secondary节点执行写操作,就会发生如下错误提示:

SECONDARY> db.t.insert({uid:12345})
not master

 如果只有2台Mongodb,配置复制集群还不够安全,需要1个外在角色调整各个节点的角色。



  这些节点包括:

  1. statndard 常规节点,存储一份完整的数据副本,参与投票,可以成为活跃节点,即primary节点
  2. passive 只做存储,参与投票
  3. arbiter 仲裁者只投票,不复制数据,也不能成为活跃节点

当Primary宕掉后,可以通过Arbiter在Secodarys中选举一个Primary节点,避免单点故障。

 

现在,我们可以增加一个仲裁节点,只负责仲裁,不做数据存储。

PRIMARY> rs.addArb("192.168.158.132:27017")
{ "ok" : 1 }

 仲裁节点命令行提示:

 

ARBITER> 
  

这时候,再看各个节点的状态,也发生了变化:

PRIMARY> rs.status()
{
        "set" : "snowolf",
        "date" : ISODate("2013-11-14T09:07:39Z"),
        "myState" : 1,
        "members" : [
                {
                        "_id" : 0,
                        "name" : "192.168.158.130:27017",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        "uptime" : 390,
                        "optime" : {
                                "t" : 1384420036000,
                                "i" : 1
                        },
                        "optimeDate" : ISODate("2013-11-14T09:07:16Z"),
                        "lastHeartbeat" : ISODate("2013-11-14T09:07:39Z"),
                        "pingMs" : 1
                },
                {
                        "_id" : 1,
                        "name" : "192.168.158.131:27017",
                        "health" : 1,
                        "state" : 1,
                        "stateStr" : "PRIMARY",
                        "optime" : {
                                "t" : 1384420036000,
                                "i" : 1
                        },
                        "optimeDate" : ISODate("2013-11-14T09:07:16Z"),
                        "self" : true
                },
                {
                        "_id" : 2,
                        "name" : "192.168.158.132:27017",
                        "health" : 1,
                        "state" : 7,
                        "stateStr" : "ARBITER",
                        "uptime" : 23,
                        "optime" : {
                                "t" : 1384419192000,
                                "i" : 1
                        },
                        "optimeDate" : ISODate("2013-11-14T08:53:12Z"),
                        "lastHeartbeat" : ISODate("2013-11-14T09:07:38Z"),
                        "pingMs" : 295147904
                }
        ],
        "ok" : 1
}

 如果这时候,我们把primary节点停掉,是否还会影响集群的稳定性?

由于存在arbiter节点,如果primary节点宕掉,剩余的secondary会被选为primary节点,继续提供服务。酷

 

至此,主从复制、集群复制完成配置。

 

疑问,这个小集群里,是如何判断谁是Master节点、Primary节点呢?

对比三个节点对自身节点性质的判断:

Primary:

 

PRIMARY> db.isMaster()
{
        "setName" : "snowolf",
        "ismaster" : true,
        "secondary" : false,
        "hosts" : [
                "192.168.158.130:27017",
                "192.168.158.131:27017"
        ],
        "arbiters" : [
                "192.168.158.132:27017"
        ],
        "primary" : "192.168.158.130:27017",
        "me" : "192.168.158.130:27017",
        "maxBsonObjectSize" : 16777216,
        "ok" : 1
}
Secondary:

 

SECONDARY> db.isMaster()
{
        "setName" : "snowolf",
        "ismaster" : false,
        "secondary" : true,
        "hosts" : [
                "192.168.158.131:27017",
                "192.168.158.130:27017"
        ],
        "arbiters" : [
                "192.168.158.132:27017"
        ],
        "primary" : "192.168.158.130:27017",
        "me" : "192.168.158.131:27017",
        "maxBsonObjectSize" : 16777216,
        "ok" : 1
}

 Arbiter:

ARBITER> db.isMaster()
{
        "setName" : "snowolf",
        "ismaster" : false,
        "secondary" : false,
        "hosts" : [
                "192.168.158.131:27017",
                "192.168.158.130:27017"
        ],
        "arbiters" : [
                "192.168.158.132:27017"
        ],
        "primary" : "192.168.158.130:27017",
        "arbiterOnly" : true,
        "me" : "192.168.158.132:27017",
        "maxBsonObjectSize" : 16777216,
        "ok" : 1
}

 

我想,大家应该看明白了。酷访问任意节点,都可以找到活跃节点的IP。

 

集群配置相关链接:

征服 Mongodb 之 安装与系统服务配置

征服 Mongodb 之 主从复制&集群复制

 

基本操作相关链接:

征服 Mongodb 之 常用命令、基本数据类型  

征服 Mongodb 之 Modifier初识

征服 Mongodb 之 Modifier增强

征服 Mongodb 之 CRUD

  • 大小: 26.1 KB
  • 大小: 34.5 KB
  • 大小: 31 KB
3
0
分享到:
评论
3 楼 IT_LDB 2014-07-12  
     楼主分析的很好,点个赞,收——藏了。
2 楼 liyonghui160com 2014-06-23  
还有一种模式sharding模式
1 楼 wyzxzws 2013-11-15  
mongodb新手关注

相关推荐

    ysoserial-master.zip

    ysoserial是一个用于生成利用不安全的Java对象反序列化的有效负载的概念验证工具。它包含一系列在常见Java库中发现的"gadget chains",可以在特定条件下利用执行不安全的反序列化操作的Java应用程序。ysoserial项目最初在2015年AppSecCali会议上提出,包含针对Apache Commons Collections(3.x和4.x版本)、Spring Beans/Core(4.x版本)和Groovy(2.3.x版本)的利用链

    zigbee CC2530无线自组网协议栈系统代码实现协调器与终端的TI Sensor实验和Monitor使用.zip

    1、嵌入式物联网单片机项目开发例程,简单、方便、好用,节省开发时间。 2、代码使用IAR软件开发,当前在CC2530上运行,如果是其他型号芯片,请自行移植。 3、软件下载时,请注意接上硬件,并确认烧录器连接正常。 4、有偿指导v:wulianjishu666; 5、如果接入其他传感器,请查看账号发布的其他资料。 6、单片机与模块的接线,在代码当中均有定义,请自行对照。 7、若硬件有差异,请根据自身情况调整代码,程序仅供参考学习。 8、代码有注释说明,请耐心阅读。 9、例程具有一定专业性,非专业人士请谨慎操作。

    YOLO算法-自卸卡车-挖掘机-轮式装载机数据集-2644张图像带标签-自卸卡车-挖掘机-轮式装载机.zip

    YOLO系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,包含数据集配置文件data.yaml,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中,文件名末尾是部分类别名称; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值; 【注】可以下拉页面,在资源详情处查看标签具体内容;

    Oracle10gDBA学习手册中文PDF清晰版最新版本

    **Oracle 10g DBA学习手册:安装Oracle和构建数据库** **目的:** 本章节旨在指导您完成Oracle数据库软件的安装和数据库的创建。您将通过Oracle Universal Installer (OUI)了解软件安装过程,并学习如何利用Database Configuration Assistant (DBCA)创建附加数据库。 **主题概览:** 1. 利用Oracle Universal Installer (OUI)安装软件 2. 利用Database Configuration Assistant (DBCA)创建数据库 **第2章:Oracle软件的安装与数据库构建** **Oracle Universal Installer (OUI)的运用:** Oracle Universal Installer (OUI)是一个图形用户界面(GUI)工具,它允许您查看、安装和卸载机器上的Oracle软件。通过OUI,您可以轻松地管理Oracle软件的安装和维护。 **安装步骤:** 以下是使用OUI安装Oracle软件并创建数据库的具体步骤:

    消防验收过程服务--现场记录表.doc

    消防验收过程服务--现场记录表.doc

    (4655036)数据库 管理与应用 期末考试题 数据库试题

    数据库管理\09-10年第1学期数据库期末考试试卷A(改卷参考).doc。内容来源于网络分享,如有侵权请联系我删除。另外如果没有积分的同学需要下载,请私信我。

    YOLO算法-瓶纸盒合并数据集-3161张图像带标签-纸张-纸箱-瓶子.zip

    YOLO系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,包含数据集配置文件data.yaml,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中,文件名末尾是部分类别名称; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值; 【注】可以下拉页面,在资源详情处查看标签具体内容;

    职业暴露后的处理流程.docx

    职业暴露后的处理流程.docx

    Java Web开发短消息系统

    Java Web开发短消息系统

    java毕设项目之ssm基于java和mysql的多角色学生管理系统+jsp(完整前后端+说明文档+mysql+lw).zip

    项目包含完整前后端源码和数据库文件 环境说明: 开发语言:Java 框架:ssm,mybatis JDK版本:JDK1.8 数据库:mysql 5.7 数据库工具:Navicat11 开发软件:eclipse/idea Maven包:Maven3.3 服务器:tomcat7

    批量导出多项目核心目录工具

    这是一款可以配置过滤目录及过滤的文件后缀的工具,并且支持多个项目同时输出导出,并过滤指定不需要导出的目录及文件后缀。 导出后将会保留原有的路径,并在新的文件夹中体现。

    【图像压缩】基于matlab GUI DCT图像压缩(含MAX MED MIN NONE)【含Matlab源码 9946期】.zip

    Matlab领域上传的视频均有对应的完整代码,皆可运行,亲测可用,适合小白; 1、代码压缩包内容 主函数:main.m; 调用函数:其他m文件;无需运行 运行结果效果图; 2、代码运行版本 Matlab 2019b;若运行有误,根据提示修改;若不会,私信博主; 3、运行操作步骤 步骤一:将所有文件放到Matlab的当前文件夹中; 步骤二:双击打开main.m文件; 步骤三:点击运行,等程序运行完得到结果; 4、仿真咨询 如需其他服务,可私信博主; 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作

    YOLO算法-挖掘机与火焰数据集-7735张图像带标签-挖掘机.zip

    YOLO算法-挖掘机与火焰数据集-7735张图像带标签-挖掘机.zip

    操作系统实验 Ucore lab5

    操作系统实验 Ucore lab5

    IMG_5950.jpg

    IMG_5950.jpg

    竞选报价评分表.docx

    竞选报价评分表.docx

    java系统,mysql、springboot等框架

    java系统,mysql、springboot等框架

    zigbee CC2530网关+4节点无线通讯实现温湿度、光敏、LED、继电器等传感节点数据的采集上传,网关通过ESP8266上传远程服务器及下发控制.zip

    1、嵌入式物联网单片机项目开发例程,简单、方便、好用,节省开发时间。 2、代码使用IAR软件开发,当前在CC2530上运行,如果是其他型号芯片,请自行移植。 3、软件下载时,请注意接上硬件,并确认烧录器连接正常。 4、有偿指导v:wulianjishu666; 5、如果接入其他传感器,请查看账号发布的其他资料。 6、单片机与模块的接线,在代码当中均有定义,请自行对照。 7、若硬件有差异,请根据自身情况调整代码,程序仅供参考学习。 8、代码有注释说明,请耐心阅读。 9、例程具有一定专业性,非专业人士请谨慎操作。

    YOLO算法-快递衣物数据集-496张图像带标签.zip

    YOLO系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,包含数据集配置文件data.yaml,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中,文件名末尾是部分类别名称; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值; 【注】可以下拉页面,在资源详情处查看标签具体内容;

    搜索引擎lucen的相关介绍 从事搜索行业程序研发、人工智能、存储等技术人员和企业

    内容概要:本文详细讲解了搜索引擎的基础原理,特别是索引机制、优化 like 前缀模糊查询的方法、建立索引的标准以及针对中文的分词处理。文章进一步深入探讨了Lucene,包括它的使用场景、特性、框架结构、Maven引入方法,尤其是Analyzer及其TokenStream的实现细节,以及自定义Analyzer的具体步骤和示例代码。 适合人群:数据库管理员、后端开发者以及希望深入了解搜索引擎底层实现的技术人员。 使用场景及目标:适用于那些需要优化数据库查询性能、实施或改进搜索引擎技术的场景。主要目标在于提高数据库的访问效率,实现高效的数据检索。 阅读建议:由于文章涉及大量的技术术语和实现细节,建议在阅读过程中对照实际开发项目,结合示例代码进行实践操作,有助于更好地理解和吸收知识点。

Global site tag (gtag.js) - Google Analytics