`

搭建高可用MongoDB集群(一):配置MongoDB

 
阅读更多

在大数据的时代,传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。

NOSQL有这些优势:

大数据量,可以通过廉价服务器存储大量的数据,轻松摆脱传统mysql单表存储量级限制。

高扩展性,Nosql去掉了关系数据库的关系型特性,很容易横向扩展,摆脱了以往老是纵向扩展的诟病。

高性能,Nosql通过简单的key-value方式获取数据,非常快速。还有NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说就要性能高很多。

灵活的数据模型,NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。

高可用,NoSQL在不太影响性能的情况,就可以方便的实现高可用的架构。比如mongodb通过mongos、mongo分片就可以快速配置出高可用配置。

在nosql数据库里,大部分的查询都是键值对(key、value)的方式。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中最像关系数据库的。支持类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。所以这个非常方便,我们可以用sql操作MongoDB,从关系型数据库迁移过来,开发人员学习成本会大大减少。如果再对底层的sql API做一层封装,开发基本可以感觉不到mongodb和关系型数据库的区别。同样MongoDB也是号称自己能够快速搭建一个高可用可扩展的的分布式集群,网上有很多搭建的文章,在我们搭建的时候还需要查找修改很多东西,所以把自己实战的步骤记录下来以备忘。我们看看如何一步一步搭建这个东东。

一、mongodb单实例。这种配置只适合简易开发时使用,生产使用不行,因为单节点挂掉整个数据业务全挂,如下图。

mongodb1

 

虽然不能生产使用,但这个模式可以快速搭建启动,并且能够用mongodb的命令操作数据库。下面列出在linux下安装单节点mongodb的步骤

1、建立mongodb测试文件夹

1
2
3
4
5
6
7
8
#存放整个mongodb文件
mkdir -p /data/mongodbtest/single
 
#存放mongodb数据文件
mkdir -p /data/mongodbtest/single/data
 
#进入mongodb文件夹
cd  /data/mongodbtest/single

2、下载mongodb的安装程序包

1
2
3
4
5
6
7
wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.6.tgz
 
#解压下载的压缩包 
tar xvzf mongodb-linux-x86_64-2.4.6.tgz
 
#进入mongodb程序执行文件夹
cd mongodb-linux-x86_64-2.4.6/bin/

3、启动单实例mongodb

1
mongod  --dbpath /data/mongodbtest/single/data

输出日志如下,成功!

[initandlisten] db version v2.4.6
……..
[initandlisten] waiting for connections on port 27017
[websvr] admin web console waiting for connections on port 28017

mongodb默认自带提供了web访问接口,通过 IP + 端口的形式可以访问。

http://192.168.0.1:28017/

mongodb2

二、主从模式。使用mysql数据库时大家广泛用到,采用双机备份后主节点挂掉了后从节点可以接替主机继续服务。所以这种模式比单节点的高可用性要好很多。

mongodb3

下面看一下怎么一步步搭建一个mongodb的主从复制节点:

  • 1、准备两台机器 192.168.0.1 和 192.168.0.2。 192.168.0.1 当作主节点, 192.168.0.2作为从节点
  • 2、分别下载mongodb安装程序包。在192.168.0.1上建立文件夹 /data/mongodbtest/master,192.168.0.2建立文件夹/data/mongodbtest/slave
  • 3、在192.168.0.1启动mongodb主节点程序。注意后面的这个 “ –master ”参数,标示主节点。mongod –dbpath /data/mongodbtest/master –master

输出日志如下,成功!

[initandlisten] MongoDB starting : pid=18285 port=27017 dbpath=/data/mongodbtest/master master=1
#日志显示主节点参数
[initandlisten] options: { dbpath: “/data/mongodbtest/master”, master: true }
……..
[initandlisten] waiting for connections on port 27017

4、在192.168.0.2启动mongodb从节点程序。关键配置,指定主节点ip地址和端口 –source 192.168.0.1:27017 和 标示从节点 –source 参数。

mongod –dbpath /data/mongodbtest/slave –slave –source 192.168.0.1:27017

输出日志如下,成功!

[initandlisten] MongoDB starting : pid=17888 port=27017 dbpath=/data/mongodbtest/slave slave=1
……..
#日志显示从节点参数
[initandlisten] options: { dbpath: “/data/mongodbtest/slave”, slave: true, source: “192.168.0.1:27017″ }
……..
[initandlisten] waiting for connections on port 27017
#日志显示从节点 从主节点同步复制数据
[replslave] repl: from host:192.168.0.1:27017

5、测试主从复制。

在主节点上连接到终端:

1
2
3
4
5
6
7
8
9
10
11
mongo 127.0.0.1
 
#建立test 数据库。
use test;
 
往testdb表插入数据。
> db.testdb.insert({"test1":"testval1"})
 
查询testdb数据看看是否成功。
> db.testdb.find();
{ "_id" : ObjectId("5284e5cb1f4eb215b2ecc463"), "test1" : "testval1" }

可以看到主机的同步日志

[initandlisten] connection accepted from 192.168.0.2:37285 #3 (2 connections now open)
[slaveTracking] update local.slaves query: { _id: ObjectId(’5284e6268ed115d6238bdb39′), config: { host: “192.168.0.2:35271″, upgradeNeeded: true }, ns: “local.oplog.$main” } update: { $set: { syncedTo: Timestamp 1384441570000|1 } } nscanned:1 nupdated:1 fastmod:1 keyUpdates:0 locks(micros) w:132015 132ms

检查从主机的数据。

mongo 127.0.0.1

查看当前数据库。

1
2
3
4
5
6
7
> show dbs;
  local   0.203125GB
  test    0.203125GB
 
use test;
db.testdb.find();
{ "_id" : ObjectId("5284e5cb1f4eb215b2ecc463"), "test1" : "testval1" }

查询后数据已经同步过来了。再看看日志,发现从主机确实从主机同步了数据。

1
2
Thu Nov 14 23:05:13 [replslave] repl:   checkpoint applied 15 operations
Thu Nov 14 23:05:13 [replslave] repl:   syncedTo: Nov 14 23:08:10 5284e75a:1

查看服务状态

1
2
3
4
5
> db.printReplicationInfo();
          this is a slave, printing slave replication info.
          source:   192.168.0.1:27017
              syncedTo: Sun Nov 17 2013 16:04:02 GMT+0800 (CST)
                      = -54 secs ago (-0.01hrs)

到此主从结构的mongodb搭建好了。

故障转移测试,现在两台服务器如果主服务器挂掉了,从服务器可以正常运转吗?

  • a、先测试下从服务器可以当成主服务器吗,也就是往从服务器里写能够同步主服务器吗? 在192.168.0.2上连接mongodb。
1
2
3
mongo 127.0.0.1:27017
> db.testdb.insert({"test3":"testval3"});
not master
    • 可以看到 mongodb的从节点是不能提供写操作的,只能提供读操作。

b、如果从服务器挂掉,主服务器还可以提供服务。如果主服务器挂掉了从服务器能否自动变为可写。
测试一下!

先杀掉原来的mongodb主服务器。

1
kill -3 `ps -ef|grep mongod|grep -v grep|awk '{print $2}'`

测试从服务器能否可写。在192.168.0.2上连接mongodb测试。

1
2
> db.testdb.insert({"test3":"testval3"});
not master

看起来从服务器没有自动接替主服务器的功能,只有手工处理了!

停止从服务器,在原数据文件启动并添加主服务器标示。

1
mongod  --dbpath /data/mongodbtest/slave --master

等到启动成功(时间有点长)。在192.168.0.2 上 连接

1
mongo 192.168.0.2:27017

1
2
3
> db.testdb.find();
{ "_id" : ObjectId("5288629e9b0318be4b20bd4c"), "test1" : "testval1" }
{ "_id" : ObjectId("528862d69b0318be4b20bd4d"), "test2" : "testval2" }

成功!

多个从节点。现在只是一个数据库服务器又提供写又提供读,机器承载会出现瓶颈。大家还记得mysql里的读写分离吗?把20%的写放到主节点,80%的读放到从节点分摊了减少了服务器的负载。但是大部分应用都是读操作带来的压力,一个从节点压力负载不了,可以把一个从节点变成多个节点。那mongodb的一主多从可以支持吗?答案是肯定的。

mongodb4

 

为了方便测试,在192.168.0.2上再建立一个文件夹 /data/mongodbtest/slave1 作为另一个slave服务器。
启动slave2服务,

1
mongod  --dbpath /data/mongodbtest/slave1 --slave  --port 27017 --source 192.168.0.1:27017。

成功启动后通过mongodb连接测试:

1
2
3
> db.testdb.find();
{ "_id" : ObjectId("5288629e9b0318be4b20bd4c"), "test1" : "testval1" }
{ "_id" : ObjectId("528862d69b0318be4b20bd4d"), "test2" : "testval2" }

搭建了这套主从复制系统是不是就很稳健了,其实不然。。。看看这几个问题?

  • 主节点挂了能否自动切换连接?目前需要手工切换。
  • 主节点的写压力过大如何解决?
  • 从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大?
  • 就算对从节点路由实施路由访问策略能否做到自动扩展?
分享到:
评论

相关推荐

    高可用mongodb集群搭建

    ### 高可用MongoDB集群搭建知识点详解 #### 一、MongoDB概述 ##### 1.1 简介 MongoDB是一款用C++语言编写的开源文档型数据库管理系统,它结合了面向文档的数据模型和可扩展性,适用于处理大规模数据。MongoDB的...

    mongodb高可用完全分布集群搭建

    mongodb集群搭建完成后,需要进行数据库测试和使用,以便验证mongodb的高可用性和高性能。 读和写的分离 mongodb的读和写操作需要分离,以便提高mongodb的高性能和高可用性。 mongodb高可用完全分布集群的搭建...

    高可用的MongoDB集群

    #### 四、搭建高可用MongoDB集群 ##### 4.1 环境准备 为了搭建高可用的MongoDB集群,我们需要准备以下环境: - **Shard服务器**:使用ReplicaSets确保每个数据节点都具有备份、自动容错转移、自动恢复的能力。 - ...

    spring+mongodb集群搭建Demo

    MongoDB集群提供了高可用性和水平扩展性,它由多个组件组成,包括 mongod(数据库进程)、mongos(路由服务)和config servers(配置服务器)。在单个实例模式下,我们只需要运行一个mongod进程,但在集群模式下,...

    使用+StatefulSet+搭建+MongoDB+集群.doc

    通过以上步骤,我们可以成功地使用 Kubernetes 的 StatefulSet 创建一个高可用、无单点故障的 MongoDB 集群。这种方式不仅简化了部署流程,还便于管理和扩展,是现代化云环境中运行 MongoDB 的理想选择。

    mongodb集群搭建教程

    ### MongoDB集群搭建教程 #### 一、主从模式详解 **主从模式**是MongoDB中最常见的复制方式之一,主要用于实现数据库同步备份、故障恢复以及读取扩展等功能。该模式的核心在于建立一个主节点和一个或多个从节点,...

    Win10 64位+mongodb集群搭建

    至此,你已成功在Windows 10 64位系统上搭建了一个MongoDB集群。了解这些基础知识后,你可以进一步探索复制集的选举机制、故障恢复、性能调优以及如何添加更多节点以扩展集群。在实际生产环境中,还应考虑设置安全...

    搭建Nosql MongoDB高可用集群

    MongoDB提供了一种快速配置高可用架构的方式,通过使用mongos作为查询路由器,以及分片技术,MongoDB可以迅速搭建出一个高可用的集群系统。此外,MongoDB支持主从复制模式,进一步提高了数据的安全性和可用性。在...

    搭建高可用mongodb集群(四)——分片

    按照上一节中深入副本集搭建后还有两个问题没有解决:从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大;数据压力大到机器支撑不了的时候能否做到自动扩展?在系统早期,数据量还小的时候不会引起太...

    centos7+mongodb 3.4 集群搭建:分片+副本集

    在生产环境中,通常会部署多个mongos实例,以防止单点故障影响整个MongoDB集群的服务可用性。 #### 2. configserver configserver是配置服务器,负责存储数据库元信息,包括路由和分片信息。mongos没有物理存储分片...

    单台windows搭建mongoDb主从集群

    在Windows环境中,搭建MongoDB的主从复制集群是一项常见的任务,以实现数据冗余和高可用性。以下是关于"单台windows搭建mongoDb主从集群"的知识点详细说明: 1. **主从复制(Replication)**: MongoDB的主从复制是...

    MongoDB权威指南:MongoDB:The Definitive Guide

    MongoDB是一种流行的开源文档型数据库,它以其灵活性、可扩展性和高性能在现代数据存储解决方案中占据了一席之地。《MongoDB权威指南》是学习和掌握MongoDB的重要参考资料,该书涵盖了MongoDB的基础知识到高级应用,...

    MongoDB复制集集群配置文件.rar

    MongoDB是一种流行的开源、分布式文档数据库,用于处理大量的数据并提供高性能、高可用性和可扩展性。在MongoDB中,复制集和分片是两种关键的集群技术,用于实现数据冗余和水平扩展。 **复制集(Replica Sets)** ...

Global site tag (gtag.js) - Google Analytics