MongoDB的Sharding机制解决了海量存储和动态扩容的问题,但离生产环境的高可靠,高可用还有距离,Sharding在单点出现故障时就无能为力了。但是MongoDB的副本集却可以很轻松的处理单点故障,所以就有了Replica Sets + Sharding的高可用,高安全的架构。
架构如下:
1,shard服务器:使用Replica Sets确保每个数据节点都具有备份、自动容错转移、自动恢复的能力。
2,配置服务器:使用使用3个配置服务器确保元数据完整性
3,路由进程:使用3个路由进程实现平衡,提高客户端接入性能,架构如下
3个分片进程:shard11,shard12,shard13组成一个副本集,提供Sharding中shard1的功能。
3个分片进程:shard21,shard22,shard23组成一个副本集,提供Sharding中shard2的功能。
3个配置服务器进程和3个路由器进程
--------------------------------------------------------------------------------------------
现在我们开始搭建整个架构(因为没那么多机器,我还是用本地的目录来模拟机器)
主机 | ip | 服务及端口 |
ServerA mongodb1 mongodb2 mongodb3 mongodb4 |
127.0.0.1 |
mongod shard11:10000 mongod shard21:20000 mongod config 1:30000 mongos :40000 |
ServerB mongodb5 mongodb6 mongodb7 mongodb4 |
127.0.0.1 |
mongod shard12:10001 mongod shard22:20001 mongod config 2:30001 mongos :40000 |
ServerC mongodb9 mongodb8 mongodb11 mongodb4 |
127.0.0.1 |
mongod shard13:10002 mongod shard23:20002 mongod config 3:30002 mongos :40000 |
1,启动Shard1进程并配置Replica Sets
启动mongod shard11进程,副本集名称:shard1
启动mongod shard12进程,并设置副本集:shard1
启动mongod shard13进程,并设置副本集:shard1
把这三个进程配置成副本集,新开一个cmd,用来执行各种非启动命令,连接到上面三个进程中的任何一个,把他们配置成副本集,操作如下
2,启动Shard2进程并配置Replica Sets
启动mongod shard21进程,副本集名称:shard2
启动mongod shard22进程,并设置副本集:shard2
启动mongod shard23进程,并设置副本集:shard2
把这三个进程配置成副本集,操作如下
到此两个副本集够成的分片已经配置完成,下面配置Config server和Route process
3,配置3个Config Server
4配置Route Process
chunk大小为1M,方便我们测试效果。
5配置分片的表和片键
我用的还是Friends库中的FriendUser表来做分片,片键是_id,因为cmd宽度太小了添加分片的命令显示不完全,我手动把他们列出来
添加分片
db.runCommand({addshard:"shard1/127.0.0.1:10000,127.0.0.1:10001,127.0.0.1:10002"})
db.runCommand({addshard:"shard2/127.0.0.1:20000,127.0.0.1:20001,127.0.0.1:20002"})
到此整个构架已经配置完成了,我们来验证下配置的情况,我通过客户端添加10000条数据到数据库中
可以看到分片已经执行。
------------------------------------------------------------------------------------------------
现在做下容灾的测试,我停掉shard11,看看结果会如何。
打开shard11的 cmd窗口,Ctrl+C停止进程
查看下状态
状态完好,我在插入20000条数据,看看效果
可以看到依然可以运行。
这里会出现这种情况:当有三台机器做副本集的时候,只能是一太服务器当掉,当有两台当掉的时候,第三台不能由从库变为主库。
这里应该注意副本集的选举规则: 当主库当掉时,次节点将触发选举。 收到副本集大多数成员投票的第一个节点将成为主节点。副本集选举最重要的功能是副本集的大多数原始成员节点必须参与选举才能成功。如果您的副本集包含三个 成员,有两个或三个节点可以相互连接时该副本集可选出一个主节点。如果该副本集中有两个节点脱机,则剩余的一个节点仍将作为次节点。
转自 http://www.cnblogs.com/spnt/archive/2012/07/26/2610070.html
相关推荐
MongoDB的Replica Sets+Sharding架构是大数据时代下应对高可用性和可扩展性需求的重要解决方案。本篇文章将深入探讨这两个关键特性在Windows环境下的应用。 **副本集(Replica Sets)** MongoDB的副本集是一种高可用...
在大型分布式系统中,为了实现高可用性和水平扩展,MongoDB提供了两种关键特性:副本集(Replica Sets)和分片(Sharding)。这篇博客将探讨如何搭建MongoDB的副本集和分片集群。 首先,我们来理解一下MongoDB的...
本文所涉及的核心知识点是MongoDB的分布式架构,包括复制集(ReplicaSets)和分片(Sharding)的混合使用。复制集负责数据的冗余存储,以实现高可用性和故障转移;分片则允许数据跨多个服务器分布存储,以实现数据量...
MongoDB的分布式架构主要由Replica Sets复制集、Sharding分片架构和两者的混合使用三种方式构成。本文档将聚焦在Replica Sets复制集的实现机制与使用方法,通过图文并茂的方式介绍MongoDB复制集的搭建、主从复制、...
- **Replica Sets**:副本集,是MongoDB的高可用性解决方案,每个副本集由一个主节点(Primary)和多个副本节点(Secondary)组成,还可以有一个仲裁节点(Arbiter)来协助进行投票和故障转移。 - **Sharding**:分...
MongoDB 采用的是主从复制(Replica Sets)和分片(Sharding)两种方式来实现高可用性和水平扩展。主从复制主要用于数据冗余和故障恢复,而分片则用于在多台服务器之间分配数据,以处理大规模的数据存储和查询需求。...
- **复制集(Replica Sets)**:提供高可用性和数据冗余。 - **自动故障切换**:当主节点故障时,复制集会自动选择新的主节点。 - **强大的查询语言**:支持丰富的查询表达式和聚合框架。 - **地理空间索引**:...
它的ReplicaSets功能可以实现数据集复制,读写分离,故障转移,以及动态地增减节点。通过数据分片(Sharding)功能,MongoDB能够突破单点数据库服务器I/O能力的局限,解决数据库水平扩展的问题。MongoDB还支持...
- **高可用性**:支持复制集(replica sets),可以自动故障转移,确保数据的高可用性和持久性。 - **易于开发**:文档存储模型与现代编程语言中的数据结构相似,使得开发人员可以更直观地操作数据。 - **高性能**:...
3. **MongoDB** 部分:可能涉及MongoDB的安装与配置、数据模型、查询操作、更新与删除、索引创建、备份与恢复、性能优化、Replica Sets和Sharding等高级主题。 对于准备面试的人来说,这个资源将提供全面的技术复习...
在部署高可用MongoDB集群时,我们通常采用Replica Sets(副本集)配合Sharding(分片)的方式来实现。 Replica Sets是MongoDB中的一个特性,它允许数据在多个服务器实例中进行复制。副本集中的每个节点都会持有相同...
MongoDB的分布式分片群集(Sharding Cluster)是一种针对大数据量场景的高效扩展解决方案。在MongoDB中,分片(Sharding)是通过将数据分布在多台服务器上来实现水平扩展,以处理海量数据和高并发请求。这种架构通常...
2. 配置 Replica Sets:配置 shard1 和 shard2 的 Replica Sets。 3. 配置 Config Server:配置 Config Server,以便存储整个 Cluster 的元数据。 4. 配置 Route Server:配置 Route Server,以便将客户端路由到对应...
You will also learn how to implement the core administration tasks required for high-availability and scalability, achieved through replica sets and sharding, respectively. You will also implement ...
进阶篇会讲解数据库设计、索引优化、聚合框架、Replica Sets(复制集)和Sharding(分片)等核心概念。高级篇则深入探讨MongoDB的性能监控、备份与恢复、安全策略以及OpsManager的使用。 项目实战部分是学习过程中...
根据本例 sharding 架构图所示,在各台 sever 上创建 shard 数据文件目录: Server1: ``` su – mongodb cd /usr/local/server/monodb mkdir –p data/shard11 mkdir –p data/shard21 touch data/shard11.log ...
- 分布式架构:MongoDB是分布式的,支持分片(sharding)和复制集(replica sets),能轻松扩展到多台服务器以处理大量数据。 - 自动故障转移:通过复制集实现,当主节点故障时,其他节点会自动晋升为主节点,保证...
总之,MongoDB的双服务器架构利用Shards和Replica Sets提供了高可用性和可扩展性。理解并掌握其配置和基本操作对于有效管理和利用MongoDB至关重要,特别是在处理大规模数据和要求高性能的应用场景中。通过熟练运用...
MongoDB的高可用性体现在其复制集(replica sets)功能上,它可以在多个节点间复制数据,确保即使在单个节点故障时也能提供服务。此外,MongoDB的分片(sharding)特性允许将数据分布到多个服务器,以实现水平扩展,...