如何搭建mongodb分片

 

搭建mongodb分片

 

Sharding分片概念

这是一种将海量的数据水平扩展的数据库集群系统，数据分表存储在sharding的各个节点上，使用者通过简单的配置就可以很方便地构建一个分布式MongoDB集群。

MongoDB 的数据分块称为 chunk。每个 chunk 都是 Collection 中一段连续的数据记录，通常最大尺寸是 200MB，超出则生成新的数据块。

要构建一个 MongoDB Sharding Cluster，需要三种角色：

Shard Server

即存储实际数据的分片，每个Shard可以是一个mongod实例，也可以是一组mongod实例构成的Replica Set。为了实现每个Shard内部的auto-failover，MongoDB官方建议每个Shard为一组Replica Set。关于如何安装及搭建replica set请参考我的另一篇文章 http://gong1208.iteye.com/blog/1558355

 

Config Server

为了将一个特定的collection存储在多个shard中，需要为该collection指定一个shard key，例如{age: 1} ，shard key可以决定该条记录属于哪个chunk。Config Servers就是用来存储：所有shard节点的配置信息、每个chunk的shard key范围、chunk在各shard的分布情况、该集群中所有DB和collection的sharding配置信息。

 

Route Process

这是一个前端路由，客户端由此接入，然后询问Config Servers需要到哪个Shard上查询或保存记录，再连接相应的Shard进行操作，最后将结果返回给客户端。客户端只需要将原本发给mongod的查询或更新请求原封不动地发给Routing Process，而不必关心所操作的记录存储在哪个Shard上。

下面我们在同一台物理机器上构建一个简单的 Sharding Cluster：

架构图如下:

 

 

 

•       Shard Server 1：27017
•       Shard Server 2：27018
•       Config Server ：27027
•       Route Process：40000

 

 

实施步骤

步骤一：

启动Shard Server

mkdir -p /opt/mongodb/data/shard/s0 --创建数据目录

mkdir -p /opt/mongodb/data/shard/s1

mkdir -p /opt/mongodb/data/shard/log --创建日志目录

 

/Opt/mongodb/bin/mongod --port 27017 --dbpath /opt/mongodb/data/shard/s0 --fork --logpath /opt/mongodb/data/shard/log/s0.log --启动Shard Server实例1

 

/Opt/mongodb/bin/mongod --port 27018 --dbpath /opt/mongodb/data/shard/s1 --fork --logpath /opt/mongodb/data/shard/log/s1.log --启动Shard Server实例2

步骤二：

启动Config Server

mkdir -p /opt/mongodb/data/shard/config --创建数据目录

/Opt/mongodb/bin/mongod --port 27027 –dbpath /opt/mongodb/data/shard/config --fork         --logpath /opt/mongodb/data/shard/log/config.log --启动Config Server实例

(注意，这里我们完全可以像启动普通mongodb服务一样启动，不需要添加—shardsvr和configsvr参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以)

 

步骤三：

启动Route Process

/Opt/mongodb/bin/mongos --port 40000 --configdb localhost:27027 --fork --logpath

/opt/mongodb/data/shard/log/route.log --chunkSize 1 --启动Route Server实例

 

mongos启动参数中，chunkSize这一项是用来指定chunk的大小的，单位是MB，默认大小为200MB，为了方便测试Sharding效果，我们把chunkSize指定为 1MB。意思是当这个分片中插入的数据大于1M时开始进行数据转移

 

步骤四：

 配置Sharding

接下来，我们使用MongoDB Shell登录到mongos，添加Shard节点

[root@localhost ~]# /Opt/mongo/bin/mongo admin --port 40000 --此操作需要连接admin库

MongoDB shell version: 2.0.1

connecting to: 127.0.0.1:40000/admin

> db.runCommand({ addshard:"localhost:27017" }) --添加 Shard Server

{ "shardAdded" : "shard0000", "ok" : 1 }

> db.runCommand({ addshard:"localhost:27018" })

{ "shardAdded" : "shard0001", "ok" : 1 }

> db.runCommand({ enablesharding:"test" }) --设置分片存储的数据库

{ "ok" : 1 }

> db.runCommand({ shardcollection: "test.users", key: { id:1 }}) --设置分片的集合名称。且必须指定Shard Key，系统会自动创建索引

{ "collectionsharded" : "test.users", "ok" : 1 }

 

注意这里我们要注意片键的选择，选择片键时需要根据具体业务的数据形态来选择，切不可随意选择，实际中尤其不要轻易选择自增_id作为片键，除非你很清楚你这么做的目的，具体原因我不在此分析，根据经验推荐一种较合理的片键方式，“自增字段+查询字段”，没错，片键可以是多个字段的组合。

另外这里说明一点，分片的基本机制：分片总是试图将现有数据均分到所有的分片上。举例说，现在有两个分片，我已经选择了id作为片键，假定插入的id是自增的，如1——10000，则分片后的结果是均分，即1——5000在片A，5000——10000在片B，当然，不一定有这么精确，但却是保证尽量的平均的，以此类推，如果有三块分片，同样均分三等分。

         还需要说明的是，一开始插入数据时，数据是只插入到其中一块分片上的，插入完毕后，mongodb内部开始在各片之间进行数据的移动，这个过程可能不是立即的，mongodb足够智能会根据当前负载决定是立即进行移动还是稍后移动。

在插入数据后，立马执行db.users.stats();两次可以验证如上所说。

 

Ok，简单的分片就是这么搭建的，连接上mongos，然后开始插入数据进行验证吧。 

 

 

评论

2 楼 marcolee 2013-04-09  

新项目也打算用mongodb了，楼主写的不错。。

1 楼 steafler 2012-08-06  

不错，回家研究研究