mongodb分片

MongoDB---分片简析

 

分片是MongoDB的扩展方式,通过分片能够增加更多的机器来用对不断增加的负载和数据,还不影响应用.

1.分片简介

分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分散在不同的机器上,不需要功能

强大的大型计算机就可以存储更多的数据,处理更大的负载.

使用几乎所有数据库软件都能进行手动分片,应用需要维护与若干不同数据库服务器的连接,每个连接还是完全

独立的.应用程序管理不同服务器上的不同数据,存储查村都需要在正确的服务器上进行.这种方法可以很好的工作,但是也  www.2cto.com  

难以维护,比如向集群添加节点或从集群删除节点都很困难,调整数据分布和负载模式也不轻松.

MongoDB支持自动分片,可以摆脱手动分片的管理.集群自动切分数据,做负载均衡.

 

2.MongoDB的自动分片

MongoDB分片的基本思想就是将集合切分成小块.这些块分散到若干片里面,每个片只负责总数据的一部分.应用程序不必知道

哪片对应哪些数据,甚至不需要知道数据已经被拆分了,所以在分片之前要运行一个路由进程,进程名mongos,这个路由器知道

所有数据的存放位置,所以应用可以连接它来正常发送请求.对应用来说,它仅知道连接了一个普通的mongod.路由器知道和片的

对应关系,能够转发请求到正确的片上.如果请求有了回应,路由器将其收集起来回送给应用.

在没有分片的时候,客户端连接mongod进程,分片时客户端会连接mongos进程.mongos对应用隐藏了分片的细节.

从应用的角度看,分片和不分片没有区别.所以需要扩展的时候,不必修改应用程序的代码.

不分片的客户端连接:

 

分片的客户端连接:

 

什么时候需要分片:

a.机器的磁盘不够用了

b.单个mongod已经不能满足些数据的性能需要了

c.想将大量数据放在内存中提高性能

一般来说,先要从不分片开始,然后在需要的时候将其转换成分片.

 

 

 在mongodb里面存在另一种集群，就是分片技术，跟sql server的表分区类似，我们知道当数据量达到T级别的时候，我们的磁盘，内存

就吃不消了，针对这样的场景我们该如何应对。

 

一：分片

     mongodb采用将集合进行拆分，然后将拆分的数据均摊到几个片上的一种解决方案。

 

下面我对这张图解释一下：

     人脸：       代表客户端，客户端肯定说，你数据库分片不分片跟我没关系，我叫你干啥就干啥，没什么好商量的。

     mongos： 首先我们要了解”片键“的概念，也就是说拆分集合的依据是什么？按照什么键值进行拆分集合....

                     好了，mongos就是一个路由服务器，它会根据管理员设置的“片键”将数据分摊到自己管理的mongod集群，数据

                    和片的对应关系以及相应的配置信息保存在"config服务器"上。

    mongod:   一个普通的数据库实例，如果不分片的话，我们会直接连上mongod。

 

二： 实战

    首先我们准备4个mongodb程序，我这里是均摊在C，D，E，F盘上，当然你也可以做多个文件夹的形式。

1：开启config服务器

      先前也说了，mongos要把mongod之间的配置放到config服务器里面，理所当然首先开启它，我这里就建立2222端口。

 

2: 开启mongos服务器

    这里要注意的是我们开启的是mongos，不是mongod，同时指定下config服务器，这里我就开启D盘上的mongodb，端口3333。

 

3：启动mongod服务器

     对分片来说，也就是要添加片了，这里开启E，F盘的mongodb，端口为：4444，5555。

 

4： 服务配置

    哈哈，是不是很兴奋，还差最后一点配置我们就可以大功告成。

 <1> 先前图中也可以看到，我们client直接跟mongos打交道，也就说明我们要连接mongos服务器，然后将4444，5555的mongod

         交给mongos,添加分片也就是addshard()。

这里要注意的是，在addshard中，我们也可以添加副本集，这样能达到更高的稳定性。

 

<2>片已经集群了，但是mongos不知道该如何切分数据，也就是我们先前所说的片键，在mongodb中设置片键要做两步

        ①：开启数据库分片功能，命令很简单 enablesharding(),这里我就开启test数据库。

        ②：指定集合中分片的片键，这里我就指定为person.name字段。

 

5: 查看效果

好了，至此我们的分片操作全部结束，接下来我们通过mongos向mongodb插入10w记录，然后通过printShardingStatus命令

查看mongodb的数据分片情况。

 这里主要看三点信息：

  ① shards：     我们清楚的看到已经别分为两个片了，shard0000和shard0001。

  ② databases:  这里有个partitioned字段表示是否分区，这里清楚的看到test已经分区。

  ③ chunks：     这个很有意思，我们发现集合被砍成四段：

                           无穷小 —— jack0，jack0 ——jack234813，jack234813——jack9999，jack9999——无穷大。

                           分区情况为：3：1，从后面的 on shardXXXX也能看得出。

 

 

 

http://www.cnblogs.com/huangxincheng/archive/2012/03/07/2383284.html

http://www.cnblogs.com/magialmoon/archive/2013/04/11/3015394.html