`
itace
  • 浏览: 182740 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

mongodb3-java

 
阅读更多

转载:http://shift-alt-ctrl.iteye.com/blog/2243695

本文主要介绍Mongodb中CRUD常用操作、存储引擎、数据模型,以及如何使用java Driver。

 

一、BSON

    Mongodb中数据存储格式为BSON,和JSON非常类似,可以说在整体的结构几乎一样,只不过BSON定义了更多的数据类型,这对面向对象编程语言非常友好。

Java代码  收藏代码
  1. {  
  2.     "_id": {  
  3.         "$oid""55f6c87fdefdd10de72fc024"  
  4.     },  
  5.     "name""zhangsan",  
  6.     "age"30,  
  7.     "is_alive"true,  
  8.     "addresses": [  
  9.         "beijing",  
  10.         "shanghai"  
  11.     ],  
  12.     "created": {  
  13.         "$date"1442236543707  
  14.     }  
  15. }  

    文档格式大概如上所示,如果数据类型时JSON不支持的,那么数据类型也将写入文档中,比如date。BSON中有2个比较特殊的类型,其中date对应java中的Date,array对于java中List。其他类型比如boolean,string,int等与java都一一对应。

 

    在mongodb中,一条数据称为一个document,其API类为org.bson.Document,当然Document也是Bson的子类,同时也实现了Map接口,其内部有一个LinkedHashMap作为数据支撑(所以mongodb中字段是有顺序的)。

Java代码  收藏代码
  1. Document user = new Document()  
  2.                 .append("name""zhangsan")  
  3.                 .append("age"30)  
  4.                 .append("is_alive",true)  
  5.                 .append("addresses", Arrays.asList("beijing","shanghai"))  
  6.                 .append("created"new Date());  

    上述就是创建一个Document的过程,这和操作一个Map其实并没有太大区别。

 

二、java driver示例

    如下简单展示如何使用mongodb java客户端开发,因为下面的例子都是基于JAVA的。具体参见:“mongodb java”

Java代码  收藏代码
  1. <dependency>  
  2.     <groupId>org.mongodb</groupId>  
  3.     <artifactId>mongodb-driver</artifactId>  
  4.     <version>3.0.3</version>  
  5. </dependency>  

    创建MongoClient的方式有多种,可以参看MongoClient的构造方法即可。最终归结来由2个主要方式,一个是MongClient + MongoClientOptions,另一个是MongClient + conenctionString。例子如下,如果想在spring环境中使用,请你继续封装。关于授权登陆,SSL方面,稍后会专门介绍,此处仅为示例:

Java代码  收藏代码
  1. MongoClient mongoClient = new MongoClient("127.0.0.1"27017);  
  2. //MongoClient mongoClient = new MongoClient(new MongoClientURI("mongodb://127.0.0.1:27017"));  
  3. MongoDatabase db = mongoClient.getDatabase("test");//获取DB  
  4. MongoCollection<Document> collection = db.getCollection("user");//获取collection(表)  
  5. //通过collection进行CRUD操作  

 

    CRUD的例子将会在下文中列举。

 

三、Read操作

    即从mongodb中读取一条或者多条数据,可以在query中使用多种复合查询条件,这种查询条件的组合类似于SQL,我们也可以使用“projection”过滤器来指定需要返回的结果中包含(不包含)哪些字段,以提升IO效率,因为Mongodb可以使用众多的类似于SQL的查询操作,而且支持多种indexes,这或许就是mongodb的亮点所在。(Mongodb之上的SQL引擎:Drill,即使用sql查询mongodb数据)

Java代码  收藏代码
  1. MongoCollection<Document> collection = db.getCollection("user");//获取collection(表)  
  2. //通过collection进行CRUD操作  
  3. Bson parent = Filters.eq("name""zhangsan");  
  4. parent = Filters.and(parent,Filters.gt("age"10));  
  5. MongoCursor<Document> cursor = collection.find(parent).sort(new Document("age"1)).skip(10).limit(5).iterator();  
  6. try {  
  7.     while (cursor.hasNext()) {  
  8.         Document item = cursor.next();  
  9.         System.out.println(item.toJson());  
  10.     }  
  11. finally {  
  12.     cursor.close();//must be  
  13. }  

    上面例子就是一个典型的query,我们基本上可以通过多种组合,即可完成复杂的查询。我们使用了Filters API来构建查询条件,这是一个便捷的方式。当然开发者也可以自己使用mongodb的“比较指令”来自己封装:

Java代码  收藏代码
  1. Document filter = new Document("name",new Document("$eq","zhangsan"));  

    自己封装不仅繁琐而且易于出错,建议使用Filters。

 

    1、比较符

    mongodb支持如下几种比较操作,它们均可以在query的查询条件中:$eq(相等,逐字节比较),$gt(大于),$gte(大于等于),$lt(小于),$lte(小于等于),$ne(不等于),$in(值是否在指定的数组中),$nin(值不在制定的数组中)。

    2、逻辑判断符

    $or:逻辑or,如果document匹配多个条件判断中的一个或者多个,则将此document返回。

    $and:逻辑and,document必须匹配全部的判断条件。

    $not:逻辑!,$and取反,如果document不匹配条件,则返回此document。比如:"age":{$not:{$gt:16}}表示“获取age不大于16的document”,它的内部检测过程就是“如果此document存在age字段,且大于16的,一律不返回”,言外之意是:如果document中不包含age字段,或者age的值小于等于16的均会返回。

    $nor:not or。

    3、元素

    $exists:检测文档中是否存在此字段,比如: "name":{$exists:true}表示如果name字段存在,则返回此文档。

    $type:检测文档中字段的类型,比如:"age":{$type:16}表示如果age字段的类型为int则返回此文档,参见BSON Types

   4、数组

    $all:如果字段的值是数组,$all表示此数组中包含指(不一定必须等于)定的所有元素。比如:"addresses":{$all:["beijing","shanghai"]},首先addresses字段值是一个数组,且同时包含“beijing”、“shanghai”两个元素。   

    $elemMatch:数组中至少包含一个元素同时满足条件,比如:"item":{$elemMatch:{$gt:25,$lt:60}},这表示数组item至少包含一个元素大于25且小于60,item:[15,26,70]这个文档就符合要求,而item:[16,62]就不符合要求。

    $size:数组的元素个数满足条件,比如"item":{$size:2}则会返回item中元素个数为2的文档。

    此外,我们可以在表达式中指定index位置来获取数组中的元素:

Java代码  收藏代码
  1. collection.find(new Document("addresses.0","beijing"))  

    表示获取addresses这个数组中第0个位置的元素值为“beijing”的文档。

 

    5、运算与表达式

    $mod:取模运算,比如"price":{$mod:[4,0]}即获取price与4取模为0的文档。

    $regex:正则匹配,基于PCRE,首先参与匹配的field必须建立索引,否则性能受限。语法样例为:{<field>:{$regex:/pattern/,$options:'<options>'}},比如{"name":{$regex:/^liu/,$option:i}}表示查询去name字段值以“liu”开头的文档。其中$regex表示正则表达式,表达式需要以“/”开头和结尾,$option表示辅助选项,它有4个可选值:“i”表示不区分大小写;“m”表示“多行匹配”,其中行符为"\n";“s”表示“.”符号可以匹配所有字符包括换行符,“x”表示忽略空白符。

    表达式可以简写为{<field>:{$regex:/pattern/options}}。如果表达式中不包含正则匹配符(比如$,^,*等,参见PCRE),表示字符串完全匹配,而且正则表达式可以在字符串比较操作中直接使用。

    比如:"name":/zhangsan/,表示name中包含完整字符串"zhangsan"的文档,"name":/^zhang/,表示以zhang开头的文档。

    "name"/^zhang/i,这是正则的简写形势,表示以zhang开头且不区分大小写。

    "description":"/^S/m",我们指定了选项值为m,它可以匹配多行字符串,只要每行为S开头即可。比如文档"description":"Fist line \nSecond line"将匹配成功。

 

    6、projection

    $:这个符号,很特殊,对于query而言,用于获数组中匹配比较表达的第一个元素。这是一个“projection”操作,稍后我们会详解。比如文档"number":[16,31,6,88],对于描述“如果number中存在30~100的元素,则获取第一个匹配的元素”,我们可以使用$与elemMatch:

Java代码  收藏代码
  1. Document filter = new Document()  
  2.                 .append("$gt",30)  
  3.                 .append("$lt",100);  
  4. MongoCursor<Document> cursor = collection.find(Filters.elemMatch("number",filter)).projection(new Document("number.$",1)).iterator();  

   结果将输出:{"number":[31]}。projection表示需要在结果中包含(不包含)那些字段。

    projection是mongodb提供了用于过滤返回字段的操作,1表示包含字段,0表示不包含。

    $slice:限定返回结果中数组元素的数量,可以只返回数据的起止位置之间的元素。

Java代码  收藏代码
  1. Document document = new Document("number",new Document("$slice",Arrays.asList(2,5)));  
  2. MongoCursor<Document> cursor = collection.find().projection(document).iterator();  

    如上例,对于number数组,只需返回位置2之后的5个元素,默认起始位置为0,语法为$slice:[skip,limit]。"number":{$slice:2}则表示返回位置2之后的元素,其中skip可以为负数,表示从尾部计数,比如$slice:[-20,5]表示从尾部计数第20个开始取5个元素。

 

    7、find()方法:返回一个FindIterable对象,我们通常根据FindIterable获取一个Cursor,我们就可以遍历此cursor,依次读取结果集,FindIterable中有很多方法有用的方法:

    1)batchSize(int size):每次网络请求返回的document条数,比如你需要查询500条数据,mongodb不会一次性全部load并返回给client,而是每次返回batchSize条,遍历完之后后再通过网路IO获取直到cursor耗尽。默认情况下,首次批量获取101个document或者1M的数据,此后每次4M,当然我们可以通过此方法来覆盖默认值,如果文档尺寸较小,则建议batchSize可以大一些。

    2)skip(int number)、limit(int number):同SQL中的limit字句,即表示在符合匹配规则的结果集中skip一定数量的document,并最终返回limit条数据。可以实现分页查询。

    3)maxTime(int time,TimeUnit unit):表示此次操作保持的最长时间,即server端保持cursor状态的最长时间,如果超时server端将移除此cursor,即在此通过此cursor遍历数据将会error。

    4)sort(Bson bson):根据指定field排序,参与排序的字段最好是索引,如果不是,将会在内存中排序,如果参与排序的数据尺寸大于32M,将会抛出error。1表示正序,-1表示倒叙,比如"age":1表示按照age正序排序。

    5)noCursorTimeout(boolean timeout):如果cursor空闲一定时间后(10分钟),server端是否将其移除,默认为false,即server会将空闲10分钟的cursor移除以节约内存。如果为true,则表示server端不需要移除空闲的cursor,而是等待用户手动关闭。无论如何,开发者都需要注意,手动关闭cursor。

    6)partial(boolean partial):对于sharding集群,如果一个或者多个shard不可达,是否允许返回部分数据(只从正常的shard中获取数据)。

    7)cursorType():指定cursor类型,当cursor遍历完毕后是否关闭cursor,默认是关闭,无论何时都建议手动关闭cursor(不管是否耗尽curosr);当然有些开发场景可能需要保持cursor的活性,遍历到cursor的最后一条后,不关闭cursor,继续等待,此后一段时间内如果有新数据插入到cursor之后,则可以继续遍历,这就是Tailable Cursor,通常对于Capped Collection中使用。目前支持支持3种类型的Cursor:NonTailable、Tailable、TailableAwait。

    8)projection(Bson bson):限定返回结果中需要包含的filed或者数组元素。在6)中我们已经看到相关的几个例子。默认情况下,将会返回document的所有字段,1表示包含,0表示不包含。

Java代码  收藏代码
  1. MongoCursor<Document> cursor = collection.find().projection(new Document("name",0)).iterator();  

    表示文档中不包含name字段。

Java代码  收藏代码
  1. MongoCursor<Document> cursor = collection.find().projection(new Document("address",1)).iterator();  

     表示结果中只包含address字段。通过例子比较,我们会发现“包含”和“不包含”互为排斥,通常只会在projection使用一种。

 

    8、内嵌文档:内嵌文档可以通过"."来表达路径,比如文档:

Java代码  收藏代码
  1. {  
  2.     "_id"1,  
  3.     "addressess":{  
  4.         "zip_code":100010,  
  5.          "city""beijing"  
  6.     }  
  7. }  

    可以通过查询内部文档: 

Java代码  收藏代码
  1. collection.find(new Document("addresses.zip_code",10010));  

 

    9、查询优化:和其他数据库一样,mongodb也支持查询优化,也支持辅助索引,同时_id字段是唯一索引,通常我们需要根据查询条件,来创建合适的辅助索引,比如在单字段索引或者多个字段的组合索引,索引的作用最终是避免对整个collection(磁盘IO)全量扫描。合适的索引将会匹配较少比例的数据,否则不当的索引事实上并不能有效的筛选数据,比如一个字段status,最多有3个不同的值,那么对status建立索引并不能提高查询性能,因为query根据status不能过滤掉大量数据,这就是“基准”。

 

    覆盖查询(Cover query)表示查询使用了索引,且所有需要返回的字段都是索引的一部分,这意味着只需要索引就可以筛选并获得结果内容,这一过程均会在内存中进行,无需进行磁盘查询整个document,这是性能比较高的。不过,如果对数组做索引,即“multi-key index”将不支持覆盖查询;如果查询条件或者projection包含了内置document字段,则也不支持覆盖查询。比如文档:

    {"_id":1,user:{login:"testuser"},如果对"user.login"建立索引,那么如下查询仍将不会使用查询覆盖:

    

Java代码  收藏代码
  1. collection.find(Filters.eq("user.login","testuser")).projection(new Document("userlogin",1))  

    不过这个查询仍然会使用到user.login索引,但不会覆盖查询。 

    在sharding环境中,如果index中不包含shard key,将不支持覆盖查询;_id除外,如果查询中仅用_id查询且返回结果中只包含_id字段,仍会使用覆盖查询。

 

    mongodb也提供了explain,用来分析query的查询计划,通常我们可以使用explain来判定此query的性能。具体请参看explain结果分析以及explain介绍

 

    9、分布式查询:mongodb的分布式模型分为replica set和sharded cluster。

    sharded集群中将read根据sharding key(分片键)转发到指定的shard节点,read操作非常高效;当然如果query中没有包含sharding key,那么此次read将会被转发到所有的shard节点上,并有mongos server负责merge结果(包括排序),所以这种情况性能较差(俗称scatter、gather),对于大型集群,这种查询通常是不可行的。

 

    对于replica set而言,只是涉及到将read操作路由到哪个secondary上,默认情况下,read请求总是在primary上发生,我们可以通过指定“read preference mode”来调整这一行为。

Java代码  收藏代码
  1. collection.withReadPreference(ReadPreference.secondaryPreferred()).find();  

    上述代码表示尽可能从 secondary上读取,如果所有的secondary都失效则从primary上读取。可以实现“读写分离”。目前支持的read模式:

    1)primary:读操作只发生在primary上,默认的read模式。如果primary失效,则返回error。

    2)primaryPreferred:读操作发生在primary上,如果primary失效,则由secondary接收read请求。这是一种比较良好的模式,

    3)secondary:读操作只发生在secondary上,如果所欲哦的secondary都失效,则返回error。

    4)secondaryPreferred:读操作通常发生在secondary上,如果所有的secondary都失效,则由primary接收read请求。

    5)nearest:读取“最近”的节点,mongodb客户端将评估与每个节点的网络延迟,有限选择延迟最小的节点,primary和secondary都有可能接收到read请求(不同的Client或许延迟不同)。

 

四、Write操作

    write操作包括insert、update,replace,remove四种类型,需要清楚的是mongodb并不支持事务,所以如果write操作影响多条document,那么它们之间的变更并非原子性的,即有可能几条document修改(插入)成功但是其他的或许失败;对于一个document而言,是原子性的,不可能存在一个documnet被部分更新的情况。

    

Java代码  收藏代码
  1. Document document = new Document()  
  2.                 .append("number", Arrays.asList(1520446080));  
  3. collection.insertOne(document);  

    对于insert操作,mongodb会检测文档中是否指定了_id,如果没有指定,server端将会根据一定的算法(ObjectId方法)生成一个并保存,如果开发者自己指定_id,需要确保全局唯一。

 

    update操作可以根据查询条件,更新相应的一条或者多条documents。java Driver中提供了updateOne、updateMany、findAndModify等方法。可以在UpdateOptions中指定upsert来实现“如果存在就更新,否则就插入”的语义:

Java代码  收藏代码
  1. UpdateResult result = collection.updateOne(Filters.eq("name""zhangsan"),  
  2.                 new Document("$set",new Document("modified"new Date())),  
  3.                 new UpdateOptions().upsert(true));  
  4. if(result.getModifiedCount() > 0) {  
  5.      System.out.println("found and modified!");  
  6.  }  

    

    replace就是“替换”,将整个文档,全部替换为指定的document。

 

    1、$isolated:隔离,这涉及到mongodb lock机制,mongodb允许同时有多个read、write操作交错执行,当write操作影响到多条记录时,我们可以使用"$islolated"避免这种情况,此时write操作将持有全局锁,直到此操作涉及到的所有的document都变更完毕,此期间其他client将不会看到变更的数据,直到此write操作结束或者error退出。isolated将会较长时间的持有lock,会对整体的并发能力带来负面影响;此外,它并不表达事务中的“all-or-nothing”语义,即如果write操作更新一部分数据之后,其他document失败了,并不会“回滚”操作,那些成功的document将仍会被保留。isolated在sharded集群中不生效。

 

Java代码  收藏代码
  1. collection.updateMany(new Document("name""zhangsan").append("$isolated",1),new Document("$set",new Document("modified"new Date()));  

    2、Fields更新:

    1)$inc:对字段的值自增,语法格式:{$inc:{<field1>:amount1,<field2>:amount2}},正负数值都可以,负值表示自减,如果指定的filed不存在,则增加此字段且设定为指定的值。如果字段的值为null,使用inc操作将会抛出错误。

    2)$mul:乘法。

    3)$rename:更改字段的名称,语法:{$rename:{<field1>:<newName1>,<field2>:<newName2>}},新字段不能与原字段名一样,对于内嵌文档,可以使用“.”表示路径。如果文档中已经存在newName,则首先移除那个字段,然后再将指定的Field重命名。如果指定的字段不存在,则什么都不做。

    4)$set:update操作,更新指定字段的值,如果字段不存在则添加此字段和值。

    5)$unset:将指定字段从文档中移除,语法:{$unset:{<field1>:"",....}}。

    6)$min:如果指定的值比字段的当前值要小,那么将字段的值修改为指定的值。比如{$min:{"score":60}},如果文档中score的值 > 60,那么$min将会把score的值修改位60。

    7)$max:语义同$min。

    8)$currentDate:比较有用的指令,将指定字段的值修改为当前时间,类型可以为Date或者Timestamp,默认为Date,语法为:{$currentDate:{<field1>:<type>,....}},需要使用到$type。

    

Java代码  收藏代码
  1. ##使用Date类型,只需要字段值为true即可,当然也可以使用$type:date  
  2. ##如果是timestamp类型,需要使用$type  
  3. {$currentDate:{  
  4.     "modified_date":true,  
  5.     "modified_timestamp":{$type:"timestamp"}  
  6.     }  
  7. }  

 

    3、Array操作:

    1)$addToSet:将元素添加到指定的数组中,如果数组中已经存在此元素值则不添加。如果此字段不是数组,则操作失败。如果此字段不存在,则创建此字段且将设定为指定的数组元素。语法:{$addToSet:{<field>:<item>}},其中item需要是一个单值,如果是数组,需要借助$each修饰符来拆解。比如:{$addToSet:{<field>:{$each:[item1,item2]}}},此时item1、item2均会分别添加到<field>的数组中。

    2)$pop:从数组的头或者尾部移除一个元素,就像操作双端队列一样。-1表示移除第一个元素,1表示移除最后一个元素。语法:{$pop:{<field>: -1 | 1}}。

    3)$pull:从数据中移除符合条件的所有元素,即有条件的移除。语法:{$pull:{<field1}: <value | condition>,<field2>:<value | condition>....},如果指定的是condition,那么只有某个元素同时满足所有条件才能被删除。比如数组{"item"[{"size":10,"color":"read"},[{"size":30,"color":"black"}]},那么{$pull:{"item":{"size":{$gt:20},"color":"black"}}}将会移除第二个元素。详细参见“pull”

    4)$push:将元素追加到数组的尾端。语法:{$push:{<field1>:<value1>,<field2>:<value2>,...}},如果需要对一个数组添加多个元素(子数组),那么需要使用$each修饰符。

 

    4、modifiers(修饰符):

    1)$each:可以在$addToSet和$push操作中配合使用,例子参见上。

    2)$slice:我们在read操作中已经了解了slice可以用来限制返回的数组元素个数,那么在write操作中,也可以用过更新后,保留最新的num个元素,它需要配合$push和$each一起使用。

Java代码  收藏代码
  1. #语法  
  2. {  
  3.     $push: {  
  4.         "field" : {  
  5.             $each:[item1,item2,item3],  
  6.             $slice:<num>  
  7. }  

    其中slice的值为0表示将数组置为空,正数表示保留最后num个元素,负数表示保留最前的num个元素。

    3)$sort:同$slice一样,必须配合$push和$each一起使用,表示push之后根据指定的方式对数组进行重排序。1表示正序,-1表示倒序,如果数组元素为内嵌文档,可以使用内嵌文档的字段排序,语法和$slice一样,只是sort部分可以为:$sort: <1 | -1>或者$sort: {<field>: <1 | -1>}

    4)$position:配合$push和$each一起使用,表示push时将元素列表添加到哪个位置,默认为原数组的尾部。$position:0表示添加到第0个元素位置(即首个元素之前)。

 

    5、writeConcern:

    Write connern是mongodb提供了一种保障机制,当write操作成功后可以获得通知。mongodb有多个level的担保,这个有点类似于事务级别。当write操作使用较弱的concern,那么操作可以更快的返回(阻塞更少的时间),但有可能数据并没有持久化(写入磁盘),有丢失的风险;较强的concern需要等待较长的时间但是数据持久能力更强,更不容易丢失。详细请参考“write concern

    每个write concern包含三个参数:

    1)w选项:默认值为1,即{w:1},即当客户端发送write操作后等待server返回确认信息,write操作只需要在primary上写入成功即可;“0”表示不需要向客户端返回确认信息,即当write操作发送后,客户端不需要等待server的执行结果,但是网络异常这种error仍然可以抛出;“majority”表示当write操作在primary执行成功后,并传播给“大多数”的secondary且执行成功后才返回确认信息,对于replica set架构而言,这种方式是最佳的,可以有效的避免write数据丢失的问题;如果w的值设置成任何>1的值,适合在replica set架构中使用,表示write操作在指定个数的nodes上执行成功后才返回确认信息(包括primary),如果集群中没有足够的nodes在线,则等待足额的节点加入且执行成功后返回。

    2)、j选项

    j选项用来控制mongod实例将数据写入磁盘上的journal日志(注意,是写入磁盘,直接flush),这可以确保在mongod异常关闭后数据不会丢失,如果此选项设置为true,则mongod必须开启journal功能,否则将会报错。当write操作写入journal日志且flush到磁盘后,才向客户端发送确认消息。

    3)、wtimeout选项

    指定write操作的耗时,毫秒,仅当w选项的值 > 1时适用。当write操作超时后,将会返回error,或许此write操作最终成功了(比如primary等待secondary的返回信息,此时超时,则返回给客户端error,不过最终此write可能会在secondary上成功执行,只是还没有来得及向primary返回成功消息),不过mongodb在timeout之后不会撤销已经成功的数据更新。如果设置为0或者没有设置此值,那么write操作将会等待直到满足条件。(可能导致数据不一致)

Java代码  收藏代码
  1. collection.withWriteConcern(WriteConcern.MAJORITY).updateMany(...)  

    

    6、分布式写入操作:

    对于sharded集群中的一个shared collection(即collection允许分片存储),write操作将会由相应的shard节点负责执行,这由config server来决定。参见“分布式写入”。

    对于replica set而言,write操作只能有primary负责接收,并异步的方式传播给secondary,大量的写入操作可能导致secondary不能及时的跟进,那么发生在secondary上的read操作可能会读取到旧的数据,如果primary失效,将会failover其中一个secondary成为primary,为了保证读取一致性也有可能触发rollbacks(即在primary上写入成功,但是在secondary上没有,但是primary失效了,此后primary再次加入,则需要rollback并与secondary保持一致,这也意味着此前的某些write操作丢失)。为了避免这个问题,开发者需要指定合适“write concern”,以确保足够多的secondary能够跟进primary,通过降低write的吞吐量来提高数据一致性(避免网络分区,CAP),此外还需要server端的一些额外的支持,比如oplog、journal等。

 

    7、write操作性能

    如果write操作影响到了索引,那么还需要对相应的索引进行变更。比如insert操作将会导致索引文件中新增条目,update操作中修改了索引的值也会触发索引的调整。所以这也是write操作对性能的影响之一。(高效索引设计有个要求,就是最好不要修改索引的值,是一种低效的操作)

 

    有些update可能会导致document的尺寸增长,对于MMAPV1引擎而言,如果文档大小超过了原来分配的size,那么mongodb将会重新分配一个连续的磁盘空间来保存此文档(废弃以前的文档空间,可以被其他document重用),这也会需要额外消耗一些性能。在mongodb 3.0之后,MMAPV1引擎默认使用了“Power of 2 Size Allocations”以及自动padding,即为每个document分配的size为2的次幂(稍后详解),剩余空间被padding,这可以帮助mongodb高效的重用那些删除文档而产生的空闲空间,以及在很多情况下可以减少了重新分配空间的可能。

    毕竟Mongodb是一个存储系统,高效的磁盘对提升性能有极大的帮助,影响存储性能的因素包括:磁盘介质(SSD,HDD)、磁盘缓存、预读以及RAID配置等。

 

    mongodb通过使用一种称为journal的预写日志来保证write操作的可靠性,在数据写入实际的数据文件之前,首先将变更写入journal(journal日志是append操作,性能较高;但对应实际的数据文件是随机写,性能较低,所以对于数据文件的修改通常是批量 + 延迟写入)。在write concern中开启journal选项,这可以保证write操作的持久性,但是会大大降低整体的write吞吐量。我们可以修改mongod的“commitIntervalMs”,即journal日志flush到磁盘的间隔时间,此值越小,flush的频率越高,持久能力越强,即丢失数据的可能越低,但是对磁盘的IO却越大;此值越大,所来带的问题就是当异常crash时,mongodb丢失数据的风险就越高,因为上次一次flush之后的write尚没有被持久写入journal文件,将可能会丢失。这是一个在性能与可靠性之间的权衡。

 

     8、Bulk write

    mongodb支持批量write操作,即多个write操作批量发送到mongod,同样mongod不会保证这些操作原子性的执行(事务性),只是提高了IO交互的性能。可以将insert、update、remove、replace等多种类型的write批量提交到mongd。

Java代码  收藏代码
  1. List<WriteModel<Document>> bulks = new ArrayList<WriteModel<Document>>();  
  2. bulks.add(new InsertOneModel<Document>(new Document("name","zhangsan")));  
  3. bulks.add(new UpdateOneModel<Document>(new Document("name","lisi"),new Document("modified",new Date())));  
  4. collection.withWriteConcern(WriteConcern.MAJORITY).bulkWrite(bulks,new BulkWriteOptions().ordered(false));  

    Bulk write可以分为ordered或者unordered,通过BulkWriteOptions指定。如果设定了有序性,那么mongod将会依次执行列表中的write操作,如果出错,mongodb将会返回那些尚未执行的操作列表。对于unordered,mongodb则会将它们并行执行,如果出错,也将返回没有执行的操作。由此可见,ordered执行相对较慢,只有其中一个执行成功,才会执行下一个。

 

五、Document

    mongodb中每条document的最大尺寸为16MB,对于超过16MB的数据建议使用Gridfs,一个高效的文件系统。我们稍后再介绍GridFS。

    上文中我们已经提到,Document是BSON结构,key-value对,java中实现为LinkedHashMap,mongodb在保存document时,将尽可能保持字段的顺序;但是_id字段总是在第一个位置,插入时如果没有指定_id则由mongodb生成,有些操作可能会影响字段的顺序,比如$rename。

 

六、其他

    Replica set:复制集,mongodb的架构方式之一 ,通常是三个对等的节点构成一个“复制集”集群,有“primary”和secondary等多中角色(稍后详细介绍),其中primary负责读写请求,secondary可以负责读请求,这有配置决定,其中secondary紧跟primary并应用write操作;如果primay失效,则集群进行“多数派”选举,选举出新的primary,即failover机制,即HA架构。复制集解决了单点故障问题,也是mongodb垂直扩展的最小部署单位,当然sharding cluster中每个shard节点也可以使用Replica set提高数据可用性。

 

    Sharding cluster:分片集群,数据水平扩展的手段之一;replica set这种架构的缺点就是“集群数据容量”受限于单个节点的磁盘大小,如果数据量不断增加,对它进行扩容将时非常苦难的事情,所以我们需要采用Sharding模式来解决这个问题。将整个collection的数据将根据sharding key被sharding到多个mongod节点上,即每个节点持有collection的一部分数据,这个集群持有全部数据,原则上sharding可以支撑数TB的数据。

 

    系统配置:1)建议mongodb部署在linux系统上,较高版本,选择合适的底层文件系统(ext4),开启合适的swap空间  2)无论是MMAPV1或者wiredTiger引擎,较大的内存总能带来直接收益。3)对数据存储文件关闭“atime”(文件每次access都会更改这个时间值,表示文件最近被访问的时间),可以提升文件访问效率。 4)ulimit参数调整,这个在基于网络IO或者磁盘IO操作的应用中,通常都会调整,上调系统允许打开的文件个数(ulimit -n 65535)。

分享到:
评论

相关推荐

    mongodb-java-driver-4.4.0.jar

    mongodb-java-driver-4.4.0.jar

    mongodb-java-driver-3.5.0.jar最新驱动包

    亲测可用,解压包含三个jar包,引用时sources和doc包根据需要添加。 mongo-java-driver-3.5.0.jar; mongo-java-driver-3.5.0-javadoc.jar; mongo-java-driver-3.5.0-sources.jar;

    mongodb-driver-sync-4.2.3-API文档-中英对照版.zip

    标签:mongodb、driver、sync、中英对照文档、jar包、java; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,...

    mongodb-driver-core-4.2.3-API文档-中文版.zip

    标签:mongodb、driver、core、中文文档、jar包、java; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请...

    mongodb-driver-sync-4.2.3-API文档-中文版.zip

    标签:mongodb、driver、sync、中文文档、jar包、java; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请...

    MongoDB_3.8.2驱动jar包及其同版本依赖包bson和mongodb-driver-core

    java和mongodb连接,需要mongodb-driver,您还必须下载其依赖项: bson和 mongodb-driver-core》》3个包: mongodb-driver-3.8.2.jar; bson-3.8.2.jar; mongodb-driver-core-3.8.2.jar

    mongo-java-driver-3.4.3,java连接mongodb的jar包驱动包

    mongo-java-driver-3.4.3.jar 是 MongoDB 官方为 Java 开发者提供的 Java 驱动程序的一个特定版本(3.4.3)。这个 JAR 文件包含了与 MongoDB 数据库进行交互所需的类和接口,允许 Java 应用程序连接到 MongoDB 实例...

    mongoDB-CURD操作-----JAVA

    在Java开发中,与MongoDB的交互通常通过Java驱动程序实现,它提供了对数据库的基本CURD(创建、读取、更新、删除)操作的支持。本篇文章将深入探讨MongoDB在Java环境下的CURD操作,帮助初学者更好地理解和应用。 ...

    mongodb-driver-core-3.5.0.jar

    MongoDB的Java驱动程序是连接Java应用程序与MongoDB服务器的关键组件,它提供了丰富的API来执行各种数据库操作。在本篇文章中,我们将深入探讨`mongodb-driver-core-3.5.0.jar`这一核心驱动包及其相关组件。 `...

    MongoDB Driver -JAVA 2.5.3 API

    3. **文档模型**:在MongoDB中,数据以JSON格式的文档存储。Java驱动程序使用`Document`类表示这些文档,它是一个键值对的映射,支持嵌入式文档和数组。 4. **插入数据**:使用`insertOne()`或`insertMany()`方法将...

    mongodb-async-driver-2.0.1 jar包

    MongoDB异步驱动程序(mongodb-async-driver)是为Java开发者设计的一个库,它允许应用程序以非阻塞的方式与MongoDB服务器进行通信,提高了处理大量并发请求的能力。 在"mongodb-async-driver-2.0.1.jar"这个特定...

    mongodb-async-driver-2.0.1驱动.zip

    MongoDB Async Java Driver Documentation Welcome to the MongoDB Async Java driver documentation hub. Getting Started The Getting Started guide contains installation instructions and a simple ...

    mongodb-java-driver.jar

    使用java 操作mongoDB必须的jar包,

    mongodb-driver-3.4.3

    mongodb-driver-3.4.3,mongodb java开发中常用组件。

    mongo-java-driver-3.12.7.jar

    mongo-java-driver-3.12.7 最新版本,java连接MongoDB最新驱动,有需要的可以自行下载

    mongodb-java-driver源码依赖库

    当从远程Maven仓库下载`mongodb-java-driver`的源码依赖时,可能会遇到证书错误,这可能是由于网络问题、过期的SSL证书或者安全策略设置导致的。为了避免这类问题,将依赖库下载到本地`.m2`目录可以确保在后续的开发...

    Java连接mongoDB需要的jar包(3.9.1)

    3. `mongodb-driver-core-3.9.1.jar`: 这个核心库包含了基本的网络通信和线程管理功能,是MongoDB Java驱动的基础。它负责处理与MongoDB服务器的低级别交互,比如TCP连接、心跳检测和数据流的序列化/反序列化。这个...

    mongodb-driver-core-3.4.3

    mongodb-driver-core-3.4.3,mongodb java开发常用组件。

    mongodb-java驱动,内含3个jar包和一个JAVA测试类

    3. **mongodb-driver-3.0.0.jar**:这是MongoDB Java驱动的主要接口,它定义了与MongoDB服务器进行通信的各种API。开发者可以通过这些API来执行查询、插入、更新和删除操作。此版本的驱动支持MongoDB的3.x版本,提供...

Global site tag (gtag.js) - Google Analytics