mongodb的MapReduce学习

     MongoDb是NoSQl中目前比较流行的一种分布式存储的解决方案，主从，副本集及分片等都支持的很好，在分布式存储的架构下，自然有分布式的计算，MapReduce是Mongodb的分布式计算支持。

 

     它的MapReduce有点类似GroupBy的效果，首先是Map：遍历集合，把具有相同Value的Key整理成一个Key：Values的键值对，作为参数传递给Reduce函数，由Reduce函数进行进一步的化简处理，最后把结果写到指定的集合中。

 mongo内置的count,distinct,group 的功能MapReduce都能够实现

 

> db.events.count();
13321
> db.runCommand({"distinct":"events","key":"type"});
{
        "values" : [
                "IPA",
                "IPI",
                "REG",
                "OTDPS",
                "IPO",
                "EXO",
                "IPOP",
                "ECG",
                "ASO",
                "CUR"
        ],
        "stats" : {
                "n" : 13321,
                "nscanned" : 13321,
                "nscannedObjects" : 13321,
                "timems" : 117,
                "cursor" : "BasicCursor"
        },
        "ok" : 1
}
>

 

   看看他的语法：

  

db.runCommand(

 { mapreduce : 集合名,

   map : js函数

   reduce : js函数

   [, query : 文档，发往map函数前先给过渡文档]

   [, sort : 文档，发往map函数前先给文档排序]

   [, limit : 整数，发往map函数的文档数量上限]

   [, out : 字符串，统计结果保存的集合]

   [, keeptemp: 布尔值，链接关闭时临时结果集合是否保存]

   [, finalize : 函数，将reduce的结果送给这个函数，做最后的处理]

   [, scope : 文档,js代码中要用到的变量]

   [, jsMode : 布尔值，是否减少执行过程中BSON和JS的转换，默认true]

   [, verbose : 布尔值，是否产生更加详细的服务器日志，默认true]

}

);

    下面做一个简单的例子：比如我要找出性别为”男“的人的姓名和性别为“女”的人的姓名，其实就是一个简单的按照性别来分组的功能，

    先准备下测试数据

    1 连接到MongoDb先

   

 mongo.exe localhost:27017;
 use test_his;
 db.auth("test","test");

   

  2  插入测试数据

   

 db.mrtest.insert({"name"  : "李雷","sex" : "M"});
 db.mrtest.insert({"name"  : "小赵","sex" : "M"});
 db.mrtest.insert({"name"  : "杨丽","sex" : "F"});
 db.mrtest.insert({"name"  : "红红","sex" : "F"});
 db.mrtest.insert({"name"  : "小李","sex" : "M"});

  3 编写Map函数（调用emit）

  

var map=function(){
	emit(this.sex,this.name);
 } 

   emit函数的第一个参数为分组的KEY，第二个参数为需要处理的数据（格式为JSON类型）

 4 编写Reduce函数

   

 var reduce=function(key,values){
     // var retur={sex:key,names:values};
 	 var retur={names:values};
      return retur;
 }

 Reduce函数，直接返回了按SEX分组后的姓名列表，这个的返回值可以带上SEX,就是注释的那行

5 测试下finalize

   编写一个finalize 函数

 

var final=function(key,retur){
     if(key=="M"){
    	retur.msg="is a man";
    }
	return retur;
 }

 假如是男人，那么描述是“is a man”

 6 使用db.runCommand()调用

 

 db.runCommand({
    mapreduce:"mrtest",
    map:map,
    reduce:reduce,
    finalize:final,
    out:"sextest"
   });

  将结果保存在sextest中

 

执行结果 写道

> db.sextest.find();
{ "_id" : "F", "value" : { "names" : [ "杨丽", "红红" ] } }
{ "_id" : "M", "value" : { "names" : [ "李雷", "小赵", "小李" ], "msg" : "is a m
an" } }

   

      上面是按性别来分组，找出人，假如要算出男女个多少个，MapReduce还可以这样来实现

    

 var map=function(){  
    emit(this.sex,{count:1});  
 }    

 var reduce=function(key,values){  
        var cou=0;
        for(var i=0;i<values.length;i++){
		cou+=values[i].count;
        }
        var retur={sex:key,count:cou};  
        return retur;  
  }  

 

    这个是一个简单MapReduc的示例，自然也可以使用JAVA代码进行调用执行，目前针对MongoDb的编程框架，用到的比较多的就是Spring Data For Mongodb ,但是Spring却并没有对MapReduce功能做过多的封装，需要把Map，Reduce的Function函数使用字符串的形式定义，采用RunCommand来执行，这样代码看起来比较难于维护，所以需要的时候，建议采用Hadoop编程框架来做，代码看起来比较优雅。