`
langzhe
  • 浏览: 288252 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

根据 Second Index和 mapred查询数据

    博客分类:
  • riak
 
阅读更多

application 查询方法

get_last_item() ->

    {ok, Pid} = riakc_pb_socket:start_link("127.0.0.1", 8087),

    Bucket = <<"rends/ejabberd/pubsub_item">> ,

    Inputs = {index, Bucket, <<"idx_int">>, 1}, 

    Query = [{map, {modfun, trend_riak, get_map_bucket_values}, none, false},%%需要借助测方法由<B,K>转换成到value

                   {reduce,  {modfun, trend_riak, get_reduce_bucket_values}, get_last_entry, true}],  %%得到最后一条记录

    riakc_pb_socket:mapred(Pid, Inputs, Query).

 

打包在riak中的代码 :返回结果必须是list

 64 get_reduce_bucket_values(Records, get_last_entry)->

 65     io:format("get_last_entry Records = ~p~n", [Records]),

 66     F = fun(#pubsub_item{published=Published, level=Level},

 67             #pubsub_item{published=Published2, level=Level2}) ->

 68             if Level < Level2 -> true;     

 69                Level == Level2 ->             

 70                     if  Published < Published2 -> true;

 71                         true -> false                  

 72                     end;  

 73                true -> false

 74             end

 75         end,

 76     case lists:sort(F, Records) of 

 77         [] -> [];

 78         [PublishItem] -> [PublishItem];

 79         List when is_list(List)->  [hd(List)]                                                                                                                                                 

 80     end;

 81 get_reduce_bucket_values(Records, {Start, Max})->


13
15
分享到:
评论

相关推荐

    hadoop 2.9.0 mapred-default.xml 属性集

    Hadoop是一个开源的、能够存储和处理大规模数据集的软件框架。Hadoop 2.9.0版本中的mapred-default.xml文件包含了MapReduce作业的配置属性,这些属性定义了MapReduce作业执行过程中的各种行为和参数。下面我们来详细...

    avro-mapred-1.7.8-SNAPSHOT-hadoop2

    在MapReduce任务中读取Avro文件,会使用到avro-mapred.jar。 然而目前的avro-mapred.jar是基于较老的版本的,使用时会报错: org.apache.hadoop.mapred.YarnChild: Error running child : java.lang....

    mapred-default.xml

    Hadoop的mapred默认配置文件

    Hadoop源码 包含mapred及mapreduce

    Hadoop源码 包含mapred

    spark或mr引擎插入的数据,hive表查询数据为0

    ### Spark或MR引擎插入的数据,Hive表查询数据为0的问题解析 #### 问题背景与现象 在大数据处理场景中,经常会遇到使用不同执行...在实际应用中,可以根据具体情况选择最适合的解决方案,确保数据的准确读取和处理。

    avro-mapred-1.7.7-hadoop2.jar

    avro-mapred-1.7.7-hadoop2.jar

    mapred.zip_hadoop_hadoop mapreduce_mapReduce

    这个"mapred.zip"文件显然包含了与Hadoop MapReduce相关的测试样例、文档和源码,这对于理解MapReduce的工作原理以及进行实际开发是非常宝贵的资源。 MapReduce的核心理念是将大规模数据处理任务分解为两个主要阶段...

    mapred-site.xml

    hadoop3.x配置资源

    hive.ziphive数据迁移和数据分析

    在大数据处理领域,Hive...总结,Hive.ziphive数据迁移和数据分析涉及多个环节,从数据的导入、存储压缩到查询分析和结果导出,每个步骤都需精心设计和优化。理解并掌握这些知识点,对于大数据处理和分析工作至关重要。

    avro-mapred-1.7.0.jar

    官方版本,亲测可用

    Hadoop数据迁移--使用importtsv两步载入数据

    在数据迁移的过程中,importtsv工具有助于高效地将HDFS的数据转换为HBase可以识别和使用的数据格式。 在使用importtsv工具时,首先需要准备好HBase表。在HBase表创建过程中,可以指定列族(Column Family),这是...

    mapred-env.sh

    Hadoop集群搭建配套配置文件

    基于hadoop的电商销售预测分析系统HDFS+MapRed

    "基于hadoop的电商销售预测分析系统HDFS+MapRed" 这个标题揭示了我们要讨论的核心技术栈,它涉及到大数据处理框架Hadoop,以及Hadoop中的两个关键技术:分布式文件系统HDFS(Hadoop Distributed File System)和数据...

    avro-mapred-1.7.5-hadoop2.jar

    官方版本,亲测可用

    hadoop mapred_tutorial官方文档

    hadoop mapred_tutorial官方文档

    Hadoop分布式配置文件mapred-site.xml

    Hadoop分布式配置文件mapred-site.xml,用于在搭建Hadoop分布式集群时,设置集群规划所用,集群中虚拟机都需要修改该配置文件,除此之外,还需要修改其他配置文件,包括core-site.xml、hdfs-site.xml和yarn-site.xml...

    基于AWS和CDH的大数据处理平台企业级架构的研究.pdf

    数据分片的大小由mapred.max.split.size和mapred.min.split.size配置项决定,以适应HDFS的块大小,确保数据处理的高效性和可扩展性。 总之,基于AWS和CDH的大数据处理平台企业级架构研究,涵盖了从硬件配置、操作...

Global site tag (gtag.js) - Google Analytics