`

hadoop mapreduce多表关联

阅读更多
假设有如下两个文件,一个是表是公司和地址的序号的对应,一个表是地址的序号和地址的名称的对应。
 
表1:
 
[plain] 
A:Beijing Red Star  1  
A:Shenzhen Thunder  3  
A:Guangzhou Honda   2  
A:Beijing Rising    1  
A:Guangzhou Development Bank    2  
A:Tencent   3  
A:Back of Beijing   1  
 
表2:
[plain] 
B:1 Beijing  
B:2 Guangzhou  
B:3 Shenzhen  
B:4 Xian  
 
mapreduce如下:
[plain] 
private static final Text typeA = new Text("A:");  
      
    private static final Text typeB = new Text("B:");  
      
    private static Log log = LogFactory.getLog(MTJoin.class);  
      
    public static class Map extends Mapper<Object, Text, Text, MapWritable> {  
          
        public void map(Object key, Text value, Context context)  
                throws IOException, InterruptedException {  
            String valueStr = value.toString();  
            String type = valueStr.substring(0, 2);  
            String content = valueStr.substring(2);  
            log.info(content);  
            if(type.equals("A:"))  
            {  
                String[] contentArray = content.split("\t");  
                String city = contentArray[0];  
                String address = contentArray[1];  
                MapWritable map = new MapWritable();  
                map.put(typeA, new Text(city));  
                context.write(new Text(address), map);  
            }  
            else if(type.equals("B:"))  
            {  
                String[] contentArray = content.split("\t");  
                String adrNum = contentArray[0];  
                String adrName = contentArray[1];  
                MapWritable map = new MapWritable();  
                map.put(typeB, new Text(adrName));  
                context.write(new Text(adrNum), map);  
            }  
        }  
    }  
      
    public static class Reduce extends Reducer<Text, MapWritable, Text, Text> {  
          
          
          
         public void reduce(Text key, Iterable<MapWritable> values, Context context)  
                 throws IOException, InterruptedException {  
             Iterator<MapWritable> it = values.iterator();  
             List<Text> cityList = new ArrayList<Text>();  
             List<Text> adrList = new ArrayList<Text>();  
             while(it.hasNext())  
             {  
                 MapWritable map = it.next();  
                 if(map.containsKey(typeA))  
                 {  
                     cityList.add((Text)map.get(typeA));  
                 }  
                 else if(map.containsKey(typeB))  
                 {  
                     adrList.add((Text)map.get(typeB));  
                 }  
             }  
             for(int i = 0; i < cityList.size(); i++)  
             {  
                 for(int j = 0; j < adrList.size(); j++)  
                 {  
                     context.write(cityList.get(i), adrList.get(j));  
                 }  
             }  
         }  
    }  
原理很简单,map的出口,以地址的序号作为key,然后出来的时候,公司名称放一个list,地址的名称放一个list,两个list的内容作笛卡儿积,就得到了结果。
输出如下:
 
[plain] 
Beijing Red Star    Beijing  
Beijing Rising  Beijing  
Back of Beijing Beijing  
Guangzhou Honda Guangzhou  
Guangzhou Development Bank  Guangzhou  
Shenzhen Thunder    Shenzhen  
Tencent Shenzhen  
 
分享到:
评论

相关推荐

    hadoop mapreduce多表关联join多个job相互依赖传递参数

    在Hadoop MapReduce环境中,处理大数据时经常遇到多表关联(Join)的需求,尤其是在复杂的业务逻辑中。MapReduce提供了一种分布式计算模型,能够高效地处理大规模数据集,但面对多表关联,尤其是多个Job之间的依赖和...

    Hadoop MapReduce实战手册(完整版)

    《Hadoop MapReduce实战手册》是一本专注于大数据处理技术的专著,主要针对Apache Hadoop中的MapReduce框架进行了深入的探讨。MapReduce是Hadoop生态系统中的核心组件之一,用于处理和生成大规模数据集。该书旨在...

    基于Apriori算法的频繁项集Hadoop mapreduce

    总结起来,"基于Apriori算法的频繁项集Hadoop mapreduce"是一个利用大数据处理框架Hadoop的MapReduce模型,高效地执行经典数据挖掘算法Apriori的过程,旨在发现大规模数据集中的频繁项集和关联规则,为商业智能、...

    Hadoop MapReduce Cookbook

    Hadoop的可扩展性是指其能够通过添加更多的节点来线性地增加存储容量和处理能力。 4. 集成HBase, Hive, Pig, Mahout和Nutch:这本书将介绍如何利用HBase(一个开源的非关系型分布式数据库),Hive(一种数据仓库...

    基于Hadoop MapReduce的电商网站商品数据分析.rar

    在大数据处理领域,Hadoop MapReduce是一个至关重要的技术框架,尤其在电商网站的商品数据分析中扮演着核心角色。MapReduce的设计理念是将大规模数据处理任务分解为两个主要阶段:Map(映射)和Reduce(化简),以此...

    基于Apriori算法的频繁项集Hadoop mapreduce.rar

    Apriori算法是一种在数据库中寻找频繁项集的关联规则学习算法,而Hadoop MapReduce则是一个分布式计算框架,常用于处理海量数据。 首先,我们需要理解Apriori算法的基本原理。Apriori算法是由R. Agrawal和R. ...

    Hadoop mapreduce. 基于ItemCF的协同过滤 物品推荐系统.zip

    【标题】:“Hadoop MapReduce实现基于ItemCF的协同过滤物品推荐系统” 在这个项目中,我们探讨了如何利用Hadoop MapReduce框架来构建一个基于Item-Based Collaborative Filtering(ItemCF)的物品推荐系统。这是一...

    基于Hadoop MapReduce的招聘信息数据分析项目代码+数据集.rar

    在这个基于Hadoop MapReduce的招聘信息数据分析项目中,我们聚焦于利用大数据处理技术对海量的招聘信息进行深入挖掘,以获取有价值的职业市场洞察。Hadoop MapReduce是Apache Hadoop框架中的核心组件,它允许开发者...

    大数据与云计算培训学习资料 Hadoop的MapReduce中多文件输出 共9页.pdf

    【大数据与云计算培训学习资料 Hadoop的MapReduce中多文件输出】 MapReduce是Hadoop框架的核心部分,主要用于处理大规模数据的分布式计算。在默认情况下,MapReduce任务的输出是一个单一的文件,由TextOutputFormat...

    基于mapreduce的小型电影推荐系统

    MapReduce是大数据处理的一种核心工具,常与Hadoop生态系统一起使用,能高效地处理大规模数据。MySQL作为关系型数据库,用于存储用户信息、电影数据以及用户行为记录。JSP(JavaServer Pages)则用于生成动态网页,...

    SEARUM:Hadoop MapReduce 关联规则挖掘实现

    海尔姆关联规则挖掘技术的 Hadoop MapReduce 实现。描述并行 FP-Growth 和关联规则挖掘 MapReduce 实现。 它运行 PFPGrowth 的每个阶段,如论文中所述,如论文中所述,针对 SEARUM 进行修改并与 SEARUM 集成 。 注意...

    Hadoop技术内幕深入解析MapReduce架构设计与实现原理

    从提供的【部分内容】来看,虽然该部分没有直接关联到Hadoop和MapReduce的具体技术细节,而是重复叙述了Linux公社网站(***)的相关信息,并没有深入探讨技术内幕,但是它提供了一个宝贵的上下文信息。文档可能出现...

    Hadoop-MapReduce-Java-:使用Hadoop MapReduce的Amazon Data Miner Analyzer示例

    7. **数据挖掘与分析**: 在这个特定示例中,我们可能在MapReduce程序中集成了一些数据挖掘算法,例如分类、聚类或关联规则挖掘。这些算法可以帮助我们从海量数据中发现有价值的信息和模式。 通过深入研究这个...

    Hadoop-MapReduce-Cookbook-Example-Code:Hadoop MapReduce Cookbook 示例代码

    《Hadoop MapReduce Cookbook》是一本专注于Hadoop MapReduce技术实践的书籍,其附带的示例代码旨在帮助读者深入理解和应用MapReduce编程模型。在这个压缩包中,我们看到的是书中的实例代码,名为“Hadoop-MapReduce...

    Hadoop的分割程序的例子。程序显示我们如何在Hadoop的MapReduce程序使用一个分区.zip

    在Hadoop生态系统中,MapReduce是一种分布式计算框架,用于处理和生成大数据集。在这个场景中,我们关注的是“Hadoop的分割程序”或Partitioner,它在MapReduce作业中扮演着关键角色。Partitioner决定了map任务的...

    Python_Hadoop_MapReduce_MarketBasketAnalysis:在Python中使用Hadoop MapReduce进行市场分析

    在大数据处理领域,Python与Hadoop MapReduce的结合应用已经成为了一种常见的技术手段。市场篮子分析(Market Basket Analysis)是数据挖掘中的一个重要概念,它主要用于发现顾客购物行为中的关联规则,例如“如果...

Global site tag (gtag.js) - Google Analytics