`
sharp-fcc
  • 浏览: 111454 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

awk and hadoop 之reducer

阅读更多

配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。

awk -F '\t' '{
  id = $1;
  tag = $2;
  if (0 == tag){
    idPre = $1;
  }else (1 == tag && id == idPre){
    print $3"\t"id;    
  }  
}'

 

分享到:
评论

相关推荐

    awk and sed

    awk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sedawk and sed

    awk and sed 3

    在本压缩包"awk and sed 3"中,包含了一份名为"awk and sed3.pdf"的文档,很可能是对这两个工具的最新版介绍和深入教程。 `awk` 是一种编程语言,专门用于处理结构化文本文件。它的名字来源于其创始人 Alfred V. ...

    sed and awk 101 hacks.pdf

    - **sed替换命令语法**:替换命令是最常用的sed功能之一,它允许用户在文件中查找和替换字符串。 - **全局标志g**:标志g(global)表示对找到的每一处匹配都执行替换操作。 - **数字标志和打印标志p**:数字标志...

    Awk入门教程 《Awk A Tutorial and Introduction - by Bruce Barnett》

    Awk入门教程。作者 Bruce Barnett 注:英文版。以下是目录 Why learn AWK? Basic Structure Executing an AWK script Which shell to use with AWK? Dynamic Variables The Essential Syntax of AWK ...

    awk tutorial and introduction 英文版

    它在Linux和Unix环境中尤为常见,由于其灵活性和功能强大,使得它成为系统管理员和程序员的必备技能之一。 在本教程中,我们将深入探讨awk的基本概念和用法,以便于你能够熟练地使用它来解决实际问题。 **1. awk...

    awk and sed 中文版

    在Linux和Unix环境中,熟练掌握awk和sed对于系统管理员和程序员来说是必备技能之一,它们可以帮助提高工作效率,处理日常的文本操作任务。 《awk和sed中文版》的第3版不仅涵盖了基础概念,还包括了最新的特性和用法...

    awk and sed修订完美高清第三版

    从标题、描述、标签和部分内容中,可以提炼出关于awk和sed的知识点,以下是详细的知识点阐述: 1. awk和sed是Unix和类Unix系统中常用的文本处理工具,它们广泛应用于命令行环境,用于执行强大的文本和数据模式扫描...

    sed_awk.chm

    This book is about a set of oddly named UNIX utilities, sed and awk. These utilities have many things in common, including the use of regular expressions for pattern matching. Since pattern matching ...

    Sed与awk_中英文高清版

    Awk,全称为Aho, Weinberger, and Kernighan,是一种高级的数据处理语言。它的设计初衷是为了在文本文件中方便地进行数据分析和报告生成。Awk处理数据时,会按行读取文件,对每一行执行用户定义的动作。这些动作可以...

    sed and awk 101 hacks

    《sed and awk 101 hacks》是一份关于学习和提升sed和awk使用技巧的文档。文档主要涵盖了sed命令的基础使用、高级技巧以及如何与awk结合使用的方法。本文将详细解读文档中的知识点,以便为读者提供一个全面的参考。 ...

    awk详细用法小结awk awk

    在Linux/Unix环境中,awk是一个标准工具,其强大之处在于能够对输入文件的每一行进行模式匹配,并执行相应的操作。 awk最初由Alfred Aho、Brian Kernighan和Peter Weinberger在贝尔实验室开发,随后被GNU项目采用并...

    awk.Effective.awk.Programming.Universal.Text.Processing.and.Pattern.Matching.4th

    《Effective awk Programming: Universal Text Processing and Pattern Matching》(第4版)是一本由Arnold Robbins编写的关于awk编程语言的专业指南。这本书不仅深入探讨了awk编程的核心概念,还提供了大量的实际...

    linux bash之 awk用法

    ### Linux Bash 之 Awk 详尽用法 在深入探讨Awk的详尽用法之前,我们首先明确几个关键点。Awk是一种强大的文本处理工具,最初由Peter Aho、Brian Kernighan和Alfred Weinberg开发,名字取自这三位开发者姓氏的首...

    awk入门到精通.pdf

    《awk入门到精通》是一本专为对awk语言感兴趣的学习者设计的实用指南,旨在帮助他们理解和掌握awk的基本概念、语法以及如何有效运用这一强大的文本处理工具来解决各类问题。awk作为一种解释型语言,在文本处理领域中...

    awk参考资料下载awk

    【awk参考资料】深入理解awk ...总的来说,awk通过灵活的模式匹配和丰富的操作,为文本处理提供了强大的能力,是Linux系统中不可或缺的工具之一。学习并熟练掌握awk,将极大地提升你在文本处理和数据分析方面的效率。

Global site tag (gtag.js) - Google Analytics