最新文章列表

awk FS RS 的妙用

完成的功能: 有一个文件格式如下: 2401:b400:20::/48 2401:b400:21::/48   2001:250:4000::/48 2001:da8:8f00::/48   2001:250:3000::/48   使用空行分割成25部分,比如第一部分代表一个AS的前缀IP地址 另外一个文件: BJ_Tsinghua WuHan GuangZhou ...
sunlujing 评论(0) 有4957人浏览 2013-11-17 17:58

awk and hadoop 之reducer

配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。 awk -F '\t' '{ id = $1; tag = $2; if (0 == tag){ idPre = $1; }else (1 == ta ...
sharp-fcc 评论(0) 有856人浏览 2013-11-07 15:50

awk join操作

有没有遇到场景,要把两个集合做一个join操作,用awk我们可以很方便的实现这个效果,设计到awk如何从两个文件中读取内容. 直接上代码: awk -F ',' 'BEGIN{ ...
sharp-fcc 评论(0) 有1135人浏览 2013-10-28 14:53

awk 应用

  实战文件:test.log  内容   1840 148990 0000 273839 1841 87999 0001 190432 1842 89306 0001 190433 1843 90431 0002 179591 1844 115357 0003 244693 1845 69873 0004 163991 18 ...
erntoo 评论(0) 有482人浏览 2013-10-12 15:16

awk 常用函数

Copy From: http://blog.csdn.net/xgdofull/article/details/5429858 awk提供了许多强大的字符串函数,见下表:awk内置字符串函数gsub(r,s)    在整个$0中用s替代rgsub(r,s,t ...
sharp-fcc 评论(0) 有1068人浏览 2013-09-22 18:29

linux awk 运算符

awk 作为文本处理优秀工具之一,它有自己丰富的运算符,可分为:算术运算符,赋值运算符,关系运算符,逻辑预算法,正则运算符。   一、运算符介绍 运算符 描述 赋值运算符 =    +=    -=     *=    /=    %=     ^=   赋值语句 逻辑运算符 || 逻辑或 && 逻辑与 正则运算符 ~   ...
aoyouzi 评论(0) 有1138人浏览 2013-08-16 18:58

awk and hadoop之mapper

1.  在awk 中mapper的时候我们经常会合并不同的文件,取我们想要的不同的字段。   awk -F "\t" ' { filename = ENVIRON["mapreduce_map_input_file"]; if (index(filename, "xxxx") > 0) { // xxx ...
sharp-fcc 评论(0) 有1090人浏览 2013-08-07 17:19

[Linux/Unix] 练习手写 Shell

1. 求两个数的最大公约数和最小公倍数 #!/bin/sh #================================================================= # Author : greatwqs # Info : 求两个数的最大公约数和最小公倍数 ...
greatwqs 评论(1) 有1431人浏览 2013-07-01 19:24

awk 指定分隔符,读取csv格式的某些列

awk 按照行处理的脚本 指定分隔符 如:以逗号分割,打印2,3列用-F指定一个或者多个 cat    test.csv  | awk -F"," '{print $2,$3}'    ---------------- ...
lvdccyb 评论(0) 有43752人浏览 2013-06-18 11:00

shell学习笔记2---awk字符串处理(原创)

awk内置字符串函数gsub(r,s) 在整个$0中用s替代r;gsub(r,s,t) 在整个t中用s替代r gsub函数有点类似于sed查找和替换。它允许替换一个字符串或字符为另一个字符串或字符,并以正则表达式的形式执行。第一个函数作用于记录$0,第二个gsub函数允许指定目标,然而,如果未指定目标,缺省为$0。index(s,t):函数返回目标字符串s中查询字符串t的首位置。length( ...
czmmiao 评论(0) 有52968人浏览 2013-06-10 22:11

linux 重命名 rename

废话不说 直接上脚本 ,本人亲测好使。   #!/bin/bash #script_name:rename_ALL find ...
sharp-fcc 评论(0) 有788人浏览 2013-06-09 12:08

《Linux Shell》之三:awk编程

awk是一种编程语言,gawk是目前最新的版本,当前的Linux版本用的都是gawk,利用gawk可以实现数据查找、抽取文件中数据、创建管道流命令等功能,awk实际是/bin/gawk的链接。   4.3.1 awk编程模型 awk程序由一个主输入循环main input loop维持,主输入循环反复执行,直到终止条件被触发,主输入循环自动依次读取输入文件行,以供处理,而处理文件行的动作是 ...
yidao620c 评论(0) 有3446人浏览 2013-06-03 23:40

按ip统计访问日志top

命令1:   time awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -5 78129 192.168.13.166 75165 192.168.12.52 58657 192.168.12.199 54146 192.168.13.183 ...
darktemplar_h 评论(0) 有1276人浏览 2013-05-28 10:34

Linux AWK 命令

sample文件如下, 便于测试: Heigh-ho! sing, heigh-ho! unto the green holly: Most friendship is feigning, most loving mere folly: Then, heigh-ho, the holly! 一. 使用  1.  显示全部内容: awk '{ print }' sample  解释 ...
greatwqs 评论(1) 有1679人浏览 2013-05-18 17:32

awk中字符串转换为数字的技巧

在awk编程中,千万不要忘记awk处理正则外,还有很多内部函数,特别是字符串处理函数,在处理数据的过程中,调用这些函数,将能减少很多工作量。 1、格式 //注意\后面不能有空格,BEGIN开始位置的“'”和END结束位置的“'”不能忘记。 awk -F'|' \ 'BEGIN{           //awk的begin部分 } {           //awk的执行部分,处理 ...
beijishiqidu 评论(0) 有4258人浏览 2013-05-05 11:54

[linux]sed与awk

详情见附件,附件是一本书
MyEyeOfJava 评论(0) 有1142人浏览 2013-03-27 17:55

shell分析切割日志,合并计算

1.日志格式如:   2013-03-05 13:17:45,657 [3612510923] INFO -promotion.util.TaskFlowProcess - 任务正在执行id=260,sourceSize=2999,filterSize=2429, telSize=242 ........ 2.脚本   egrep -E 'id=[0-9]{1,4},sour' sms_log ...
tofhao 评论(0) 有913人浏览 2013-03-20 08:36

常用SQL 在 AWK 中的实现

常用统计分析 SQL 在 AWK 中的实现 6人收藏此文章, 我要收藏 发表于2个月前(2013-01-08 01:43) , 已有313次阅读 ,共0个评论 最近有需求需要本地处理一些临时的数据,用做统计分析。如果单纯的 MYSQL 也能实现, 不过一堆临时数据这样从 mysql 导来导去还是挺麻烦的,比较理想的选择是本机装个 cygwin 环境,然后可以用 awk 等 shel ...
religiose 评论(0) 有818人浏览 2013-03-11 13:49

shell使用实践

通过shell来获取视频地址,简化生活,所以这个分类到编程之美下面。   这里讲的是使用shell获取163 ted视频下载地址。   效果如图:     shell脚本如下:   #!/bin/sh wget -qO- http://open.163.com/ted/ | iconv -f gbk -t utf-8 | awk '{if($0 ~ /<a href ...
winse 评论(0) 有1367人浏览 2013-03-07 00:02

awk学习示例

Sed和awk一直是文本分析的神器,最近学习了陈皓的两篇博文,小试牛刀如下。    1.    背景  有些Map/Reduce数据产出之后,对于value数量不足的记录 ...
yuanc00 评论(0) 有1063人浏览 2013-02-20 20:03

最近博客热门TAG

Java(141746) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics