博客首页 → awk

最新文章列表

shell字符串截取

shell字符串的截取的问题： 一、Linux shell 截取字符变量的前8位，有方法如下： 1.expr substr “$a” 1 8 2.echo $a|awk ‘{print substr(,1,8)}’ 3.echo $a|cut -c1-8 4.echo $ 5.expr $a : ‘\(.\\).*’ 6.echo $a|dd bs=1 count=8 2>/dev/null ...
shelllinuxsubstrcutawk 
hyl198611 评论(0) 有1610人浏览 2011-11-01 16:47

shell学习与使用，边学边用之六！（文件批量复制更名））

在我学习python的时候，我将在ipython中测试的过程通过gnome-screenshot截屏下来保存。 一开始我命名的规则如下： 引用 banxi1988@banxi:~/work/python$ ls images/ assign_py16.png           class_private_var_py06.png     instance_init_py08.png class_a ...
脚本shell批量更名awk 
banxi1988 评论(0) 有2094人浏览 2011-10-26 21:25

awk是个好工具

今天遇到一个需求，要统计系统哪些功能耗费的流量最大并后续优化，去acc log看了以下第5列是http请求的字节数，第10列是http请求的url，写了一个类似于sql的group by、sum、avg命令，运行OK，结果一目了然 awk '{bytes[$10]+=$5;count[$10]+=1}END{for(i in bytes) printf "%s %d %10.2f %1 ...
linuxawk 
小马迷途 评论(0) 有1049人浏览 2011-10-18 18:56

linux常用命令

参考资料：鸟哥的私房菜 http://linux.vbird.org/ grep 引用 [root@www ~]# grep [-acinv] [--color=auto] '搜尋字串' filename 選項與參數： -a ：將 binary 檔案以 text 檔案的方式搜尋資料 -c ：計算找到 '搜尋字串' 的次數 -i ：忽略大小寫的不同，所以大小寫視為相同 -n ：順便輸出行號 -v ： ...
shelldifffindgrepawk 
luozhaoyu 评论(0) 有1352人浏览 2011-10-13 13:02

Several Frequently Used Commands

sed '/^\s*$/d' a.txt # delete ALL blank lines sed '/./,$!d' a.txt # delete all leading blank lines at top of file   sed '=' a.txt | sed 'N;s/\n/\t/' # cat -n a.txt sed '/./=' a.txt | sed '/./N; s/ ...
linuxawksed 
whitesock 评论(0) 有1209人浏览 2011-10-13 11:35

awk函数中如何执行shell中的函数

已awk中执行wget函数为例 当需要动态读取文本中的数据（多域），每个域中的数据作为wget访问的参 #!/bin/bash today=$(date --date="1   day   ago" +%Y%m%d) host="192.168.105.100"; mysql -h 192.168.105.100 -u root --password= ...
linuxawksystem 
lionlx 评论(0) 有2261人浏览 2011-10-11 14:48

linux awk命令

awk是三个人名的缩写，他们是：Aho、(Peter)Weinberg和(Brain)Kernighan。 awk---样式扫描与处理工具。 awk的调用方式 awk提供了适应多种需要的不同解决方案，它们是： 一、awk命令行，你可以象使用普通UNIX命令一样使用awk，在命令行中你也可以使用awk程序设计语言，虽然awk支持多行的录入，但是录入长长的命令行并保证其正确无误却是一件令人头疼 ...
unixawk 
诗意的栖居 评论(0) 有1299人浏览 2011-09-16 10:59

linux awk命

1. awk简介 awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想 ...
linxuawk 
xpatch 评论(0) 有1499人浏览 2011-09-12 20:00

MD5校验失败:no properly formatted MD5 checksum lines found

场景： 从某地址下载数据文件及其MD5校验文件，特殊的是这个原始的校验文件(filename.md5.tmp)不是正常的校验文件，需要颠倒校验和和文件名。   执行以下shell来颠倒MD5文件中的两部分： awk -vfname="filename" '{print $2"\t"fname}' "filename.md5.tmp&qu ...
linuxshellawkmd5 
ericslegend 评论(0) 有3457人浏览 2011-09-07 11:55

两种检查数据重复性的方法

  我们在ETL测试过程中经常甚至是必须要检测某一批数据中的某些维度在表范围内是否重复。   本文就介绍两种检测数据重复的简单方法。   方法1 ...
Linux命令awkuniqgrepcut 
liuzhiqiangruc 评论(0) 有6934人浏览 2011-09-02 12:39

一个千万级数据的统计方法尝试

现在，我们有一个文件，样子长成这个样子的： 该数据共有两列数据，col1，col2.col1是字符串类型的，col2为数字类型。这样的数据一共有多少呢？ 一共有：25165824。   现在我们的目标是统计col1中每个值出现的次数，并把对应的col2的值加起来，并且得到平均值。 这样是放在关系数据库里，用SQL的话，十分容易搞定，SQL如下：     select col1 ...
Shellawk数据统计 
liuzhiqiangruc 评论(0) 有5084人浏览 2011-08-21 22:31

awk中调用shell函数和变量的方法

初学shell，遇到要将awk的日期转变格式的问题，用awk内建函数不好解决，考虑引入外部函数。 引入方法XXX和变量YYY export -f XXX awk -v YYY=$YYY ' { print YYY; date=$1; cmd="transTime "date; cmd|getline accesstime; ...
awkshelllinux 
unbounder 评论(0) 有4957人浏览 2011-06-30 20:07

awk使用实例

awk使用实例（转载） 2009-08-25 16:41 简介 awk是一种编程语言，非常适合处理文本，使用简单，功能却很强大。awk扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行 示例 基本使用 输出文件的第一列 awk '{print $1}' access_log ...
awklinux 
standalone 评论(0) 有2111人浏览 2010-02-09 15:47

最近博客热门TAG

Java(141741) C(73643) C++(68602) SQL(64557) C#(59604) XML(59131) HTML(59042) JavaScript(54916) .net(54782) Web(54511) 工作(54116) Linux(50906) Oracle(49861) 应用服务器(43285) Spring(40811) 编程(39452) Windows(39380) JSP(37540) MySQL(37266) 数据结构(36420)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics