linux高级文件数据操作

cat ：显示切割数据

-f：选择显示切割列；

-s：比现实没有分割的行

-d：自定义分隔符

cut -d ‘  ’-f 1,3  a.txt : 以空格为分隔符显示第一列和第三列；这种情况不能分隔的行也会显示出来，如果不需要可以加一个-s，如下所示：

cut  -d ' ' -s -f 1,3  a.txt

sort :文件数据排序

-n:按数值排序

-r：降序；

-t：自定义分隔符；

-k : 选择拍序列；

-f ：忽略大小写；

- u：合并相同行；

 sort -t ‘  ’ -k2 -nr  sort.txt  :sort.txt中 以空格为分隔符的第二列按数值降序排序，如果没指定按数值排序则默认是按ascii码排序

wc统计数据 :

wc -l sort.txt  统计sort.txt文件行数，也可用如下命令：

cat sort.txt | wc -l  先读文件但不显示，再通过管道命令 |  拼接一个统计命令 wc -l；

ll  /etc  | wc -l   统计etc目录下有多少文件；

sed行编辑器：

-d：删除符合条件的行；

-p：显示符合条件的行；

-a\string：在符合条件的行下面添加一行，内容为string；

- \n：用于换行；

-i\string :在符合条件的行上面添加一行，内容为string；

-r file ：将指定文件内容添加至符合条件行处；

-w file：将制定范围的行另存到指定文件；

-s/pattern/string/修饰符 查找并替换，默认之替换第一次匹配到的地方；

     g：行内全局替换

     i：忽略大小写

     s///,  s###,s@@@查找并替换

sed -i  1a\hello word  a.txt  在a.txt中第一行后添加新行，内容为hello word（-i直接修改原文件，不添加不能生效）

sed  2d  a.txt  删除第二行

sed  /hello/d  a.txt  删除包含hello的行；

sed  /[0-9]/d  a.txt  删除包含数字0-9的行

sed  -n  /[0-9]/p a.txt  显示包含数字0-9的行（-n静默模式）  也可以用这个  grep “[0-9]”a.txt;

sed  s/aa/bb aa/ a.txt  查找aa 并将其替换成 bb  aa，亦可用于在某个字符串前添加bb

awk强大的文本分析工具（逐行读入，按空格，制表符分隔将每行切片，再对切开部分分析处理，生成报告）：

awk -F':'‘{print $1}’ passwd  打印passwd中以：分隔的第一列数据  等价于cut -d‘：’-f1 a.txt命令；

awk -F‘：’'{print $1,$7}' passwd 打印第一列和第七列

awk  -F':'  'BEGIN{print "name\tshell"}  {print $1 "\t" $7}   END{print "end==========="} '  passwd

解析：BEGIN{print "name\tshell"} 此函数体 表示 首行打印name  shell，\t表示以制表符分隔；

          {print $1 "\t" $7} 表示 打印 第1列 制表符分隔  第7列；

          END{print "end===="} 表示 在最后一行打印 end======；

awk '/root/{ print $0}' passwd  表示查找passwd中出现root的行，$0代表打印出整行数据

awk -F':'  '{print NR+"\t"NF+"\t"$0}'  passwd   打印行号（NR）、列数(NF)、整行信息

、

awk  '{ split($3,date,"-");if(date[2]=="01"){name[$1]+=$5}} END{for(i in name){print i"\t"name[i]^C} }' passwd 可实现如下结果：

         

{ split($3,date,"-");if(date[2]=="01"){name[$1]+=$5}} 函数体中首先切割第三列日期列，如果月份为01,则将数据放入map结构中，key为$1，值name[$1]为$5，name[$1]+=$5这一句比java语法要简单，取key为$1对应的value再加上$5,此时如果集合里没有该姓名的数据则会新增一条，有的话则会在原基础上相加（注：awk是将数据逐行读入处理的！$1表示这行的第$1列的值，$5同理）

END{for(i in name){print i"\t"name[i]^C} } 这一步是遍历循环上一步得到的map，打印名字和工资；如果我们想将0表示为经理m，1表示为员工w，如下图所示，该怎么做呢？

awk  '  { split($3,date,"-");if(date[2]=="01"){name[$1]+=$5}}    {if($2="0"){roles[$1]='M'}else{role[$1]="W"}}    END{for(i in name){print i"\t"name[i]"\t"roles[i]} }  ' passwd

我们可以再加一个函数体  {if($2="0"){roles[$1]='M'}else{role[$1]="W"}} ，将姓名-职位键值对放入roles中,遍历输出即可，注意for循环中的i表示key即姓名，这样roles[i]自然就表示该名字对应的职位了！ 不得不感叹awk真的是太强大了！简直就是一门编程语言啊

 

 

转载于:https://my.oschina.net/u/3734816/blog/3062609