`
fly.net.cn
  • 浏览: 186826 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hell学习笔记--sort uniq cut tr split

阅读更多

1、sort
sort缺省默认空格和tab键为分隔符。其他方式分隔,使用-t选项。缺省以第1列来排序,即-k1
   -n 指定分类是域上的数字分类。
如编辑文件1111.txt
sdsad   311     315     asd3f
wdasd   551     133     adsff
sdsad   606     44      fgfdgdf
wdwew   77      599     gghgf
eeese   23      22      fgdf
eeese   23      22      fgdf
dfdff   78      55      fdgd
   -k 使用k做分类排序,如按第2列来分类排序
[root@localhost ~]# sort -k2 1111.txt 
eeese   23       22      fgdf
eeese   23       22      fgdf
sdsad   311      315     asd3f
wdasd   551      133     adsff
sdsad   606      44      fgfdgdf
wdwew   77       599     gghgf
dfdff   78       55      fdgd
    -n 指定分类列上按数值来分类排序,如第按第2列数值大小来分类
[root@localhost ~]# sort -k2n 1111.txt
eeese   23       22      fgdf
eeese   23       22      fgdf
wdwew   77       599     gghgf
dfdff   78       55      fdgd
sdsad   311      315     asd3f
wdasd   551      133     adsff
sdsad   606      44      fgfdgdf
    -u 去除重复的行,即完全一样的行,只保留一行
[root@localhost ~]# sort -k2n -u 1111.txt 
eeese   23      22      fgdf          只有1行了
wdwew   77      599     gghgf
dfdff   78      55      fdgd
sdsad   311     315     asd3f
wdasd   551     133     adsff
sdsad   606     44      fgfdgdf

2.uniq
  默认不加参数,重复的行只显示1行
[root@localhost ~]# uniq 1111.txt   
sdsad   311     315     asd3f
wdasd   551     133     adsff
sdsad   606     44      fgfdgdf
wdwew   77      599     gghgf
eeese   23      22      fgdf
dfdff   78      55      fdgd
-u --unique 只显示不是重复出现的行,如下重复的行eeese   23      22      fgdf  被去掉了
[root@localhost ~]# uniq -u 1111.txt
sdsad   311     315     asd3f
wdasd   551     133     adsff
sdsad   606     44      fgfdgdf
wdwew   77      599     gghgf
dfdff   78      55      fdgd

-d, --repeated  只显示重复的行
[root@localhost ~]# uniq -d 1111.txt
eeese   23      22      fgdf
 
-c --count 打印每一重复行出现次数
        [root@localhost ~]# uniq -c 1111.txt  
      1 sdsad   311     315     asd3f
      1 wdasd   551     133     adsff
      1 sdsad   606     44      fgfdgdf
      1 wdwew   77      599     gghgf
      2 eeese   23      22      fgdf
      1 dfdff   78      55      fdgd     

3.cut
    -c 用来指定剪切范围,如下所示:
          -c2,5-8 剪切第2个字符,然后是第5到第8个字符。
          -c1-50 剪切前5 0个字符。
   -f field 指定剪切域数,如下所示
         -f3,5 剪切第3域,第5域。
         -f2,8-10 剪切第2域,第8域到第10域。
4.tr
把小写字母换成大写
   tr  "[a-z]" "[A-Z]"  <1111.txt
把单个空格换成tab键
   tr " " "\t" <1111.txt
把多个空格换成tab键
   tr -s " " "\t" <1111.txt

5.split
有一文件aaa.sql,有3532行。大小2675K
[root@localhost ~]# wc -l aaa.sql
3532 aaa.sql
[root@localhost ~]# ll aaa.sql
-rw-r--r-- 1 root root 2675086 12-28 04:36 aaa.sql
split不加参数,默认以1000行一个文件分割,文件名以xaa,xab,xac....
加-l参数,以1500行分割文件
[root@localhost ~]# split -l 1500 aaa.sql
[root@localhost ~]# wc -l xa*
   1500 xaa
   1500 xab
    532 xac
   3532 总计
以文件大小来分割-b参数,以1M来分割文件
[root@localhost ~]# split -b 1m aaa.sql
[root@localhost ~]# ll xa*
-rw-r--r-- 1 root root 1048576 12-28 04:48 xaa
-rw-r--r-- 1 root root 1048576 12-28 04:48 xab
-rw-r--r-- 1 root root  577934 12-28 04:48 xac
以800k来分割文件
[root@localhost ~]# split -b 800k aaa.sql
[root@localhost ~]# ll xa*              
-rw-r--r-- 1 root root 819200 12-28 04:49 xaa
-rw-r--r-- 1 root root 819200 12-28 04:49 xab
-rw-r--r-- 1 root root 819200 12-28 04:49 xac
-rw-r--r-- 1 root root 217486 12-28 04:49 xad

分享到:
评论

相关推荐

    linux sort join cut paste split uniq

    `sort`、`join`、`cut`、`paste`、`split`和`uniq`是Linux命令行中的一组强大工具,它们专门用于对文本文件进行排序、合并、切割、拼接、分割和去重等操作。下面将详细讲解这些工具的使用方法和应用场景。 1. `sort...

    uniqtoo:`sort |的版本uniq -c`,其输出在解析每一行时实时更新

    的一个版本sort | uniq -c sort | uniq -c与输出,在实时更新的各行被解析。 用法 基于线进入管的东西uniqtoo一样的,你会进入sort | uniq -c sort | uniq -c 。 这是一个示例,该示例计算此存储库中文件的扩展名...

    `sort | 的一个版本uniq -c` 输出在解析每一行时实时更新

    uniqtoosort | uniq -c版本sort | uniq -csort | uniq -c输出在解析每一行时实时更新。用法将一些基于行的东西输送到uniqtoo ,就像你在sort | uniq -csort | uniq -c 。这是一个计算此存储库中文件扩展名的示例,...

    linux下uniq和sort命令用法详解.docx

    Linux 下 uniq 和 sort 命令用法详解 uniq 命令是 Linux 中的一个文本处理命令,用于去除文本中的重复行。该命令读取输入文件,并比较相邻的行。在正常情况下,第二个及以后更多个重复行将被删去,行比较是根据所用...

    数据文件处理命令小结(tr,sort,cut,paste,join,uniq,split)

    通过这些示例可以看出,`tr` 和 `sort` 都是非常强大的工具,可以帮助我们高效地处理文本文件中的数据。无论是简单的字符替换还是复杂的排序需求,这两个命令都能满足。熟练掌握它们的使用方法对于Linux系统的日常...

    Linux命令 sort、uniq、tr工具详解

    `sort`、`uniq`和`tr`就是其中三个非常实用的文本处理工具,它们分别用于对文本文件内容进行排序、去除重复行以及转换字符。 首先,让我们详细了解`sort`命令。`sort`的主要功能是对文本文件的行进行排序。它支持...

    rh-nodejs6-nodejs-lodash.uniq-4.5.0-2.el7.noarch.rpm

    官方离线安装包,测试可用。使用rpm -ivh [rpm完整包名] 进行安装

    基于 python 实现的中文姓名与性别的相关性分析

    【作品名称】:基于 python 实现的中文姓名与性别的相关性分析 【适用人群】:适用于希望学习不同技术领域的小白或...grep ",男" data/chinese_name_gender_0*.csv|cut -d, -f1|cut -d: -f2|sort|uniq &gt; data/male.txt

    rh-nodejs6-nodejs-lodash.uniq-4.5.0-1.el7.noarch.rpm

    官方离线安装包,测试可用。使用rpm -ivh [rpm完整包名] 进行安装

    linux常用命令

    netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n ``` - `netstat -ntu`: 显示所有TCP连接,`-n`表示显示数字地址,`-t`表示只显示TCP连接,`-u`表示同时显示UDP连接。 - `awk '{print $...

    Linux学习笔记【博文整理系列】

    Linux笔记——命令:Sort,uniq,join,cut,paste,split Linux笔记——shell基础:变量&本地变量&位置变量&特定变量参数 Linux笔记——条件测试test Linux笔记——控制流 Linux笔记——shell补充:参数传递&函数等 Linux...

    ember-cli-uniq:实现Uniplaces设计系统的Ember.js的默认组件

    ember-cli-uniq 这是一个插件,其中包含一些Uniplaces产品中最常用的前端组件。 组件的演示可以在上。 安装 在ember-cli项目中安装ember-cli插件: $ ember install ember-cli-uniq 升级中 从ember-cli-uniq@0.2....

    Linux sort,uniq,cut,wc命令详解

    sort  sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。  sort语法  [root@www~]# sort [-...

    linux学习笔记,最经常用的命令

    以下是关于标题"Linux学习笔记,最经常用的命令"和描述"学习LINUX最先接触的一些命令,比较实用"中涉及的几个关键命令的详细说明: 1. **Cat命令**: - `cat filename`:用于查看文件`filename`的内容。 - `cat &gt;...

    Shell中的sort和uniq命令

    在Linux Shell环境中,`sort` 和 `uniq` 是两个非常实用的命令,它们主要用于文本文件的数据处理。`sort` 命令用于对文件内容进行排序,而 `uniq` 命令则用于去除文件中连续重复的行,或者显示只出现一次或多次的行...

    linux下uniq和sort命令用法.docx

    Linux 下 uniq 和 sort 命令用法 uniq 命令是 Linux 中的一个文本处理命令,用于删除或显示文本文件中的重复行。它可以读取输入文件,并比较相邻的行。在正常情况下,第二个及以后更多个重复行将被删去,行比较是...

    071204awk应用1

    - `netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn`: 此命令用于统计不同TCP连接状态的数量,`$6`代表状态,排序后可快速找出异常状态。 - `netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print ...

    linux使用lsof命令查看文件打开情况

    在Linux操作系统中,掌握如何查看文件的打开情况对于系统管理和故障排查至关重要。`lsof`(list open files)命令是一个非常实用的工具,它能够显示系统中所有打开的文件和对应的进程信息。本文将深入探讨`lsof`命令的...

    在Linux的命令行中实现字符出现频率统计的方法.docx

    cat man.txt | tr ' ' '\n' | tr [:upper:] [:lower:] | tr -d [:punct:] | grep -v [^a-z] | sort | uniq -c | sort -rn | head ``` 2. 统计单个字符频率: 使用`fold`命令将每一行拆分为单字符行,如`fold -w1...

Global site tag (gtag.js) - Google Analytics