`

linux下,提取无重复字符串

阅读更多

目标=提取文件内容中的fileName,无重复。

 

------------------待处理文件

the follow code has no meaning, just for testing.

# exec copy $svr/c4.txt to $user/b1-dir

exec copy $svr/a4.txt to $user/b1-dir

 

#

try to extract information from a file using linux commands.

exec copy $svr/a3.txt to $user/b2-dir

exec copy $svr/a2.txt to $user/b3-dir

 

line test again;

exec copy $svr/a1.txt to $user/b4-dir

exec copy $svr/a9.txt to $user/b5-dir

exec copy $svr/a8.txt to $user/b6-dir

exec copy $svr/a7.txt to $user/b7-dir

# exec copy $svr/c5.txt to $user/b1-dir

exec copy $svr/a6.txt to $user/b8-dir

exec copy $svr/a5.txt to $user/b9-dir

 

paste file to another file test:

exec copy $svr/a4.txt to $user/b1-dir

exec copy $svr/a3.txt to $user/b2-dir

exec copy $svr/a2.txt to $user/b3-dir

exec copy $svr/a1.txt to $user/b4-dir

------------------待处理文件end

 

解答=

grep ".txt" test.txt | sed 's/# //' | cut -d ' ' -f3 | cut -d '/' -f2 | sort | uniq

 

解释=

grep ".txt" test.txt        提取含有".txt"的整行字符串。

sed 's/# //'                移除行首的注释符“# ”。

cut -d ' ' -f3              按' '分割每行,取出第3个子串。

cut -d '/' -f2              按'/'分割每行,取出第2个子串。

sort                        对所有行排序。

uniq                        剔除重复的行。

 

结果=

a1.txt

a2.txt

a3.txt

a4.txt

a5.txt

a6.txt

a7.txt

a8.txt

a9.txt

c4.txt

c5.txt

 

天娇

天娇
  • 大小: 26.1 KB
分享到:
评论
发表评论

文章已被作者锁定,不允许评论。

相关推荐

    15Linux下Oracle的使用入门.ppt

    例如,`TO_DATE`用于将字符串转换为日期,`SYSDATE`获取当前系统日期,`SUBSTR`用于提取字符串的一部分,`UPPER`和`LOWER`转换字符大小写。 在Linux环境下,Oracle的安装、配置、管理和优化都需要熟悉Linux命令行...

    Linux12章1

    在Linux系统中,正规表示法常用于搜索、替换和提取文本,尤其是在管理日志、过滤垃圾邮件等场景下。例如,在服务器上,我们可以使用正规表示法来删除包含特定模式的垃圾广告信件。 正规表示法的使用需要配合一些...

    Linux shell编程指南

    7.4 使用*匹配字符串中的单字符或其重复 序列 51 7.5 使用\屏蔽一个特殊字符的含义 52 7.6 使用[]匹配一个范围或集合 52 7.7 使用\{\}匹配模式结果出现的次数 53 7.8 小结 55 第8章 grep家族 56 8.1 grep 57 8.1.1 ...

    linux下awk工具的使用

    ### Linux 下 awk 工具的使用详解 #### 1. awk 简介 `awk` 是一款在 Linux/Unix 环境下极其强大的文本处理工具,它能够灵活地处理各种格式的数据文件,适用于数据筛选、分析及格式转换等多种场景。`awk` 的主要优势...

    Linux系统管理-shell编程2.pdf

    Linux系统管理之Shell编程是云计算Linux课程系列的第十二章,本章节的重点在于shell编程,特别是其中的正则表达式,它在文件中用于匹配符合条件的字符串。本节主要介绍了基础正则表达式的元字符以及其具体的应用。 ...

    Linux学习笔记(强悍总结值得一看1).pdf

    此外,`grep` 是一个强大的文本搜索工具,可以用来查找包含特定字符串的文件,例如`grep -l` 显示包含特定字符串的所有文件名,`grep -v` 反向匹配,忽略包含指定字符串的行。结合管道符`|`,可以将一个命令的输出...

    Linux 下脚本编写基础

    - `grep`:在文件中搜索匹配的字符串。 - `cut`:提取文件的部分内容。 - `cat`:显示文件内容。 - `file`:识别文件类型。 - `read`:从用户那里获取输入并赋值给变量。 - `sort`:对文件内容进行排序。 - `...

    linux 网络爬虫 C++

    10. **字符串处理**:`StrFun.cpp`包含自定义的字符串操作函数,用于处理抓取到的HTML字符串,如分割、替换、查找等。 11. **备份文件**:`tse_seed.pku.bak`可能是从北京大学(PKU)抓取的种子数据的备份,用于...

    Linux shell脚本编写基础

    上面的例子中,变量a被赋值为字符串"helloworld",然后通过echo命令输出。需要注意的是,在变量名与其他字符之间应该用空格隔开,以避免脚本解析错误。若需要在变量周围明确地指出变量边界,可以通过花括号来实现,...

    Linux环境下shell编程

    ### Linux环境下Shell编程知识点 #### 一、Shell简介 Shell是一种命令行解释器,也是用户与操作系统之间的交互界面。在Linux系统中,Shell是连接用户和内核的重要桥梁,允许用户通过命令行来控制计算机执行任务。...

    linux grep 程序源码

    正则表达式是一种强大的文本模式匹配语言,可以用于查找、替换和提取字符串中的特定模式。在`grep`源码中,会涉及以下关键概念: 1. **字符集与模式匹配**:`grep`支持基本和扩展的正则表达式。基础正则表达式包括...

    Linux Grep命令使用的详细介绍

    总的来说,Linux Grep命令是一个功能强大且灵活的文本查找工具,其配合正则表达式使用,可以帮助用户高效地在大量文本数据中提取所需信息,是Linux系统管理、日志分析和文本处理等场景下的得力助手。熟练掌握grep...

    常用查看日志的linux命令

    要在指定目录及其所有子目录下搜索字符串,可以使用`-r`选项。 8. **列出包含匹配内容的文件名** 命令格式:`grep -H –r "被查找的字符串" 目录路径 | cut -d: -f1 [| uniq]` 结合`-H`选项列出包含匹配内容的...

    linux下的通配符与正则表达式

    在Linux系统中,通配符和正则表达式是两种非常重要的文本匹配工具,它们用于在文件名或文本数据中查找符合特定模式的字符串。理解并掌握这两种技术对于日常的文件管理和数据分析工作至关重要。 首先,我们来了解...

    Linux系统常用命令快速入门

    11. **grep**:搜索文件中的特定字符串或模式。“grep 'hello' file.txt”在file.txt中查找包含"hello"的行。 12. **find**:根据指定条件搜索文件。“find / -name 'myfile'”在根目录下寻找名为myfile的文件。 ...

    Linux脚本编写基础.pdf

    在shell编程中,所有的变量都由字符串组成,并且用户不需要对变量进行声明。要赋值给一个变量,可以这样写:`a="hello world"`,然后可以使用`echo`命令来打印变量的内容:`echo "A is:"; echo $a`。 在shell编程中...

    Linux在合集中使用正则表达式来匹配查找.zip

    “在Linux Shell环境中实践如何使用正则表达式对文本字符串进行处理.txt”文件则讲解了如何在shell脚本中使用正则表达式。Bash shell提供了许多内置命令支持正则表达式,如grep、egrep和fgrep。`grep`命令用于在文件...

    The Linux Command Line, 2nd Edition (True PDF)

    8. 正则表达式的模式匹配:Linux命令行工具大量使用正则表达式来匹配特定模式的字符串,这对于文本处理和数据搜索至关重要。 9. Linux的历史与哲学:这部分内容涉及Linux命令行工具的起源,以及它们是如何继承自...

Global site tag (gtag.js) - Google Analytics