`
cloudmail
  • 浏览: 271351 次
  • 来自: 广州
社区版块
存档分类
最新评论

awk合并行、linux shell 字符串操作、sed字符替换

 
阅读更多
四行合一行 
cat filename

111111111

222222222

333333333

444444444

555555555

666666666

777777777

888888888

999999999



awk '{if (NR%4==0){print $0} else {printf"%s ",$0}}' filename

111111111 222222222 333333333 444444444

555555555 666666666 777777777 888888888

999999999



在做shell批处理程序时候,经常会涉及到字符串相关操作。有很多命令语句,如:awk,sed都可以做字符串各种操作。 其实shell内置一系列操作符号,可以达到类似效果,大家知道,使用内部操作符会省略启动外部程序等时间,因此速度会非常的快。

 

一、判断读取字符串值

表达式 含义
${var} 变量var的值, 与$var相同
   
${var-DEFAULT} 如果var没有被声明, 那么就以$DEFAULT作为其值 *
${var:-DEFAULT} 如果var没有被声明, 或者其值为空, 那么就以$DEFAULT作为其值 *
   
${var=DEFAULT} 如果var没有被声明, 那么就以$DEFAULT作为其值 *
${var:=DEFAULT} 如果var没有被声明, 或者其值为空, 那么就以$DEFAULT作为其值 *
   
${var+OTHER} 如果var声明了, 那么其值就是$OTHER, 否则就为null字符串
${var:+OTHER} 如果var被设置了, 那么其值就是$OTHER, 否则就为null字符串
   
${var?ERR_MSG} 如果var没被声明, 那么就打印$ERR_MSG *
${var:?ERR_MSG} 如果var没被设置, 那么就打印$ERR_MSG *
   
${!varprefix*} 匹配之前所有以varprefix开头进行声明的变量
${!varprefix@} 匹配之前所有以varprefix开头进行声明的变量

加入了“*”  不是意思是: 当然, 如果变量var已经被设置的话, 那么其值就是$var.

[chengmo@localhost ~]$ echo ${abc-'ok'} ok [chengmo@localhost ~]$ echo $abc

[chengmo@localhost ~]$ echo ${abc='ok'} ok [chengmo@localhost ~]$ echo $abc ok

 

如果abc 没有声明“=" 还会给abc赋值。

[chengmo@localhost ~]$ var1=11;var2=12;var3= [chengmo@localhost ~]$ echo ${!v@}             var1 var2 var3 [chengmo@localhost ~]$ echo ${!v*} var1 var2 var3

 

${!varprefix*}与${!varprefix@}相似,可以通过变量名前缀字符,搜索已经定义的变量,无论是否为空值。

 

二、字符串操作(长度,读取,替换)

表达式 含义
${#string} $string的长度
   
${string:position} 在$string中, 从位置$position开始提取子串
${string:position:length} 在$string中, 从位置$position开始提取长度为$length的子串
   
${string#substring} 从变量$string的开头, 删除最短匹配$substring的子串
${string##substring} 从变量$string的开头, 删除最长匹配$substring的子串
${string%substring} 从变量$string的结尾, 删除最短匹配$substring的子串
${string%%substring} 从变量$string的结尾, 删除最长匹配$substring的子串
   
${string/substring/replacement} 使用$replacement, 来代替第一个匹配的$substring
${string//substring/replacement} 使用$replacement, 代替所有匹配的$substring
${string/#substring/replacement} 如果$string的前缀匹配$substring, 那么就用$replacement来代替匹配到的$substring
${string/%substring/replacement} 如果$string的后缀匹配$substring, 那么就用$replacement来代替匹配到的$substring
   

说明:"* $substring”可以是一个正则表达式.

 

1.长度

[web97@salewell97 ~]$ test='I love china' [web97@salewell97 ~]$ echo ${#test} 12

${#变量名}得到字符串长度

 

2.截取字串

[chengmo@localhost ~]$ test='I love china' [chengmo@localhost ~]$ echo ${test:5}      e china [chengmo@localhost ~]$ echo ${test:5:10}  e china

${变量名:起始:长度}得到子字符串

 

3.字符串删除

[chengmo@localhost ~]$ test='c:/windows/boot.ini' [chengmo@localhost ~]$ echo ${test#/} c:/windows/boot.ini [chengmo@localhost ~]$ echo ${test#*/} windows/boot.ini [chengmo@localhost ~]$ echo ${test##*/} boot.ini

[chengmo@localhost ~]$ echo ${test%/*}  c:/windows [chengmo@localhost ~]$ echo ${test%%/*}

${变量名#substring正则表达式}从字符串开头开始配备substring,删除匹配上的表达式。

${变量名%substring正则表达式}从字符串结尾开始配备substring,删除匹配上的表达式。

注意:${test##*/},${test%/*} 分别是得到文件名,或者目录地址最简单方法。

4.字符串替换

[chengmo@localhost ~]$ test='c:/windows/boot.ini' [chengmo@localhost ~]$ echo ${test/\//\\} c:\windows/boot.ini [chengmo@localhost ~]$ echo ${test//\//\\} c:\windows\boot.ini

 

${变量/查找/替换值} 一个“/”表示替换第一个,”//”表示替换所有,当查找中出现了:”/”请加转义符”\/”表示。

三、性能比较

在shell中,通过awk,sed,expr 等都可以实现,字符串上述操作。下面我们进行性能比较。

[chengmo@localhost ~]$ test='c:/windows/boot.ini'                        [chengmo@localhost ~]$ time for i in $(seq 10000);do a=${#test};done;           

real    0m0.173s user    0m0.139s sys     0m0.004s

[chengmo@localhost ~]$ time for i in $(seq 10000);do a=$(expr length $test);done;      

real    0m9.734s user    0m1.628s

 

速度相差上百倍,调用外部命令处理,与内置操作符性能相差非常大。在shell编程中,尽量用内置操作符或者函数完成。使用awk,sed类似会出现这样结果。



sed直接修改文件
#将双引号转换成分号
sed -i 's/"//g' $filename
#将分号转换成逗号
sed -i 's/;/,/g' $filename
分享到:
评论
2 楼 cloudmail 2015-01-18  
http://blog.csdn.net/zhang_red/article/details/8541313
1 楼 cloudmail 2015-01-18  
逐行读取文件时支持读取以空格开头的内容:
IFS=""; while read i; do echo "$i"; done < file

相关推荐

    Shell编程范例之字符串操作-TinyLab原创

    例如,可以利用Shell的参数扩展功能来提取子串,或者使用文本处理工具如sed和awk等来执行复杂的字符串替换和插入操作。字符串的长度可以通过`expr length`命令来获得。而对于字符串的存储结构,除了可以简单地作为...

    awk sed3 linux shell

    awk和sed都是Linux系统中用于文本处理的强大工具,尤其在shell编程中经常被用作字符串处理的利器。awk是一种优秀的文本和数据提取工具,它不仅能进行复杂的模式匹配,还可以执行算术运算和数据处理。sed则是一种流...

    shell字符串处理

    在做shell批处理程序时候,经常会...有很多命令语句,如:awk,sed都可以做字符串各种操作。 其实shell内置一系列操作符号,可以达到类似效果,大家知道,使用内部操作符会省略启动外部程序等时间,因此速度会非常的快。

    Shell、awk、sed面试题汇总(无答案).doc

    Shell、awk、sed 面试题汇总 以下是从给定的文件中生成的相关知识点: Shell ...这些知识点涵盖了 Shell、awk 和 sed 命令的使用、变量赋值和取值、文件操作、权限设置、数据处理和统计等方面。

    Linux主要shell命令、sed、awk使用详解

    ### Linux主要Shell命令、sed、awk使用详解 #### 一、Shell基础概念 Shell作为Linux操作系统的核心组件之一,充当着用户与系统内核之间的重要桥梁。通过Shell,用户可以直接与操作系统进行交互,执行各种命令来...

    shell脚本修改json中某个字段的值

    在修改JSON字段的场景中,sed可以查找并替换特定的字符串,而无需打开或修改原始文件。 下面是一个基本的shell脚本示例,演示如何使用awk和sed修改JSON文件中的某个字段值: ```bash #!/bin/bash # 定义要修改的...

    linux shell字符串内置的常用操作(获取长度、查找、替换)

    ### Linux Shell字符串内置操作详解 在Linux环境下进行脚本编程时,经常需要用到字符串处理功能。虽然像`awk`和`sed`这样的工具提供了强大的文本处理能力,但是它们启动时需要额外的时间开销。相比之下,shell自身...

    UNIX Shell awk sed 实例 精解 (第4版)

    在处理选定的行时,awk可以执行算术或字符串操作,甚至可以调用内置函数或自定义函数。awk的强大之处在于其内置的规则和动作,能够方便地进行数据格式转换和报表生成。 **sed** 是流编辑器(Stream Editor),它在...

    linux下perl,sed,shell批量替换文件内容.docx

    其中,`grep` 命令用于查找包含指定字符串的文件,`awk` 命令用于提取文件名,`sort` 命令用于排序,`uniq` 命令用于去重,`xargs` 命令将结果传递给 sed 命令,`sed -i` 命令将执行字符串替换操作。 例如,要将...

    shell中的精髓_sed_awk

    - 替换文件中的字符串:`sed 's/old/new/g' file.txt` ##### 2.3 正则表达式语法 - **基本元素**:字符集、元字符等。 - **元字符**:`.`(任意单个字符)、`*`(零次或多次重复前面的字符)、`+`(一次或多次重复...

    Sed与awk第二版(中文高清版)

    1. 文本替换:sed可以用来替换文件中的字符串。 2. 插入和删除:可以用来在指定位置插入文本行或删除指定的行。 3. 多种模式:可以指定哪些行需要被编辑,以及哪些行不进行编辑。 4. 批处理:sed可以将多个编辑命令...

    Shell脚本中计算字符串长度的5种方法

    ### Shell脚本中计算字符串长度的五种方法...除了上述方法外,Shell脚本中还可能存在其他获取字符串长度的方式,例如使用 `sed`、`cut` 等工具结合起来实现。欢迎大家在评论区分享更多实用的技巧和建议,共同学习进步。

    sed和awk最佳入门教程——摘自《实战linuxshell编程与服务器管理》.pdf

    正则表达式是sed和awk的核心,它是描述字符串模式的语言。以下是一些基本的正则表达式符号: - `.`:匹配任意单个字符。 - `^`:匹配行首。 - `$`:匹配行尾。 - `[...]`:字符集合,匹配括号内的任意一个字符。 - ...

    Linux中Shell截取某行某列信息

    背景:执行shell命令,抓取shell返回信息中的所需信息,已udhcpc为例获取DNS的地址。 暂不作处理,执行udhcpc。 使用grep过滤掉无用信息,执行 udhcpc | grep “DNS...最后使用tr去除字符串最后的\n,默认会包含。执行

    Linux shell 获得字符串所在行数及位置的方法

    01 获取字符串所在的行数 方式一:用grep -n [root@root]# cat test ...方式二:用sed -n ‘/查询的字符串/=’ 文件 [root@root]# cat test apple bit create delect exe flow good [root@root]# [ro

    shell&awk;&sed;

    6. **算术和字符串操作**:awk内置了丰富的算术和字符串函数,如`length()`、`substr()`等。 7. **流程控制**:awk支持循环(`for`、`while`)和条件语句(`if`、`if...else`)。 **sed**是一个流编辑器,它可以对...

    linux系统,awk,grep,sed

    ### Linux系统中的查询三剑客:grep、awk、sed 使用详解 #### grep 命令详解 `grep` 是一个非常强大的文本搜索工具,它可以在文本中查找指定的字符串,并且能够逐行处理文本。这使得 `grep` 成为了文本处理和数据...

    sed awk高级编程案例

    在本文中,我们主要探讨了sed和awk两种工具在Linux环境下进行文本处理的各种高级用法,涉及从文件读取数据、字符串处理、字符编码转换和特殊字符替换等多个实用案例。接下来,我们将对各个案例进行详细解析。 首先...

Global site tag (gtag.js) - Google Analytics