正则表达式的应用

需求：

下面一段文本中保存着用户的信息，其中第7个字段是身份证信息，有15位和18位之分，将其中的年份替换成11（15位）或者1111（18位）。环境linux,unix

 

xx|xx|xx|xx|xx|xx|310108900718023|xx|xx|.....
xx|xx|xx|xx|xx|xx|522529198802252219|xx|xx|.....

xx|xx|xx|xx|xx|xx|310108900718023|xx|xx|.....
xx|xx|xx|xx|xx|xx|522529198802252219|xx|xx|..

 

linux环境下，首先想到的方案是：遍历每一行，通过“|”截取，找到身份证后，再通过正则匹配替换。

由于linux中使用正则还需要转义，比如“()”,需要转义成“\(\)”，并没有找到能正确表示"|"的方式，我也尝试了“\|”，但是系统还是认为"|"为特殊字符，于是使用了下面方法：

#!/bin/bash
file='test.txt'
n=0
cat $file | while read line
do
	n=$n+1
	if [ ${#line} == 0 ]
	then
		continue
	else
		i=0
		newline=""
		while((1==1))
		do
			i=$i+1
			split=`echo $line|cut -d "|" -f$i`
			if [ "$split" != "" ]
			then
				if [ $i == 7 ]
				then
					if [ ${#split} == "15" ]
						then
						split=`echo $split | sed 's/\([0-9]\{6\}\)\([0-9]\{2\}\)\([0-9]\{7\}\)/\111\3/g'`
						newline="${newline}${split}|"
					elif  [ ${#split} == "18" ]
						then
						split=`echo $split | sed 's/\([0-9]\{6\}\)\([0-9]\{4\}\)\([0-9]\{8\}\)/\11111\3/g'`
						newline="${newline}${split}|"
					else
						newline="${newline}${split}|"
						continue
					fi
				else
					newline="${newline}${split}|"
					continue
				fi
			else
				newline=`echo ${newline%?}`
				echo newline
				sed "y/${line}/${newline}/" $file    
				break
			fi
		done
	fi
done
echo "success"

后来仔细研究了sed命令，发现linux sed操作有-r,即可扩展的正则表达式，对于"()"不需要进行转义，"\|"也正好能被sed识别，于是解决方式就变简单了:

 

sed -r -i "s/((\w+\|){6})([0-9]{6})([0-9]{2})([0-9]{7})\|/\1\311\5\|/g" test.txt
sed -r -i "s/((\w+\|){6})([0-9]{6})([0-9]{4})([0-9]{8})\|/\1\31111\5\|/g" test.txt

 

实现了方法，但是悲剧的是UNIX系统不支持linux系统很多命令操作。比如sed -r -i都是没有的。而且有些语法不同，所以又回到了原先的方式，去遍历文件再修改，代码如下：

#!/bin/bash
file='test.txt'
newfile='test.bak'
mv $file $newfile
touch $file
text=""
n=0
lastline=`awk '{print NR}' $newfile|tail -n1`
cat $newfile | while read line
do
	n=`expr $n + 1`
	newline=""
	OLD_IFS="$IFS" 
	IFS="|" 
	arr=($line) 
	IFS="$OLD_IFS" 
	i=0
	for s in ${arr[@]}  
	do 
		i=`expr $i + 1`
		len=`expr length $s`
		if [ $i == 7 ]
		then
			if [ $len == "15" ]
			then
				s=`echo $s | sed 's/\([0-9]\{6\}\)\([0-9]\{2\}\)\([0-9]\{7\}\)/\111\3/g'`
				newline="${newline}${s}|"
			elif  [ $len == "18" ]
				then
				s=`echo $s | sed 's/\([0-9]\{6\}\)\([0-9]\{4\}\)\([0-9]\{8\}\)/\11111\3/g'`
				newline="${newline}${s}|"
			else
				newline="${newline}${s}|"
				continue
			fi
		else
			newline="${newline}${s}|"
			continue
		fi
	done 
	newline=`echo ${newline%?}`
	echo $newline >> $file 
done