正则表达式之道

 

一、什么是正则表达式

　　一个正则表达式，就是用某种模式去匹配一类字符串的一个公式。很多人因为它们看上去比较古怪而且复杂所以不敢去使用 —— 很不幸，这篇文章也不能够改变这一点，不过，经过一点点练习之后我就开始觉得这些复杂的表达式其实写起来还是相当简单的，而且，一旦你弄懂它们，你就能把数小时辛苦而且易错的文本处理工作压缩在几分钟（甚至几秒钟）内完成。正则表达式被各种文本编辑软件、类库（例如 Rogue Wave 的 tools.h++ ）、脚本工具（像 awk/grep/sed ）广泛的支持，而且像 Microsoft 的 Visual C++ 这种交互式 IDE 也开始支持它了。

　　我们将在如下的章节中利用一些例子来解释正则表达式的用法，绝大部分的例子是基于 vi 中的文本替换命令和 grep 文件搜索命令来书写的，不过它们都是比较典型的例子，其中的概念可以在 sed 、 awk 、 perl 和其他支持正则表达式的编程语言中使用。你可以看看不同工具中的正则表达式这一节，其中有一些在别的工具中使用正则表达式的例子。还有一个关于 vi 中文本替换命令（ s ）的简单说明附在文后供参考。

二、正则表达式基础

　　正则表达式由一些普通字符和一些元字符（ metacharacters ）组成。普通字符包括大小写的字母和数字，而元字符则具有特殊的含义，我们下面会给予解释。

　　在最简单的情况下，一个正则表达式看上去就是一个普通的查找串。例如，正则表达式 "testing" 中没有包含任何元字符，，它可以匹配 "testing" 和 "123testing" 等字符串，但是不能匹配 "Testing" 。

　　要想真正的用好正则表达式，正确的理解元字符是最重要的事情。下表列出了所有的元字符和对它们的一个简短的描述。

　　元字符 描述

　　 .

　　匹配任何单个字符。例如正则表达式 r.t 匹配这些字符串： rat 、 rut 、 r t ，但是不匹配 root 。

　　 $

　　匹配行结束符。例如正则表达式 weasel$ 能够匹配字符串 "He's a weasel" 的末尾，但是不能匹配字符串 "They are a bunch of weasels." 。

　　 ^

　　匹配一行的开始。例如正则表达式 ^When in 能够匹配字符串 "When in the course of human events" 的开始，但是不能匹配 "What and When in the" 。

　　 *

　　匹配 0 或多个正好在它之前的那个字符。例如正则表达式 .* 意味着能够匹配任意数量的任何字符。

　　 \

　　这是引用符，用来将这里列出的这些元字符当作普通的字符来进行匹配。例如正则表达式 \$ 被用来匹配美元符号，而不是行尾，类似的，正则表达式 \. 用来匹配点字符，而不是任何字符的通配符。

　　 [ ]

　　 [c1-c2]

　　 [^c1-c2]

　　匹配括号中的任何一个字符。例如正则表达式 r[aou]t 匹配 rat 、 rot 和 rut ，但是不匹配 ret 。可以在括号中使用连字符 - 来指定字符的区间，例如正则表达式 [0-9] 可以匹配任何数字字符；还可以制定多个区间，例如正则表达式 [A-Za-z] 可以匹配任何大小写字母。另一个重要的用法是 “ 排除 ” ，要想匹配除了指定区间之外的字符 —— 也就是所谓的补集 —— 在左边的括号和第一个字符之间使用 ^ 字符，例如正则表达式 [^269A-Z] 将匹配除了 2 、 6 、 9 和所有大写字母之外的任何字符。

　　 \< \>

　　匹配词（ word ）的开始（ \< ）和结束（ \> ）。例如正则表达式 \<the 能够匹配字符串 "for the wise" 中的 "the" ，但是不能匹配字符串 "otherwise" 中的 "the" 。注意：这个元字符不是所有的软件都支持的。

　　 \( \)

　　将 \( 和 \) 之间的表达式定义为 “ 组 ” （ group ），并且将匹配这个表达式的字符保存到一个临时区域（一个正则表达式中最多可以保存 9 个），它们可以用 到 的符号来引用。

　　 |

　　将两个匹配条件进行逻辑 “ 或 ” （ Or ）运算。例如正则表达式 (him|her) 匹配 "it belongs to him" 和 "it belongs to her" ，但是不能匹配 "it belongs to them." 。注意：这个元字符不是所有的软件都支持的。

　　 +

　　匹配 1 或多个正好在它之前的那个字符。例如正则表达式 9+ 匹配 9 、 99 、 999 等。注意：这个元字符不是所有的软件都支持的。

　　 ?

　　匹配 0 或 1 个正好在它之前的那个字符。注意：这个元字符不是所有的软件都支持的。

　　 \{i\}

　　 \{i,j\}

　　匹配指定数目的字符，这些字符是在它之前的表达式定义的。例如正则表达式 A[0-9]\{3\} 能够匹配字符 "A" 后面跟着正好 3 个数字字符的串，例如 A123 、 A348 等，但是不匹配 A1234 。而正则表达式 [0-9]\{4,6\} 匹配连续的任意 4 个、 5 个或者 6 个数字字符。注意：这个元字符不是所有的软件都支持的。

　　最简单的元字符是点，它能够匹配任何单个字符（注意不包括新行符）。假定有个文件 test.txt 包含以下几行内容：

　　 he is a rat

　　 he is in a rut

　　 the food is Rotten

　　 I like root beer

　　我们可以使用 grep 命令来测试我们的正则表达式， grep 命令使用正则表达式去尝试匹配指定文件的每一行，并将至少有一处匹配表达式的所有行显示出来。命令

　　 grep r.t test.txt

　　在 test.txt 文件中的每一行中搜索正则表达式 r.t ，并打印输出匹配的行。正则表达式 r.t 匹配一个 r 接着任何一个字符再接着一个 t 。所以它将匹配文件中的 rat 和 rut ，而不能匹配 Rotten 中的 Rot ，因为正则表达式是大小写敏感的。要想同时匹配大写和小写字母，应该使用字符区间元字符（方括号）。正则表达式 [Rr] 能够同时匹配 R 和 r 。所以，要想匹配一个大写或者小写的 r 接着任何一个字符再接着一个 t 就要使用这个表达式： [Rr].t 。

　　要想匹配行首的字符要使用抑扬字符（ ^ ） —— 又是也被叫做插入符。例如，想找到 text.txt 中行首 "he" 打头的行，你可能会先用简单表达式 he ，但是这会匹配第三行的 the ，所以要使用正则表达式 ^he ，它只匹配在行首出现的 h 。

　　有时候指定 “ 除了 ××× 都匹配 ” 会比较容易达到目的，当抑扬字符（ ^ ）出现在方括号中是，它表示 “ 排除 ” ，例如要匹配 he ，但是排除前面是 t or s 的情性（也就是 the 和 she ），可以使用： [^st]he 。

　　可以使用方括号来指定多个字符区间。例如正则表达式 [A-Za-z] 匹配任何字母，包括大写和小写的；正则表达式 [A-Za-z][A-Za-z]* 匹配一个字母后面接着 0 或者多个字母（大写或者小写）。当然我们也可以用元字符 + 做到同样的事情，也就是： [A-Za-z]+ ，和 [A-Za-z][A-Za-z]* 完全等价。但是要注意元字符 + 并不是所有支持正则表达式的程序都支持的。关于这一点可以参考后面的正则表达式语法支持情况。

　　要指定特定数量的匹配，要使用大括号（注意必须使用反斜杠来转义）。想匹配所有 100 和 1000 的实例而排除 10 和 10000 ，可以使用： 10\{2,3\} ，这个正则表达式匹配数字 1 后面跟着 2 或者 3 个 0 的模式。在这个元字符的使用中一个有用的变化是忽略第二个数字，例如正则表达式 0\{3,\} 将匹配至少 3 个连续的 0 。

　　简单的例子

　　这里有一些有代表性的、比较简单的例子。

　　 vi 命令 作用

　　 :%s/ */ /g 把一个或者多个空格替换为一个空格。

　　 :%s/ *$// 去掉行尾的所有空格。

　　 :%s/^/ / 在每一行头上加入一个空格。

　　 :%s/^[0-9][0-9]* // 去掉行首的所有数字字符。

　　 :%s/b[aeio]g/bug/g 将所有的 bag 、 beg 、 big 和 bog 改为 bug 。

　　 :%s/t\([aou]\)g/ht/g 将所有 tag 、 tog 和 tug 分别改为 hat 、 hot 和 hug （注意用 group 的用法和使用引用前面被匹配的字符）。

　　中级的例子（神奇的咒语）

　　例 1

　　将所有方法 foo(a,b,c) 的实例改为 foo(b,a,c) 。这里 a 、 b 和 c 可以是任何提供给方法 foo() 的参数。也就是说我们要实现这样的转换：

　　之前 之后

　　 foo(10,7,2) foo(7,10,2)

　　 foo(x+13,y-2,10) foo(y-2,x+13,10)

　　 foo( bar(8), x+y+z, 5) foo( x+y+z, bar(8), 5)

　　下面这条替换命令能够实现这一魔法：

　　 :%s/foo(\([^,]*\),\([^,]*\),\([^)]*\))/foo($2,$1,$3)/g

　　现在让我们把它打散来加以分析。写出这个表达式的基本思路是找出 foo() 和它的括号中的三个参数的位置。第一个参数是用这个表达式来识别的：： \([^,]*\) ，我们可以从里向外来分析它：

　　 [^,] 除了逗号之外的任何字符

　　 [^,]* 0 或者多个非逗号字符

　　 \([^,]*\) 将这些非逗号字符标记为，这样可以在之后的替换模式表达式中引用它

　　 \([^,]*\), 我们必须找到 0 或者多个非逗号字符后面跟着一个逗号，并且非逗号字符那部分要标记出来以备后用。

　　现在正是指出一个使用正则表达式常见错误的最佳时机。为什么我们要使用 [^,]* 这样的一个表达式，而不是更加简单直接的写法，例如： .* ，来匹配第一个参数呢？设想我们使用模式 .* 来匹配字符串 "10,7,2" ，它应该匹配 "10," 还是 "10,7," ？为了解决这个两义性（ ambiguity ），正则表达式规定一律按照最长的串来，在上面的例子中就是 "10,7," ，显然这样就找出了两个参数而不是我们期望的一个。所以，我们要使用 [^,]* 来强制取出第一个逗号之前的部分。

　　这个表达式我们已经分析到了： foo(\([^,]*\) ，这一段可以简单的翻译为 “ 当你找到 foo( 就把其后直到第一个逗号之前的部分标记为 ” 。然后我们使用同样的办法标记第二个参数为。对第三个参数的标记方法也是一样，只是我们要搜索所有的字符直到右括号。我们并没有必要去搜索第三个参数，因为我们不需要调整它的位置，但是这样的模式能够保证我们只去替换那些有三个参数的 foo() 方法调用，在 foo() 是一个重载（ overoading ）方法时这种明确的模式往往是比较保险的。然后，在替换部分，我们找到 foo() 的对应实例，然后利用标记好的部分进行替换，是的第一和第二个参数交换位置。

　　例 2

　　假设有一个 CSV （ comma separated value ）文件，里面有一些我们需要的信息，但是格式却有问题，目前数据的列顺序是：姓名，公司名，州名缩写，邮政编码，现在我们希望讲这些数据重新组织，以便在我们的某个软件中使用，需要的格式为：姓名，州名缩写 - 邮政编码，公司名。也就是说，我们要调整列顺序，还要合并两个列来构成一个新列。另外，我们的软件不能接受逗号前后面有任何空格（包括空格和制表符）所以我们还必须要去掉逗号前后的所有空格。

　　这里有几行我们现在的数据：

　　 Bill Jones, HI-TEK Corporation , CA, 95011

　　 Sharon Lee Smith, Design Works Incorporated, CA, 95012

　　 B. Amos , Hill Street Cafe, CA, 95013

　　 Alexander Weatherworth, The Crafts Store, CA, 95014

　　 ...

　　我们希望把它变成这个样子：

　　 Bill Jones,CA 95011,HI-TEK Corporation

　　 Sharon Lee Smith,CA 95012,Design Works Incorporated

　　 B. Amos,CA 95013,Hill Street Cafe

　　 Alexander Weatherworth,CA 95014,The Crafts Store

　　 ...

　　我们将用两个正则表达式来解决这个问题。第一个移动列和合并列，第二个用来去掉空格。

　　下面就是第一个替换命令：

　　 :%s/\([^,]*\),\([^,]*\),\([^,]*\),\(.*\)/, ,/

　　这里的方法跟例 1 基本一样，第一个列（姓名）用这个表达式来匹配： \([^,]*\) ，即第一个逗号之前的所有字符，而姓名内容被用标记下来。公司名和州名缩写字段用同样的方法标记为和，而最后一个字段用 \(.*\) 来匹配（ " 匹配所有字符直到行末 " ）。替换部分则引用上面标记的那些内容来进行构造。

　　下嬲飧鎏婊幻  钤蛴美慈コ  崭瘢 ?

　　 :%s/[ \t]*,[ \t]*/,/g

　　我们还是分解来看： [ \t] 匹配空格 / 制表符， [ \t]* 匹配 0 或多个空格 / 制表符， [ \t]*, 匹配 0 或多个空格 / 制表符后面再加一个逗号，最后， [ \t]*,[ \t]* 匹配 0 或多个空格 / 制表符接着一个逗号再接着 0 或多个空格 / 制表符。在替换部分，我们简单的我们找到的所有东西替换成一个逗号。这里我们使用了结尾的可选的 g 参数，这表示在每行中对所有匹配的串执行替换（而不是缺省的只替换第一个匹配串）。

　　例 3

　　假设有一个多字符的片断重复出现，例如：

　　 Billy tried really hard

　　 Sally tried really really hard

　　 Timmy tried really really really hard

　　 Johnny tried really really really really hard

　　而你想把 "really" 、 "really really" ，以及任意数量连续出现的 "really" 字符串换成一个简单的 "very" （ simple is good! ），那么以下命令：

　　 :%s/\(really \)\(really \)*/very /

　　就会把上述的文本变成：

　　 Billy tried very hard

　　 Sally tried very hard

　　 Timmy tried very hard

　　 Johnny tried very hard

　　表达式 \(really \)* 匹配 0 或多个连续的 "really " （注意结尾有个空格），而 \(really \)\(really \)* 匹配 1 个或多个连续的 "really " 实例。

　　困难的例子（不可思议的象形文字）

　　 Coming soon.

　　不同工具中的正则表达式

　　 OK ，你已经准备使用 RE （ regular expressions ，正则表达式），但是你并准备使用 vi 。所以，在这里我们给出一些在其他工具中使用 RE 的例子。另外，我还会总结一下你在不同程序之间使用 RE 可能发现的区别。

　　当然，你也可以在 Visual C++ 编辑器中使用 RE 。选择 Edit->Replace ，然后选择 "Regular expression" 选择框， Find What 输入框对应上面介绍的 vi 命令 :%s/pat1/pat2/g 中的 pat1 部分，而 Replace 输入框对应 pat2 部分。但是，为了得到 vi 的执行范围和 g 选项，你要使用 Replace All 或者适当的手工 Find Next and Replace （译者按：知道为啥有人骂微软弱智了吧，虽然 VC 中可以选中一个范围的文本，然后在其中执行替换，但是总之不够 vi 那么灵活和典雅）。

　　 sed

　　 Sed 是 Stream EDitor