基本概念
一个正则表达式通常被称为一个模式 (pattern),为用来描述或者匹配一系列符合某个句法规则的字符串。例如:Handel、Händel 和 Haendel 这三个字符串,都可以由“H(a|ä|ae)ndel
”这个模式来描述。大部分正则表达式的形式都有如下的结构:
选择
| 竖直分隔符代表选择。例如“gray|grey
”可以匹配grey或gray。
数量限定
某个字符后的数量限定符用来限定前面这个字符允许出现的个数。最常见的数量限定符包括“+”、“?”和“*”(不加数量限定则代表出现一次且仅出现一次):
+ 加号代表前面的字符必须至少出现一次。(1次、或多次)。例如,“goo+gle
”可以匹配google、gooogle、goooogle等;
? 问号代表前面的字符最多只可以出现一次。(0次、或1次)。例如,“colou?r
”可以匹配color或者colour;
* 星号代表前面的字符可以不出现,也可以出现一次或者多次。(0次、或1次、或多次)。例如,“0*42
”可以匹配42、042、0042、00042等。
匹配
圆括号可以用来定义操作符的范围和优先度。例如,“gr(a|e)y
”等价于“gray|grey
”,“(grand)?father
”匹配father和grandfather。
上述这些构造子都可以自由组合,因此,“H(ae?|ä)ndel
”和“H(a|ae|ä)ndel
”是相同的。
精确的语法可能因不同的工具或程序而异。
历史
最初的正则表达式出现于理论计算机科学的自动控制理论和形式化语言理论中。在这些领域中有对计算(自动控制)的模型和对形式化语言描述与分类的研究。1940年代,Warren McCulloch与Walter Pitts将神经系统中的神经元描述成小而简单的自动控制元。在1950年代,数学家斯蒂芬·科尔·克莱尼利用称之为“正则集合”的数学符号来描述此模型。肯·汤普逊将此符号系统引入编辑器QED,然后是Unix上的编辑器ed,并最终引入grep。自此,正则表达式被广泛地使用于各种Unix或者类似Unix的工具,例如Perl。
Perl正则表达式源自于Henry Spencer写的regex,它已经演化成了pcre(Perl兼容正则表达式,Perl Compatible Regular Expressions),一个由Philip Hazel开发的,为很多现代工具所使用的库。
各计算机语言之间的正则表达式的集成目前开展的很差。未来的Perl6的子项目Apocalypse的设计中已考虑到了这点。
形式化语言理论
正则表达式可以用形式化语言理论的方式来表达。正则表达式由常量和算子组成,它们分别指示字符串的集合和在这些集合上的运算。给定有限字母表 Σ 定义了下列常量:
- (“空集”) ∅ 指示集合 ∅
- (“空串”) ε 指示集合 {ε}
- (“文字字符”) 在 Σ 中的 a 指示集合 {a}
定义了下列运算:
- (“串接”) RS 指示集合 { αβ | α ∈ R ∧ β ∈ S }。例如 {"ab"|"c"}{"d"|"ef"} = {"abd", "abef", "cd", "cef"}。
- (“选择”) R|S 指示 R 和 S 的并集。
- (“Kleene星号”) R* 指示包含 ε 并且闭包在字符串串接下的 R 的最小超集。这是可以通过 R 中的零或多个字符串的串接得到所有字符串的集合。例如,{"ab", "c"}* = {ε, "ab", "c", "abab", "abc", "cab", "cc", "ababab", ... }。
上述常量和算子形成了克莱尼代数。
很多课本使用对选择使用符号 ∪, + 或 ∨ 替代竖杠。
为了避免括号,假定 Kleene 星号有最高优先级,接着是串接,接着是并集。如果没有歧义则可以省略括号。例如,(ab)c
可以写为 abc
而 a|(b(c*))
可以写为 a|bc*
。
例子:
-
a|b*
指示 {ε, a, b, bb, bbb, ...}。
-
(a|b)*
指示由包括空串、任意数目个 a 或 b 字符组成的所有字符串的集合。
-
ab*(c|ε)
指示开始于一个 a 接着零或多个 b 和最终可选的一个 c 的字符串的集合。
正则表达式的形式定义故意非常精简,避免定义多余的量词 ?
和 +
,它们可以被表达为: a+
= aa*
和 a?
= (a|ε)
。有时增加补算子 ~ ;~R 指示在 Σ* 上的不在 R 中的所有字符串的集合。补算子是多余的,因为它使用其他算子来表达(尽管计算这种表示的过程是复杂的,而结果可能指数性的增大)。
这种意义上的正则表达式可以表达正则语言,精确的是可被有限状态自动机接受的语言类。但是在简洁性上有重要区别。某类正则语言只能用大小指数增长的自动机来描述,而要求的正则表达式的长度只线性的增长。正则表达式对应于乔姆斯基层级的类型-3文法。在另一方面,在正则表达式和不导致这种大小上的爆炸的非确定有限状态自动机(NFA)之间有简单的映射;为此 NFA 经常被用作正则表达式的替代表示。
我们还要在这种形式化中研究表达力。如下面例子所展示的,不同的正则表达式可以表达同样的语言: 这种形式化中存在着冗余。
有可能对两个给定正则表达式写一个算法来判定它们所描述的语言是否本质上相等,简约每个表达式到极小确定有限自动机,确定它们是否同构(等价)。
这种冗余可以消减到什么程度? 我们可以找到仍有完全表达力的正则表达式的有趣的子集吗? Kleene 星号和并集明显是需要的,但是我们或许可以限制它们的使用。这提出了一个令人惊奇的困难问题。因为正则表达式如此简单,没有办法在语法上把它重写成某种规范形式。过去公理化的缺乏导致了星号高度问题。最近 Dexter Kozen 用克莱尼代数公理化了正则表达式。
很多现实世界的“正则表达式”引擎实现了不能用正则表达式代数表达的特征。
表达式全集
正则表达式有多种不同的风格。下表是在PCRE中元字符及其在正则表达式上下文中的行为的一个完整列表:
字符
描述
\
将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如,“n ”匹配字符“n ”。“\n ”匹配一个换行符。串行“\\ ”匹配“\ ”而“\( ”则匹配“( ”。 |
^
匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配“\n ”或“\r ”之后的位置。 |
$
匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配“\n ”或“\r ”之前的位置。 |
*
匹配前面的子表达式零次或多次。例如,zo*能匹配“z ”以及“zoo ”。*等价于{0,}。 |
+
匹配前面的子表达式一次或多次。例如,“zo+ ”能匹配“zo ”以及“zoo ”,但不能匹配“z ”。+等价于{1,}。 |
?
匹配前面的子表达式零次或一次。例如,“do(es)? ”可以匹配“does ”或“does ”中的“do ”。?等价于{0,1}。 |
{n}
n是一个非负整数。匹配确定的n次。例如,“o{2} ”不能匹配“Bob ”中的“o ”,但是能匹配“food ”中的两个o。 |
{n,}
n是一个非负整数。至少匹配n次。例如,“o{2,} ”不能匹配“Bob ”中的“o ”,但能匹配“foooood ”中的所有o。“o{1,} ”等价于“o+ ”。“o{0,} ”则等价于“o* ”。 |
{n,m}
m和n均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3} ”将匹配“fooooood ”中的前三个o。“o{0,1} ”等价于“o? ”。请注意在逗号和两个数之间不能有空格。 |
?
当该字符紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串“oooo ”,“o+? ”将匹配单个“o ”,而“o+ ”将匹配所有“o ”。 |
.
匹配除“\ n ”之外的任何单个字符。要匹配包括“\ n ”在内的任何字符,请使用像“[.\ n ] ”的模式。 |
(pattern)
匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性。要匹配圆括号字符,请使用“\( ”或“\) ”。 |
(?:pattern)
匹配pattern但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。这在使用或字符“(|) ”来组合一个模式的各个部分是很有用。例如“industr(?:y|ies) ”就是一个比“industry|industries ”更简略的表达式。 |
(?=pattern)
正向肯定预查,在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如,“Windows(?=95|98|NT|2000) ”能匹配“Windows2000 ”中的“Windows ”,但不能匹配“Windows3.1 ”中的“Windows ”。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始。 |
(?!pattern)
正向否定预查,在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如“Windows(?!95|98|NT|2000) ”能匹配“Windows3.1 ”中的“Windows ”,但不能匹配“Windows2000 ”中的“Windows ”。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始 |
(?<=pattern)
反向肯定预查,与正向肯定预查类拟,只是方向相反。例如,“(?<=95|98|NT|2000)Windows ”能匹配“2000Windows ”中的“Windows ”,但不能匹配“3.1Windows ”中的“Windows ”。 |
(?<!pattern)
反向否定预查,与正向否定预查类拟,只是方向相反。例如“(?<!95|98|NT|2000)Windows ”能匹配“3.1Windows ”中的“Windows ”,但不能匹配“2000Windows ”中的“Windows ”。 |
x|y
匹配x或y。例如,“z|food ”能匹配“z ”或“food ”。“(z|f)ood ”则匹配“zood ”或“food ”。 |
[xyz]
字符集合。匹配所包含的任意一个字符。例如,“[abc] ”可以匹配“plain ”中的“a ”。 |
[^xyz]
负值字符集合。匹配未包含的任意字符。例如,“[^abc] ”可以匹配“plain ”中的“p ”。 |
[a-z]
字符范围。匹配指定范围内的任意字符。例如,“[a-z] ”可以匹配“a ”到“z ”范围内的任意小写字母字符。 |
[^a-z]
负值字符范围。匹配任何不在指定范围内的任意字符。例如,“[^a-z] ”可以匹配任何不在“a ”到“z ”范围内的任意字符。 |
\b
匹配一个单词边界,也就是指单词和空格间的位置。例如,“er\b ”可以匹配“never ”中的“er ”,但不能匹配“verb ”中的“er ”。 |
\B
匹配非单词边界。“er\B ”能匹配“verb ”中的“er ”,但不能匹配“never ”中的“er ”。 |
\cx
匹配由x指明的控制字符。例如,\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则,将c视为一个原义的“c ”字符。 |
\d
匹配一个数字字符。等价于[0-9]。 |
\D
匹配一个非数字字符。等价于[^0-9]。 |
\f
匹配一个换页符。等价于\x0c和\cL。 |
\n
匹配一个换行符。等价于\x0a和\cJ。 |
\r
匹配一个回车符。等价于\x0d和\cM。 |
\s
匹配任何空白字符,包括空格、制表符、换页符等等。等价于[\f\n\r\t\v]。 |
\S
匹配任何非空白字符。等价于[^\f\n\r\t\v]。 |
\t
匹配一个制表符。等价于\x09和\cI。 |
\v
匹配一个垂直制表符。等价于\x0b和\cK。 |
\w
匹配包括下划线的任何单词字符。等价于“[A-Za-z0-9_] ”。 |
\W
匹配任何非单词字符。等价于“[^A-Za-z0-9_] ”。 |
\xn
匹配n,其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如,“\x41 ”匹配“A ”。“\x041 ”则等价于“\x04&1 ”。正则表达式中可以使用ASCII编码。. |
\num
匹配num,其中num是一个正整数。对所获取的匹配的引用。例如,“(.)\1 ”匹配两个连续的相同字符。 |
\n
标识一个八进制转义值或一个向后引用。如果\n之前至少n个获取的子表达式,则n为向后引用。否则,如果n为八进制数字(0-7),则n为一个八进制转义值。 |
\nm
标识一个八进制转义值或一个向后引用。如果\nm之前至少有nm个获得子表达式,则nm为向后引用。如果\nm之前至少有n个获取,则n为一个后跟文字m的向后引用。如果前面的条件都不满足,若n和m均为八进制数字(0-7),则\nm将匹配八进制转义值nm。 |
\nml
如果n为八进制数字(0-3),且m和l均为八进制数字(0-7),则匹配八进制转义值nml。 |
\un
匹配n,其中n是一个用四个十六进制数字表示的Unicode字符。例如,\u00A9匹配版权符号(©)。 |
分享到:
相关推荐
- **参考资料**:遇到不熟悉的术语或概念时,建议查阅百度、谷歌或维基百科等相关资源。 以上是对“Python正则表达式指南”的内容进行了详细的总结与扩展,希望对学习和使用Python正则表达式的读者有所帮助。
在学习正则表达式时,可以参考在线资源如维基百科中的正则表达式词条(***)或Python官方文档中的`re`模块说明(***)。这些资源能够为学习者提供更全面的理论知识和实践应用指导。 本章节的内容仅覆盖了正则表达式...
网络上的资源,如维基百科和其他在线教程,提供了丰富的学习材料。此外,参与社区讨论、阅读相关博客文章,甚至向专业人士寻求帮助,都是有效的学习途径。 ### 正则表达式的语言与格式 在深入学习正则表达式的过程...
这可以通过正则表达式匹配或者专门的文本清洗库来实现。 综上所述,这个压缩包文件包含的是经过处理的维基百科文本,适合进行中文自然语言处理的相关研究和分析,例如语料库构建、情感分析、关键词提取等。用户可以...
"element-json"项目正是利用JavaScript实现的一个功能,它旨在从维基百科的化学元素信息框中提取数据,并将其转换为JSON(JavaScript Object Notation)格式。JSON是一种轻量级的数据交换格式,易于人阅读和编写,...
基于中文维基百科文本数据训练词向量 一,数据获取 本词向量利用的是中文维基百科的语料进行训练。 语料地址: (大小1.16G) 也可以在我的网盘上下载:链接: 提取码:ihu4 二,数据转换 原数据的格式是xml,我们...
此外,可能还利用了正则表达式进行特定文本模式的匹配,以确保提取的准确性。这些技术组合在一起,使得Wiki-Acronym-Scraper能够高效、准确地完成任务。 在使用Wiki-Acronym-Scraper时,用户需要了解如何配置和运行...
尽管文章最后提到了正则表达式,但实际上在文章内容中并没有给出具体的正则表达式代码。在实际的爬虫开发中,正则表达式可以用于匹配特定格式的字符串,如匹配URL、提取HTML中的特定内容等。在本例中,作者提到后期...
解析维基百科文章中的一段 解析网站或Wikipedia文章中的表格 解析论坛中的论坛帖子 从下面的链接中实现教程之一,然后对其进行修改。 前往并尝试查看使用Scrapy可以走多远 什么是网络抓取,我们该如何做? 网络...
请注意,这是一个语法模块,建议在深入学习之前先了解一些语法 - 这是一个维基百科链接: : 下面是示例中的代码,本质上是使用正则表达式定义令牌。 然后将非终结符定义为标记和非终结符的组合——请注意,您可以...
地牢维基 使用维基百科生成交互式地牢游戏室。 到其他页面的链接是通往... 此外,可能会涉及一些调整(使用正则表达式和概率墙生成),但现在效果很好,因为您可以从任何给定的生成点移动到几扇门(至少在实践中)。
Wiki Parser:英语维基百科的高性能数据提取器 Wiki解析器是一种高性能的解析器,旨在使Wikipedia可以更容易地访问数据挖掘和文本分析。... 速度优势主要是由于仅很少使用正则表达式的多线程C ++代码。 提供了64位Wind
它可能通过正则表达式、模式匹配或者更复杂的技术,如自然语言处理(NLP)来识别和提取特定的信息。例如,可以抽取特定主题的所有相关文章,或者从文章中提取出人名、日期等实体。 **网络通信与API调用** 维基...
1. **源代码**:包含了用于检测黄鼠狼词的算法和逻辑,可能是一个或多个Python脚本文件,使用正则表达式、自然语言处理技术或者其他方法来识别特定的词汇模式。 2. **数据处理**:可能有预处理步骤,如文本清洗、...
此外,"维基百科---小搜索引擎"这部分可能表示该项目内嵌了一个简单的搜索功能,允许用户通过关键词查找存储的信息。在PHP中,这可以通过字符串处理函数如`strpos()`或正则表达式来实现。用户输入的查询将被用来匹配...
在许多网络百科如百度百科、维基百科等,用户通过参与活动和贡献内容可以获得不同等级的图标,以此来展示其对社区的贡献程度。 在IT领域,这类工具涉及到的知识点主要包括: 1. **自动化技术**:一键点亮工具的...
在MediaWiki的生态系统中,**SpamBlacklist** 扩展使用了一种基于文本文件的黑名单系统,管理员可以在这个文件中列出一系列正则表达式,这些表达式匹配那些不允许出现在维基页面中的URL。当用户尝试保存包含黑名单上...
4. **数据处理**:处理从API获取的文本信息,进行分析和分类,可能涉及到字符串操作、正则表达式匹配或其他文本处理技巧。 5. **条件判断**:根据项目名称,可能包含判断逻辑,根据特定标准将数据分为"TO"和"KU"两类...
”),其他人的格式已损坏,大约四分之一由从维基百科(“ 1915年出生的罗兰·冯·霍斯林”出生的非常琐碎的琐事)组成,或者需要深入研究?关于AI的知识通过设计,该项目还包含许多含糊不清的主张,在我的案例中...
使用 Django、JS(jQuery、Angular)、HTML 和 CSS 构建2015 年 3 月 30 日: 这是我正在开发的应用程序,...然后使用 jQuery/KEYUP 启动的正则表达式过滤器个人资料页面填充来自 github.com/unitedstates 的信息从 Ope