`
暴风雪
  • 浏览: 388908 次
  • 性别: Icon_minigender_2
  • 来自: 杭州
社区版块
存档分类
最新评论

AC自动机(Aho-Corasick automation)

阅读更多

AC自动机:Aho-Corasick automation,该算法在1975年产生于贝尔实验室,是著名的多模匹配算法。

解决的问题:给出n个单词,再给出一段包含m个字符的文章,让你找出有多少个单词在文章里出现过。(也是解决web开发中关键字链接的常用算法:n个关键字,1篇文章,找出关键字在文章出现的位置)

思路:在一棵trie树上面做Kmp,每个节点都有个像Kmp一样匹配失败时的指针(失败指针),匹配失败时按照失败指针指向的节点继续匹配。

要搞懂AC自动机,先得有模式树(字典树)Trie和KMP模式匹配算法的基础知识。AC自动机算法分为3步:构造一棵Trie树,构造失败指针和模式匹配过程。KMP中我们用两个指针i和j分别表示,A[i-j+ 1..i]与B[1..j]完全相等。也就是说,i是不断增加的,随着i的增加j相应地变化,且j满足以A[i]结尾的长度为j的字符串正好匹配B串的前 j个字符,当A[i+1]≠B[j+1],KMP的策略是调整j的位置(减小j值)使得A[i-j+1..i]与B[1..j]保持匹配且新的B[j+1]恰好与A[i+1]匹配,而next函数恰恰记录了这个j应该调整到的位置。同样AC自动机的失败指针具有同样的功能,也就是说当我们的模式串在Tire上进行匹配时,如果与当前节点的关键字不能继续匹配的时候,就应该去当前节点的失败指针所指向的节点继续进行匹配。

例子:给定5个单词:say she shr he her,然后给定一个字符串yasherhs。问一共有多少单词在这个字符串中出现过。先规定AC自动机所需要的数据结构。

1 const int kind = 26;
2 struct node{ 
3     node *fail;           //失败指针
4     node *next[kind];     //Tire每个节点的个子节点(最多个字母)
5     int count;            //是否为该单词的最后一个节点
6     node(){               //构造函数初始化
7         fail=NULL;
8         count=0;
9         memset(next,NULL,sizeof(next));
10     }
11 }*q[500001];              //队列,方便用于bfs构造失败指针
12 char keyword[51];         //输入的单词
13 char str[1000001];        //模式串
14 int head,tail;            //队列的头尾指针

首先,将这5个单词构造成一棵Tire,如图所示。



在构造完这棵Tire之后,接下去的工作就是构造下失败指针。构造失败指针的过程概括起来就一句话:设这个节点上的字母为C,沿着他父亲的失败指针走,直到走到一个节点,他的儿子中也有字母为C的节点。然后把当前节点的失败指针指向那个字母也为C的儿子。如果一直走到了root都没找到,那就把失败指针指向root。具体操作起来只需要:先把root加入队列(root的失败指针指向自己或者NULL),这以后我们每处理一个点,就把它的所有儿子加入队列,队列为空。

1 void build_ac_automation(node *root){
2     int i;
3     root->fail=NULL;
4     q[head++]=root;
5     while(head!=tail){
6         node *temp=q[tail++];
7         node *p=NULL;
8         for(i=0;i<26;i++){
9             if(temp->next[i]!=NULL){
10                 if(temp==root) temp->next[i]->fail=root;                
11                 else{
12                     p=temp->fail;
13                     while(p!=NULL){ 
14                         if(p->next[i]!=NULL){
15                             temp->next[i]->fail=p->next[i];
16                             break;
17                         }
18                         p=p->fail;
19                     }
20                     if(p==NULL) temp->next[i]->fail=root;
21                 }
22                 q[head++]=temp->next[i]; 
23             }
24         }  
25     }
26 }

从代码观察下构造失败指针的流程:对照图-2来看,首先root的fail指针指向NULL,然后root入队,进入循环。第1次循环的时候,我们需要处理2个节点:root->next[‘h’-‘a’](节点h) 和 root->next[‘s’-‘a’](节点s)。把这2个节点的失败指针指向root,并且先后进入队列,失败指针的指向对应图-2中的(1),(2)两条虚线;第2次进入循环后,从队列中先弹出h,接下来p指向h节点的fail指针指向的节点,也就是root;进入第13行的循环后,p=p->fail也就是p=NULL,这时退出循环,并把节点e的fail指针指向root,对应图-2中的(3),然后节点e进入队列;第3次循环时,弹出的第一个节点a的操作与上一步操作的节点e相同,把a的fail指针指向root,对应图-2中的(4),并入队;第4次进入循环时,弹出节点h(图中左边那个),这时操作略有不同。在程序运行到14行时,由于p->next[i]!=NULL(root有h这个儿子节点,图中右边那个),这样便把左边那个h节点的失败指针指向右边那个root的儿子节点h,对应图-2中的(5),然后h入队。以此类推:在循环结束后,所有的失败指针就是图中的这种形式。


最后,我们便可以在AC自动机上查找模式串中出现过哪些单词了。匹配过程分两种情况:(1)当前字符匹配,表示从当前节点沿着树边有一条路径可以到达目标字符,此时只需沿该路径走向下一个节点继续匹配即可,目标字符串指针移向下个字符继续匹配;(2)当前字符不匹配,则去当前节点失败指针所指向的字符继续匹配,匹配过程随着指针指向root结束。重复这2个过程中的任意一个,直到模式串走到结尾为止。

1 int query(node *root){
2     int i=0,cnt=0,index,len=strlen(str);
3     node *p=root; 
4     while(str[i]){ 
5         index=str[i]-'a'; 
6         while(p->next[index]==NULL && p!=root) p=p->fail;
7         p=p->next[index];
8         p=(p==NULL)?root:p;
9         node *temp=p;
10         while(temp!=root && temp->count!=-1){
11             cnt+=temp->count;
12             temp->count=-1;
13             temp=temp->fail;
14         }
15         i++;                
16     }   
17     return cnt;
18 }

对照图,看一下模式匹配这个详细的流程,其中模式串为yasherhs。对于i=0,1。Trie中没有对应的路径,故不做任何操作;i=2,3,4时,指针p走到左下节点e。因为节点e的count信息为1,所以cnt+1,并且讲节点e的count值设置为-1,表示改单词已经出现过了,防止重复计数,最后temp指向e节点的失败指针所指向的节点继续查找,以此类推,最后temp指向root,退出while循环,这个过程中count增加了2。表示找到了2个单词she和he。当i=5时,程序进入第5行,p指向其失败指针的节点,也就是右边那个e节点,随后在第6行指向r节点,r节点的count值为1,从而count+1,循环直到temp指向root为止。最后i=6,7时,找不到任何匹配,匹配过程结束。

 

分享到:
评论

相关推荐

    AC自动机算法(Aho-Corasick 多模式匹配算法)

    AC自动机算法(Aho-Corasick 多模式匹配算法)C#实现

    Aho-Corasick算法的Java实现与分析1

    Aho-Corasick算法是一种文本搜索算法,由Aho和Corasick于1975年提出,主要用于在大量文本中高效地查找多个模式串。它的核心思想是通过构建一个确定有限状态自动机(Deterministic Finite Automaton, DFA),使得在...

    AC自动机-Set Matching and Aho-Corasick Algorithm

    ### AC自动机与Aho-Corasick算法 #### 一、引言 在计算机科学领域,文本搜索是一项基本且重要的任务。AC自动机(Aho-Corasick Algorithm)是一种高效解决多个模式匹配问题的经典算法。它能在一个目标文本中同时查找...

    Aho-Corasick 多模式匹配算法、AC自动机详解1

    该算法的核心是构建Aho-Corasick自动机(AC自动机),这是一种特殊的确定性有限状态自动机(DFA)。 1. **多模式匹配**: 多模式匹配问题是指在给定的文本中寻找一组模式串的所有出现位置。在传统的一对一匹配中,...

    使用Rust中紧凑的双数组数据结构快速实现 Aho-Corasick算法_rust_代码_下载

    Daachorse 是一个使用Aho-Corasick 算法进行快速多重模式匹配的 crate ,在输入文本的长度上以线性时间运行。对于时间和内存效率,模式匹配自动机是使用紧凑的双数组数据结构实现的。该数据结构不仅支持恒定时间的...

    Aho-Corasick自动机实现

    Aho-Corasick自动机(AC自动机)是一种在文本搜索中非常高效的算法,由艾兹格·阿霍(Aho)和莫里斯·科拉斯克(Morris Corasick)于1975年提出。它扩展了KMP算法,能够一次性查找多个模式字符串,避免了对每个模式...

    goac:在 Golang 中实现的 Aho-Corasick 字符串匹配库

    content := "Aho-Corasick是一种基于Trie树的确定性有穷状态自动机算法" ac := NewAhoCorasick() ac.AddPattern("树") ac.AddPattern("自动机") ac.AddPattern("Trie") ac.AddPattern("基于") ac.Build() ...

    深入理解Aho-Corasick自动机算法1

    Aho-Corasick自动机(简称AC自动机)是一种在字符串搜索中非常高效的算法,尤其在处理多个模式串匹配时。该算法由Aho和Corasick在1975年提出,它结合了Trie树和KMP算法的优点,减少了重复匹配,提高了匹配效率。 **...

    aho-corasick:Aho-Corasick算法的Java实现,可实现高效的字符串匹配

    阿霍·科拉西克(Aho-Corasick) 相依性 在您的POM中包括此依赖项。 确保在Maven Central中检查最新版本。 &lt; groupId&gt;org.ahocorasick &lt; artifactId&gt;ahocorasick &lt; version&gt;0.6.3 介绍 大多数自由文本搜索都...

    java笔试题算法-aho-corasick:DannyYoo在Java中实现的Aho-Corasick算法,几乎没有改进

    这个算法的核心在于构建一个“自动机”,也称为Aho-Corasick机器,这使得在文本中查找模式时能够避免重复检查已经匹配的部分。以下是对Aho-Corasick算法的详细解释以及与Java编程相关的应用。 **1. Aho-Corasick...

    Aho-corasick算法1

    它是通过构建一个自动机(通常称为AC自动机或Aho-Corasick自动机)来实现的。这个自动机实际上是一个有向图,每个节点代表一个状态,边则表示字符到状态的转换。在AC自动机中,有三种关键的函数: 1. **转向函数 ...

    aho-corasick-lua:Aho-Corasick字符串匹配算法的Lua实现

    该算法基于两个主要的数据结构:字典树(也称为AC自动机或字典树)和失败指针。字典树将所有模式串构建成一棵树,每个节点代表一个前缀,叶节点代表模式串的结束。失败指针用于在当前节点无法匹配时,快速回溯到可能...

    Algorithm-php_aho_corasick.zip

    Aho-Corasick算法的核心在于构建一个“自动机”(Automaton),也称为“试错树”或“前缀树”。这个自动机可以同时处理多个模式串,极大地提高了搜索效率。传统的字符串匹配算法如KMP或Boyer-Moore需要对每个模式串...

    pyahocorasick:实现Aho-Corasick算法的Python模块(C扩展和纯Python)

    该库提供了一个ahocorasick Python模块,您可以将其用作类似于dict的Trie,也可以将Trie转换为自动机以进行有效的Aho-Corasick搜索。 它是用C实现的,并在Python 2.7和3.4+上进行了测试。 它可以在Linux,Mac和...

    C#,字符串匹配(模式搜索)AC(Aho Corasick)算法的源代码

    Aho-Corasick算法简称AC算法,也称为AC自动机(Aho-Corasick)算法,1975年产生于贝尔实验室(The Bell Labs),是一种用于解决多模式字符串匹配的经典算法之一。字符串匹配是计算机科学中最古老、研究最广泛的问题...

    java恶意代码检测源码-ac:带有双阵列Trie的Aho-Corasick自动机(go中的多模式替代)

    Aho-Corasick Automaton with Double Array Trie (Multi-patterm substitute in go) 多模式匹配(替换)具有很强的现实意义与实用价值:敏感词过滤,病毒特征码搜索等。 字典中约有一千条关键字,分为三大类:电影、...

    AC多模式匹配算法

    在AC算法中,我们构建了一个特殊的自动机——AC自动机(Aho-Corasick automaton),这个自动机能够同时进行多个模式的匹配,大大提高了搜索效率。 AC自动机基于字典树(Trie树)构造,每个节点代表一个前缀,边则...

    ACAuto自动机 多模式匹配 多字符串匹配

    AC自动机:Aho-Corasick automation,该算法在1975年产生于贝尔实验室,是著名的多模匹配算法之一。一个常见的例子就是给出n个单词,再给出一段包含m个字符的文章,让你找出有多少个单词在文章里出现过。要搞懂AC...

    ahocorasick:Aho-Corasick字符串匹配算法的Golang实现

    它通过构建一种特殊的自动机——Aho-Corasick自动机,来实现快速匹配。 在Golang中实现Aho-Corasick算法,通常会涉及以下几个关键步骤: 1. **构建前缀树(Trie树)**:首先,将所有的模式串按照字典顺序插入一个...

Global site tag (gtag.js) - Google Analytics