Lex 编译器入门

Lex工具
-------
Lex工具是一种词法分析程序生成器，它可以根据词法规则说明书的要求来生成单词识别程序，由该程序识别出输入文本中的各个单词。
1 、lex程序的结构

-定义部分
-规则部分
-用户子程序部分

其中规则部分是必须的，定义和用户子程序部分是任选的。

( 1 ) 定义部分
定义部分起始于 " %{ " 符号，终止于 " %} " 符号，其间可以是包括include语句、声明语句在内的C语句。
%{
#include  " stdio.h "
#include  " y.tab.h "
extern int lineno ;
%}

( 2 ) 规则部分
规则部分起始于 " %% " 符号，终止于 " %% " 符号，其间则是词法规则。词法规则由模式和动作两部分组成。模式部分可以由任意的正则表达式组成，动作部分是由C语言语句组成，这些语句用来对所匹配的模式进行相应处理。需要注意的是，lex将识别出来的单词存放在yytext  [] 字符数据中，因此该数组的内容就代表了所识别出来的单词的内容。

%%
[ ]  { ; }
[ 0-9 ] +.? [ 0-9 ] *. [ 0-9 ] +
{ sscanf(yytext , " %1f " ,  &yylval.val) ;
return NUMBER ;  }
 { lineno++ ; return '' ''; }
. { return yytex+ [ 0 ] ;  }
%%

( 3 ) 用户子程序部分
用户子程序部分可以包含用C语言编写的子程序，而这些子程序可以用在前面的动作中，这样就可以达到简化编程的目的。下面是带有用户子程序的lex程序片段。
" /* "  skipcmnts() ;
. /* rest of rules */
%%
skipcmnts()
{
for (  ;  ; )
{
while (input()! = ''*'') ;
if(input()! = ''/'')
unput(yytext [ yylen-1 ] ) ;
else return ;
} 

 以上是这个工具的简要说明。

我在这里以《编译原理》（龙书）的习题为例，
3.11 编写一个Lex程式，该程式复制一个文件，并将每一个非空的空白符序列用一个空格代替。
首先，这个“非空的空白符序列”是指由空格和制表符号组成的序列，其正则表达式是[ \t]，大家注意在前面有一个空格。
再则就是做一个替换操作了。

代码为：

%{
#include  " stdio.h "
%}

delim     [   ]
ws    {delim}+

%%
{ws} printf( "   " ) ;
. printf( " %c " , yytext [ 0 ] ) ;
%%

存为  P3-11.l
编译过程
lex P3-11.l
cc -c lex.yy.c
cc lex.yy.o -ll -o run

使用过程
run < in.txt
输入文件内容

I am     a best player   in the   world ,
And         I  am very    sorry     to trouble you.

Hehe.

输出结果为

I am a best player in the world ,
And I am very sorry to trouble you.

Hehe.

最后我提供一个脚本，方便编译。
我的系统环境是
Ubuntu 7.10
flex 2.5.33

安装Lex过程
sudo apt-get install flex

#  Copyright (C) 2003-2008 Wang Pengcheng <[e-mail]>
#!/usr/bash
lex $ 1  
cc  - c lex . yy . c
cc lex . yy . o  - ll  - o run
rm lex . yy .*
rm  *~