[无内容] lexeme与token的对应关系……

在ANTLR里一个lexeme真的只能对应一种token？我是没把说明看仔细还是怎样，但是这等号字符（“=”）该如何对应到多个token上呢？我只是想让它既对应“EQ”又对应“AssignementOperator”而已……yacc里可以的嘛

lcc的lexer里，lexer.c的那个static unsigned char map[256]的定义有点意思。看到像是第77行的：

/* 101 A   */    LETTER|HEX,

我便湿了啊……

顺带，lexer.c的开头还有这个定义：

enum { BLANK=01,  NEWLINE=02, LETTER=04,
       DIGIT=010, HEX=020,    OTHER=040 };

评论

4 楼 dohkoos 2008-04-28  

不好意思，贴的代码有问题，下面的是正确的
expression
: assignment_expression
| range_expression
;

assignment_expression
: lvalue '=' boolean_expression
| boolean_expression
;

你说的lexeme是指什么？token和token type又是指什么？

引用

/* 101 A   */    LETTER|HEX

这行代码并不能说明lexeme能对应多种token？

引用

我想达到的效果是，'='要与其它的assignment operator在某些时候分隔开，而在某些时候又属于同一类。在帖里说的"EQ"并不是“相等性运算符”

我上面贴的代码就可以解决你的问题

引用

等号字符（“=”）该如何对应到多个token

看着你说的我觉得你是想有这样的一种表达形式

EQ|ASSIGN: '='

但我想这时不可能的，在词法分析阶段词法分析器怎么可能分辨出对应多个token的lexeme到底属于那个token呢

引用

EQ : '=' 
AssignOp : '=' | '+=' | '-=' | '*='

把顺序反过来'='还是可以解释成EQ的，我上面贴的代码就解释了这一点

BTW：你在写什么语言的分析程序啊

3 楼 RednaxelaFX 2008-04-28  

但是您给出的例子并没显示一个lexeme对应多种token type，而是显示了'='作为一种token在多条语法中使用而已。
如果照这个例子写的话，'='等literal terminals恐怕都会被ANTLR生成为Txx的token type吧……

我想达到的效果是，'='要与其它的assignment operator在某些时候分隔开，而在某些时候又属于同一类。在帖里说的"EQ"并不是“相等性运算符”，而只是对一个字母给的一个名字（就像对'&&'叫ANDAND）。在很多语法里都会看到类似AndAnd、OrOr、EqEq之类的古怪名称……大概也是偷懒或者顺手就这样写了吧。

主要是在变量声明的地方希望能把'='与复合赋值运算符（'+='、'-='……）分隔开：

varDecl : 'var' Id ( ':' type )? ( '=' expr )?
        ;

当然更好的习惯是给那些literals名字，所以会有VAR : 'var'; COLON : ':';之类。
假如在ANTLR里写

EQ : '='
   ;
AssignOp : '=' | '+=' | '-=' | '*=' //...
         ;

那么生成出来的lexer就始终会认为'='是EQ而不是AssignOp。如果把顺序反过来，AssignOp写前面EQ写后面的话，则'='始终不会是EQ。
ANTLR的手册上也写了，一个lexer在对一个lexeme扫描的时候是不会返回多个token的。但一个token只能对应一种token type，所以我囧了……

帖里提到lcc就是因为它那种写法能在返回一个token的时候允许拥有多个token type，例如字符'A'就同时对应LETTER和HEX。

P.S. 对了，刚才忘了说：多谢dohkoos的指点 ^ ^
到您的blog转了圈，看到也有ANTLR相关的帖子，深感欣慰。以后也请多多指教～

2 楼 dohkoos 2008-04-27  

当然可以对应多种token

expression
    :   assignment_expression
    |   boolean_expression
    |   range_expression
    ;

assignment_expression
    :   lvalue '=' boolean_expression
    ;

boolean_expression
    :   logical_or_expression
    ;

range_expression
    :   initialValue 'to'^ finalValue
    ;

logical_or_expression
    :   logical_and_expression ('or'^ logical_and_expression)*
    ;

logical_and_expression
    :   equality_expression ('and'^ equality_expression)*
    ;

equality_expression
    :   relational_expression (('='|'<>')^ relational_expression)*
    ;

http://www.dohkoos.name

1 楼 lwwin 2008-03-31  

这东西很晦涩-v-+??