`
fengshihao
  • 浏览: 49835 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

写一个自己的动态语言吧。 初学乍练的。

阅读更多

动态语言大行其道 ,不过还有不少公司在用着java 。 很大部分人也会java 。

 

所以用java 来开发自己的一个动态语言 不错 。反正总是要东西打发内心的无聊, 治疗枯燥的工作对人心理的创伤。

 

搞这么大个题目 ,招来不少人 。高手也会来吧? 本人编译原理原来上学就没学好 ,这也算是初学乍练 ,您看得高兴捧个人场 ,看得不高兴 多多指教 ,以免我误导了群众。

 

 

首先 我必须承认我这话说大了。 我目前只是写到了 词法分析器 和 一个表达式计算。距离动态语言 还差的远。 我也很怀疑我有时间真的写完这些 。今天有空就写点 。 本文的宗旨 就是简单。主要是复杂的东东 我也说不出来 。

 

编译原理 上过这课的都知道 很无聊。 工作两年基本忘掉 残留下来的概念看到了热泪盈眶的 想不起来。 咱就再回忆一遍吧。

 

 

 

第一个 DFA 确定状态机。

 

 

先不说这是啥。 看一个例子, 为了说明状态机的作用和能力 得绕点路先撇开编译原理 抛开概念看看怎么一步步发现这个DFA。 如很解析xml html?

 

这是我在做一个手机浏览器的时候遇到的问题,虽然有很多库,但是手机上没有或者有不适合,于是自己搞一个 。这里就不争论 “轮子” 的问题了。

 

<p> xxxxx </p>

这是典型的一段xml 。 注意看, 主要分两部分 ‘<’ 和 ‘>’ 括住的部分,和之外的东西 也就是 ‘>’ 和 ‘<’ 括住的部分。 其实就是把tag 和 内容 区分开。分出如下:

 

p xxxxx /p   3块

 

 

于是写代码如下

 

     state = 初始状态
     for char in htmlstr{
         if 初始状态{
            if(char == '<'){
               state = tag状态
            }
         }else if tag状态{
            if(char == '>'){
               state = 内容状态
            }else{
              tagstr += char;
            }
         }else if 内容状态{
            if(char == '<'){
               state = tag状态
            }else{
               contentstr += char;
            }
         }
 
 

呵呵 第一步 把tag 和 内容分开了  。 有同学问 < > 不会乱出现么? 规则上规定xml 中< >必须是tag 的 遇到和要转义 就是用 &lt 这种东东代表一下。 但是也会遇到不转义的写错的 这个只要加上写判断 容错即可 这里不做详述。

 

 

tag 里边还有东东啊 

 

<img src="url" alt="xxxx">
 

 

同理可以分状态 处理之。 找到tag名字img之前叫做状态1 ,然后遇到空格 变为状态2, 然后遇到=号变为状态3 ..... 当然这里的逻辑比上边复杂一些 ,其实也就是又臭又长些 。

 

上边说的就是一个 原始的用 if else 构成的状态机。 状态机 就是根据输入 改变到不同的状态 然后做不同的处理 。简单的通俗的说 状态机 == 装逼的switch 

 

这里

 

http://code.google.com/p/tagparser/

 

有源码 python  和 java 的 。写的都比较乱 凑合着看吧  ,不大 也就是200行左右解析html xml 之流。

 

python 版本的还有一个抓取tianya 论坛的一个例子 不知道现在还能用吗 很长时间了

 

今天就到这吧 。

 

明天继续....

 

接昨天

 

     if else  或者 switch 构成的 状态机 非常简陋。  状态越来越多的时候变得乱七八糟 。 所以要分解包装一下。

 

     状态机行为就是 :

 

                  ----输入---->switch----改变状态--->

 

      在游戏编程  Ai设计中经常用到 ,不过我们这里只主要是谈编译 ,所以输入就变成了 一个字符  输出为一个状态。 一直说“状态” 这个东西 那就把它搞成一个类吧

 

 

Java代码 
  1.        class State{  
  2.        StateType type = StateType.BEGIN;  
  3.   
  4. public State nextState(char i){  
  5.     return null;  
  6. }  

 

nextState 就是主要部分了 输入为一个字符串 输出也就是返回值 为一个State。 看看如何用这个State来识别一个 整型数字 例如 1000 100 99 .....

 

建立一个IntState 然后重载 State:

 

 

 

Java代码 
  1.   class IntState extends State{  
  2.       public State nextState(char c){  
  3.             if(c >= '0' && c <= '9'){  
  4.                   return this;  
  5.             }else{  
  6.                   return null;  
  7.             }  
  8.       }  
  9. }  
 

 

 

这个比较简单 可以生成一个 IntSate  intState =  new IntState()  看看它如何工作

 

 

Java代码 
  1.  String prostr  = "192321 2312 3243";  
  2.  String buff = "";  
  3. for(int i=0 ; i<prostr.length() ; i++){  
  4.        char c = prostr.charAt(i);  
  5.        State st = intStat.nextSate(c);  
  6.         buff += c;  
  7.        if(st == null){  
  8.             print buff;  
  9.        }  

 

 

其结果就是把字符串中的整型数字给 挑出来了。 这看起来很容易不是么? 等等如果它没有split 强大费这种力气干么? 实际上程序文件包含的字符串比这复杂的多,有int  float string 变量 关键字 各种符号.... ....................木有关系 统统没有关系 每一个建立一个state即可

 

如 floatState stringState  看看如何编写 ,这里只写出nextState 函数 它们都是继承自State类

 

 

Java代码 
  1.  floatSate:  
  2.                   public State nextState(char i){  
  3. if(isDigit(i)){  
  4.     return floatSt;  
  5. }else if(i == '.' || isAlpha(i)){  // 浮点数状态下 输入“.”  和字符 返回deny状态 说明词法错误,这里也可以做成抛异常  
  6.     return deny;  
  7. }else{  
  8.     return null;  //如遇到空格 或者其他的字符 则说明词法完成 顺利通过  
  9. }  
  10.   
  11.  spaceState     识别空白的字符  
  12.   
  13.                   public State nextState(char i){  
  14. if(isSpace(i)){  
  15.     return spaceSt;  
  16. }else{  
  17.     return null;  
  18. }  

 

 常用的函数 

 

Java代码 
  1. public static boolean isAlpha(char i){  
  2.     return (i>='a' &&  i<='z') || (i>='A' && i<='Z');  
  3.     }  
  4.       
  5. public static boolean isDigit(char i){  
  6.     return (i>='0' &&  i<='9') ;  
  7.     }  
  8.       
  9. public static boolean isSpace(char i){  
  10.     return (i==' ' || i=='\r' || i=='\n' || i=='\t') ;  
  11.     }  

 

 识别 单个的符号 更简单了 直接用State 生成一个不用继承,然后把它放入到一个字典里 在扫描程序字符串的时候可以快速查到。如下

 

 

Java代码 
  1. map.put("("new State(StateType.LPARENT));  

 

 

这里还需要一个开始的状态 ,编译开始时 从一个字符开始扫描 。第一个字符有可能是 整型数字 也可能是字母 也可能 变量。 可以如下编写

 

Java代码 
  1.    
  2.   
  3. public State nextState(char i){  
  4.                 if(isAlpha(i) || i == '_'){    //如第一个字符遇见字母 ,那么接下来就返回 identState ,它用来识别变量和关键字这类的。  
  5.                     return identSt;  
  6.                 }else if(isDigit(i)){           //如是数字 看开头是0打头的 有可能是0x 也可是8位的 ,如果不是0 那就是整型的。当然整型半截可能遇见“.”  
  7.                     if(i == '0'){              //在整型状态下遇见"." 就返回floatState 当作float识别。 这里用了子状态 。其实可以多生成些状态不要子  
  8.                         intSt.subtype = 8160;  //状态  
  9.                     }else{  
  10.                         intSt.subtype = 10;  
  11.                     }  
  12.                     return intSt;  
  13.                 }else if(i == '\"'){  // 引号出现说明后边是 字符串  
  14.                     return strSt;  
  15.                 }else if(isSpace(i)){  
  16.                     return spaceSt;  
  17.                 }else {              // 如果是其他符号 看看是不是单个的 {} []: ,. 之类的  
  18.                     return smap.get(String.valueOf(i));  
  19.                 }  
  20.             }  

 

 

 

    一旦一个状态识别完 就会返回null 说明一个词义被确认 而且这个词是整型 还是浮点型 还是字符串 ... 都是最后的那个状态类型。 这时候可以根据类型 把字符串转化为java 的类型了。 

 

   其中遇到的一些 小问题 。如  第一个字符是 0 ,就有几种可能  十六进制0x7873  浮点数0.423  八进制0632,如何确定 用intSate  还是用floatState ?

这里我程序里是假定是整型先 如遇到“.” 状态机返回floatSate这样就跳到了浮点型识别, 在区分 八进制还是十六进制的时候 用了子状态 。其实这么做不好。最好引入中间状态 如叫做 zeroState   .在这个状态里就可以区分到底是用那个状态机去识别。  因为再往后一个字符就可以确定是什么类型 如果是‘x’就是十六位整型。 

 

   这种情况很常见,就是一个字符出现不能确定状态该怎么走 ,方法就是引入中间状态。  最后实现了 每个状态输入一个字符 就可以确定下一个状态,这也是为什么叫做有限确定状态机 DFA 。一个输入可能对应多个状态的叫做非确定状态机 NFA 。很恶心的书上把简单的概念都写得抽象的吓人,真不知道为啥?为了严谨? 写书给人看的 搞的跟给机器写书一样 。 隐隐约约记得书上像些咒语一样 写着如何把NFA 转为DFA .....  压根我看不明白。

 

   状态机的应用还很多 。其实正则就是状态机实现的 。有的是用NFA 有的是用DFA规则。 表现的区别 如匹配 (aaa|bbb|cdd)  。

 

 

Java代码 
  1. 字符串 : abcd  
  2.   
  3. DFA 过程:  先看和 aaa 匹配么再和bbb匹配 在和ccc匹配  
  4.   
  5. NFA过程: 先看abcd的第一个字符 和 aaa bbb ccc 那个匹配 。然后在看第二个字符b ...  
  6.   
  7. 有点类似一个深度优先 一个是广度优先。  

 

  今天到这里 待续

  大家过年好,春节快乐。

 

  给出词法分析的代码

 

 

 


分享到:
评论
19 楼 johnson.lee 2010-02-25  
我早就有自己写个动态语言的相法,语法规则像JSON那样,灵活又简洁,可编译原理学得不好,还只能写Lexer和Parser。有空的话和LZ切磋切磋,怎么样?QQ:307609641 email:g.johnsonlee@gmail.com.

下面是我写的解析JSON语法的代码:http://johnson-lee.iteye.com/blog/586686
望各位拍砖......
18 楼 fengshihao 2010-02-15  
linliangyi2007 写道
楼主讨论的东西还是有一定价值的,有兴趣可以看看我做的这个东东,然后大家可以交流一下,http://linliangyi2007.iteye.com/blog/337069

大牛出现  呵呵 。 前一阵子就参看过你的程序了
17 楼 linliangyi2007 2010-02-13  
楼主讨论的东西还是有一定价值的,有兴趣可以看看我做的这个东东,然后大家可以交流一下,http://linliangyi2007.iteye.com/blog/337069
16 楼 laitaogood 2010-02-12  
babykaokao 写道
我用java写过一个,很简单,用正则表达式把源码分割,然后就是根据语法规则和运算符的优先级进行运算就好了。

你是说你用java实现了一个词法分析器吧,词法分析貌似比较简单啊
15 楼 fireflyk 2010-02-12  
babykaokao 写道
我用java写过一个,很简单,用正则表达式把源码分割,然后就是根据语法规则和运算符的优先级进行运算就好了。


当运算量大的时候,用正则会有效率问题吧
14 楼 fengshihao 2010-02-11  
<p>接昨天</p>
<p> </p>
<p>到目前为止 已经有了一个词法分析的东东。 还不完善 不过已经可以把大部分程序里出现的有意义的字符识别出来了。例如:</p>
<p> </p>
<p> </p>
<pre name="code" class="java"> test = "int a = 5.234; float b = 3;&lt;\n"
+ "! &lt;= += &gt;= !=8377243.324324 () 3244\r\n"
+ " 432 rewrew-  \"fdsfdfds\"\n"
+ " 09\n"
        + "//fdafdfd 843728 fdfdfd \n"
        + "fdfdsfd ffff";</pre>
<p> </p>
<p> 被分解后输出为:</p>
<p> </p>
<pre name="code" class="java">int INTEGER_TYPE
a IDENT
= ASSIGN
5.234 FLOAT
; SEMI
float FLOAT_TYPE
b IDENT
= ASSIGN
3 INTEGER
; SEMI
&lt; LT
! NOT
&lt;= LE
+= PLUS_A
&gt;= GE
!= NE
8377243.324324 FLOAT
( LPARENT
) RPARENT
3244 INTEGER
432 INTEGER
rewrew IDENT
- MINUS
fdsfdfds STR
------------------err-----------------------   //有了一点词法分析报错的 功能。 显示什么位置出现了错误
unexpect char "9"
at line : 4 col :3
------------------errend--------------------
0 INTEGER
//fdafdfd 843728 fdfdfd SKIP
fdfdsfd IDENT
ffff IDENT
</pre>
<p> </p>
<p> </p>
<p> </p>
<p>尽管上边的字符串不是合法的语句 ,但是词法分析不关系语句是否合法 ,只是把相应的有意义的字符串分解出来即可。 </p>
<p> </p>
<p> </p>
<p> </p>
<p>语法分析比较难点  ,我也刚看不久。 表述不清楚的地方 大家查查资料吧。</p>
<p> </p>
<p>首先 我们看看如何解析 数学表达式。 这是最简单的 也是最复杂的一种语法了。 简单的 如  2+4     4-2   .... 等等 </p>
<p> </p>
<p>好现在可以写一个简单的程序处理这些了。</p>
<p> </p>
<p> </p>
<pre name="code" class="java">  express(){
     
      int left ,right  , result;
 
      Token tk = getNextToken();
      
       if(tk.type == INT){
             left = tk.value;            
       }
        tk = getNextToken();

       if(tk.type == ADD){
               tk = getNextToken();
              right = tk.value;
              result = left + right;
       }else if(tk.type == MINUS){
              tk = getNextToken();
              right = tk.value;
              result = left - right;
       }

}</pre>
 
<p> </p>
<p>很简单 出来了 计算 加减的表达式。  可是这个表达式比较弱 只能计算 两个数的加法减法。 改进一下。</p>
<p> </p>
<p> </p>
<pre name="code" class="java"> express(){
     
      int left ,right  , result;
 
      Token tk = getNextToken();
      
       if(tk.type == INT){
             left = tk.value;            
       }
        while(tk = getNextToken() != null){  //这里加入个循环 ,即让后边在出现 + - 的运算都进行下去

       if(tk.type == ADD){
               tk = getNextToken();
              right = tk.value;
              result = left + right;
       }else if(tk.type == MINUS){
              tk = getNextToken();
              right = tk.value;
              result = left - right;
       }
}

}</pre>
 
<p> </p>
<p>加入了循环处理 这就让  他可以处理 4+3-32+23-0  .... 的运算。</p>
<p> </p>
<p>下一步加入 × /  运算。 这个比较麻烦的地方就是 。如何才能是乘除先运算  加减后运算?  </p>
<p> </p>
<p>看这个 例子:     a + c*d</p>
<p> </p>
<p>可以把 c*d 看作是一个整体 ,原来的表达式 ====》  a + b   ;  b ====&gt; c*d </p>
<p> </p>
<p>上边那个express() 函数 只能计算加减 。 可以计算  a +b  这部分。 但现在b 不是一个具体的数字了  ,而是一个 需要求解的未知值。</p>
<p> </p>
<p>我们可以把b当作一个函数 ,这样表达式就变为了  a + b()  .在计算这个表达式之前 就得先计算b这个函数值 。 这样就体现了 × / 优先于 +- 计算了。 </p>
<p> </p>
<p>糊涂了?  还是看代码吧 ,文字还是不如代码容易理解。</p>
<p> </p>
<p> </p>
<pre name="code" class="java">express(){
     
      int left ,right  , result;
 
      Token tk = getNextToken();
      
       if(tk.type == INT){
             left = tk.value;            
       }
        while(tk = getNextToken() != null){  //这里加入个循环 ,即让后边在出现 + - 的运算都进行下去

       if(tk.type == ADD){
              right = b();       //注意这里的变化
              result = left + right;
       }else if(tk.type == MINUS){
              right = b();      //注意这里的变化
              result = left - right;
       }
}

}</pre>
 
<p> </p>
<p>原来的right的值 直接取一个token就得到了 。这里变为了 调用一个叫做b函数。  现在我们假定了 后边跟着一个 c *d 运算 。那么b 函数这么写</p>
<p> </p>
<p> </p>
<p>    <span style="white-space: pre;"> </span></p>
<pre name="code" class="java">int b(){
     int left ,right  , result;
  
      Token tk = getNextToken();
      
       if(tk.type == INT){
             left = tk.value;            
       }
        while(tk = getNextToken() != null){ 

       if(tk.type == MULTIPLY){
              right = getNextToken().value;      
              result = left * right;
       }else if(tk.type == DIVIDE){
              right = getNextToken().value;      
              result = left /right;
       }
}</pre>
 
<p>这个上边算加减的函数差不多  。到这里虽然可以计算 想 a + c *d 这类的表达式  可是现在也只能计算这样的表达式 。换一种写法就不行了。写成 c*d +a 就歇菜了。</p>
<p> </p>
<p>想来想去 发现这么着是不行的。 继续顺着上边的思路走。 a + c*d ==&gt; a + b ; b ==&gt; c*d   你会发现  。a 也可能是一个表达式啊。  a 可能是 a ==&gt; e + f 。那</p>
<p> </p>
<p>e 呢? f呢 都可能是表达式, 感觉很混乱 ,还好 有人帮你整理了这中混乱, 于是就有了BNF 这种东西   .  先看看 BNF 是如何处理这中问题的。 </p>
<p> </p>
<p> </p>
<p>BNF 的思路和上边的思考过程 很像 不过更科学 。看看bnf 怎么描述 表达式的。</p>
<p> </p>
<p>express === &gt;   A + express | A - express | A</p>
<p> </p>
<p>| 代表 或者的关系 。 A 可以理解为一个返回确切数字的函数 。 汉语意思可以说 表达式 是一个数字 + 或者 - 一个表达式  或者 就一个确切数字组成的。</p>
<p> </p>
<p>这是个递归的说法 ,似乎看不到底 但是有一点很重要 它已经表达了有加 减。</p>
<p> </p>
<p>现在开始定义 A 了 ,这里把A改名 叫做 term  因为这是通常都这么叫</p>
<p> </p>
<p>express === &gt;   term + express | term - express | term</p>
<p> </p>
<p>把这个翻译成程序就是 </p>
<p> </p>
<p> </p>
<pre name="code" class="java">  int   express () {
        int left = term();
        Token tk = getNextToken();

        //express ==&gt; term + express | term - express
        if(tk.type == PLUS || tk.type == MINUS){
              int right = express();
              return  left + - right;
        }else { putBack (tk )} //上边测试是不是×/ 不是的话吧这个token放回去 。这里很重要。 也很难说清楚流程 开代码 或者跟代码更容易明白
         // express == &gt; term();  因为上边已经求出 left = term(); 所以直接返回left
         return left

}</pre>
 
<p> </p>
<p>    现在定义 term ==&gt; factor * term | factor / term | factor</p>
<p> </p>
<p>简直跟express 一模一样的定义 ,这次定义了 乘除的运算。 可以看到 问题变得月来越小了</p>
<p> </p>
<p> </p>
<p> </p>
<p> </p>
<pre name="code" class="java"> int   term () {
        int left = factor();
        Token tk = getNextToken();

        //term ==&gt; factor * term | factor / term
        if(tk.type == MULTIPLY || tk.type == DIVIDE){
              int right = factor();
              return  left  * / right;
        }else { putBack (tk )} //上边测试是不是×/ 不是的话吧这个token放回去 。这里很重要。 也很难说清楚流程 开代码 或者跟代码更容易明白
         // express == &gt; term();  因为上边已经求出 left = term(); 所以直接返回left
         return left

}</pre>
<p> </p>
<p> </p>
<p>这次出现了 factor  。 factor 如何定义? 再往下分解 就是 数字了 factor ==&gt; num | - num</p>
<p> </p>
<p>
</p>
<pre name="code" class="java">int factor(){

    Token tk = getNextToken();
    if(tk.type == MINUS){
         return  - tk.value
    }
    return tk.value;
}</pre>

<p> </p>
<p>BNF主要是用了递归的方式 分解问题 。 </p>
<p> </p>
<p> </p>
<p>写了这么多 发现 还是看程序更容易理解  还是上程序吧 。。。 下边的程序计算一个 表达式  ,包括 括号 和 正负号 求模 功能。</p>
<p> </p>
<p> </p>
<p> </p>
13 楼 nishizhutoua 2010-02-11  
至少也用用正则吧...
12 楼 sdh5724 2010-02-11  
自定义一些脚本语言很多项目是有好处的. 比如SQL parser及审计工作, 监控的规则编写.  我们用到了很多的自定义的语言, 或者parser脚本的工具.
11 楼 kjj 2010-02-11  
现在的人越来越喜欢作秀了,且不说有啥气候
10 楼 fengshihao 2010-02-10  
<p>接昨天</p>
<p> </p>
<p>     if else  或者 switch 构成的 状态机 非常简陋。  状态越来越多的时候变得乱七八糟 。 所以要分解包装一下。</p>
<p> </p>
<p>     状态机行为就是 :</p>
<p> </p>
<p>                  ----输入----&gt;switch----改变状态---&gt;</p>
<p> </p>
<p>      在游戏编程  Ai设计中经常用到 ,不过我们这里只主要是谈编译 ,所以输入就变成了 一个字符  输出为一个状态。 一直说“状态” 这个东西 那就把它搞成一个类吧</p>
<p> </p>
<p> </p>
<pre name="code" class="java">        class State{
        StateType type = StateType.BEGIN;

public State nextState(char i){
return null;
}
}</pre>
<p> </p>
<p>nextState 就是主要部分了 输入为一个字符串 输出也就是返回值 为一个State。 看看如何用这个State来识别一个 整型数字 例如 1000 100 99 .....</p>
<p> </p>
<p>建立一个IntState 然后重载 State:</p>
<p> </p>
<p> </p>
<p> </p>
<pre name="code" class="java">  class IntState extends State{
      public State nextState(char c){
            if(c &gt;= '0' &amp;&amp; c &lt;= '9'){
                  return this;
            }else{
                  return null;
            }
      }
}</pre>
 
<p> </p>
<p> </p>
<p>这个比较简单 可以生成一个 IntSate  intState =  new IntState()  看看它如何工作</p>
<p> </p>
<p> </p>
<pre name="code" class="java">  String prostr  = "192321 2312 3243";
  String buff = "";
for(int i=0 ; i&lt;prostr.length() ; i++){
        char c = prostr.charAt(i);
        State st = intStat.nextSate(c);
         buff += c;
        if(st == null){
             print buff;
        }
}</pre>
<p> </p>
<p> </p>
<p>其结果就是把字符串中的整型数字给 挑出来了。 这看起来很容易不是么? 等等如果它没有split 强大费这种力气干么? 实际上程序文件包含的字符串比这复杂的多,有int  float string 变量 关键字 各种符号.... ....................木有关系 统统没有关系 每一个建立一个state即可</p>
<p> </p>
<p>如 floatState stringState  看看如何编写 ,这里只写出nextState 函数 它们都是继承自State类</p>
<p> </p>
<p> </p>
<pre name="code" class="java">
     floatSate:
                      public State nextState(char i){
if(isDigit(i)){
return floatSt;
}else if(i == '.' || isAlpha(i)){  // 浮点数状态下 输入“.”  和字符 返回deny状态 说明词法错误,这里也可以做成抛异常
return deny;
}else{
return null;  //如遇到空格 或者其他的字符 则说明词法完成 顺利通过
}
}
     spaceState     识别空白的字符

                      public State nextState(char i){
if(isSpace(i)){
return spaceSt;
}else{
return null;
}
}</pre>
<p> </p>
<p> 常用的函数 </p>
<p> </p>
<pre name="code" class="java"> public static boolean isAlpha(char i){
return (i&gt;='a' &amp;&amp;  i&lt;='z') || (i&gt;='A' &amp;&amp; i&lt;='Z');
}

public static boolean isDigit(char i){
return (i&gt;='0' &amp;&amp;  i&lt;='9') ;
}

public static boolean isSpace(char i){
return (i==' ' || i=='\r' || i=='\n' || i=='\t') ;
}</pre>
<p> </p>
<p> 识别 单个的符号 更简单了 直接用State 生成一个不用继承,然后把它放入到一个字典里 在扫描程序字符串的时候可以快速查到。如下</p>
<p> </p>
<p> </p>
<pre name="code" class="java">map.put("(", new State(StateType.LPARENT));</pre>
<p> </p>
<p> </p>
<p>这里还需要一个开始的状态 ,编译开始时 从一个字符开始扫描 。第一个字符有可能是 整型数字 也可能是字母 也可能 变量。 可以如下编写</p>
<p> </p>
<pre name="code" class="java">

public State nextState(char i){
if(isAlpha(i) || i == '_'){    //如第一个字符遇见字母 ,那么接下来就返回 identState ,它用来识别变量和关键字这类的。
return identSt;
}else if(isDigit(i)){           //如是数字 看开头是0打头的 有可能是0x 也可是8位的 ,如果不是0 那就是整型的。当然整型半截可能遇见“.”
if(i == '0'){              //在整型状态下遇见"." 就返回floatState 当作float识别。 这里用了子状态 。其实可以多生成些状态不要子
intSt.subtype = 8160;  //状态
}else{
intSt.subtype = 10;
}
return intSt;
}else if(i == '\"'){  // 引号出现说明后边是 字符串
return strSt;
}else if(isSpace(i)){
return spaceSt;
}else {              // 如果是其他符号 看看是不是单个的 {} []: ,. 之类的
return smap.get(String.valueOf(i));
}
}</pre>
<p> </p>
<p> </p>
<p> </p>
<p>    一旦一个状态识别完 就会返回null 说明一个词义被确认 而且这个词是整型 还是浮点型 还是字符串 ... 都是最后的那个状态类型。 这时候可以根据类型 把字符串转化为java 的类型了。 </p>
<p> </p>
<p>   其中遇到的一些 小问题 。如  第一个字符是 0 ,就有几种可能  十六进制0x7873  浮点数0.423  八进制0632,如何确定 用intSate  还是用floatState ?</p>
<p>这里我程序里是假定是整型先 如遇到“.” 状态机返回floatSate这样就跳到了浮点型识别, 在区分 八进制还是十六进制的时候 用了子状态 。其实这么做不好。最好引入中间状态 如叫做 zeroState   .在这个状态里就可以区分到底是用那个状态机去识别。  因为再往后一个字符就可以确定是什么类型 如果是‘x’就是十六位整型。 </p>
<p> </p>
<p><span style="font-size: small;">   这种情况很常见,就是一个字符出现不能确定状态该怎么走 ,方法就是引入中间状态。  </span><strong><span style="color: #ff0000;"><span style="font-size: small;">最后实现了 每个状态输入一个字符 就可以确定下一个状态,这也是为什么叫做有限确定状态机 DFA 。一个输入可能对应多个状态的叫做非确定状态机 NFA 。</span><span style="font-weight: normal;"><span style="color: #000000;"><span style="font-size: small;">很恶心的书上把简单的概念都写得抽象的吓人,真不知道为啥?为了严谨? 写书给人看的 搞的跟给机器写书一样 。 隐隐约约记得书上像些咒语一样 写着如何把NFA 转为DFA .....  压根我看不明白。</span></span></span></span></strong></p>
<p> </p>
<p>   状态机的应用还很多 。其实正则就是状态机实现的 。有的是用NFA 有的是用DFA规则。 表现的区别 如匹配 (aaa|bbb|cdd)  。</p>
<p> </p>
<p>
</p>
<pre name="code" class="java">字符串 : abcd

DFA 过程:  先看和 aaa 匹配么再和bbb匹配 在和ccc匹配

NFA过程: 先看abcd的第一个字符 和 aaa bbb ccc 那个匹配 。然后在看第二个字符b ...

有点类似一个深度优先 一个是广度优先。

</pre>

<p> </p>
<p>  今天到这里 待续 </p>
<p>  大家过年好,春节快乐。</p>
<p> </p>
<p>  给出词法分析的代码</p>
<p> </p>
<p> </p>
<p> </p>
<p> </p>
<p> </p>
<p> </p>
<p> </p>
<p> </p>
9 楼 babykaokao 2010-02-10  
我用java写过一个,很简单,用正则表达式把源码分割,然后就是根据语法规则和运算符的优先级进行运算就好了。
8 楼 sacred02 2010-02-10  
无语啊。。。 看来真是太无聊了!

PS: JAVAEYE越来越无趣了,这样的贴也放首页。。。
7 楼 fengshihao 2010-02-10  
kdlan 写道
我认为DFA实质上是一个有向拓扑图,状态改变其实可以用图遍历来实现
不过DFA在有递归的文法上貌似没什么好的办法处理,LZ能帮忙解答下吗


DFA 用来做词法分析还不错 。文法的话 还是递归的处理比较好 ,这方面我也正在学习 以后会写 。
6 楼 fengshihao 2010-02-10  
kjj 写道
不想打击你,如果只是写了lexer和parser的话,我建议你啊看俺antlr或者javacc 吧,只需要写自己的文法规则就行了,没必要大费周折,但是如果你要挑战一下自己,写lexer和parser的话,只能为你加油



写这个的目的是为了 手动构造这些东东 。学习的。 如果使用antlr 之类的就没必要看这个了。 喜欢使用工具 就去使用吧。可以不care这些 呵呵
5 楼 kjj 2010-02-10  
不想打击你,如果只是写了lexer和parser的话,我建议你啊看俺antlr或者javacc 吧,只需要写自己的文法规则就行了,没必要大费周折,但是如果你要挑战一下自己,写lexer和parser的话,只能为你加油
4 楼 kdlan 2010-02-10  
我认为DFA实质上是一个有向拓扑图,状态改变其实可以用图遍历来实现
不过DFA在有递归的文法上貌似没什么好的办法处理,LZ能帮忙解答下吗
3 楼 yidao620c 2010-02-10  
無語。。。
2 楼 yanghao0 2010-02-10  
...
这也算?!
1 楼 JetMah 2010-02-10  
太少了,不过瘾

相关推荐

    用C#语言写一个记事本

    用c#写一个简单的记事本,初学者可以当作项目实训一下,或者作为自己的学校的项目实训,总体上还是比较简单。适合熟悉自己所学的知识。 用c#写一个简单的记事本,初学者可以当作项目实训一下,或者作为自己的学校的...

    Python写的学生信息管理系统,适合初学python练手用

    Python写的学生信息管理系统,适合初学python练手用

    初学者如何学习FPGA

    本书从初学者的立场出发,为广大初学者提供了一个FPGS入门学习平台,以深入浅出的方式介绍FPGA的基本原理、Verilog语言和应用设计。但作为一个FPGA的初学者必须先了解以下几个问题:何为FPGA?为什么要学习FPGA?...

    用汇编语言编写的一个简单计算器(绝对符合初学者看)

    任意输入两个数,能完成加,减,乘,除运算。其中输入1实行加法功能,输入2实行减法功能,输入3实行乘法功能,输入4实行除法功能,输入5退出。...我也是一个初学者。网上有的都是一些难看懂的。对大家绝对有用。

    确实特别适合初学者适应html、js语言。

    特别适合初学者适应html、js语言

    一个牛人给Java初学者的建议

    还有一个很重要的原因就是java 这门语言更适合商业应用 所以高校里大部分博士老师们对此语言的了解甚至不比本科生多 在这种环境下,很多人对java 感到茫然,不知所措,不懂java 能做什么 即便知道了java 很有用,也...

    C#的简易计算器(初学,第一个程序)

    本人为c#初学者,无其他语言基础,这个计算器是自己独立写的第一个小东西。 内容只有一个窗口文件,注释写的也算详细了,希望与其他初学者一起学习进步 ps:变量命,控件名,都是中文 嘿嘿 看不习惯请替换 环境为vs...

    适合初学者 eclipse 极为简易的android软件记事本代码实例

    这表明该资源是一个针对编程初学者的教程,使用Eclipse集成开发环境(IDE)来创建一个简单的Android应用程序,即一个记事本程序。对于初学者而言,这个实例能够帮助他们入门Android应用开发,了解Eclipse在Android...

    c#人事管理系统(简单设计,适合初学者)

    C#人事管理系统是一个为初学者设计的简单应用,旨在帮助学习者理解和掌握C#编程语言以及.NET框架的基本应用。这个系统包含了完整的源代码,设计文档,以及详细的使用说明,是进行课程设计或个人实践的理想选择。 一...

    围棋游戏源代码(java语言开发的,很简单,适合初学者)

    通过分析这款源代码,初学者可以了解到Java编程语言在游戏开发中的应用,以及如何构建一个简单但功能完整的交互式程序。 首先,我们要了解Java语言的基础特性。Java是一种面向对象的编程语言,以其跨平台性和强大的...

    单片机数码管动态扫描汇编语言代码

    汇编语言源程序代码可以做简易数码管动态显示,适合初学者学习显示电路程序

    selenium初学者指南

    Selenium是一个开源的、跨平台的自动化测试框架,支持多种编程语言如Java、Python、C#等。它允许开发者模拟用户在浏览器中的行为,进行网页应用的功能性测试。Selenium分为多个组件,包括Selenium WebDriver、...

    VB 源代码大全 适合初学者

    这个“VB源代码大全”集合显然为初学者提供了一个良好的学习平台,通过实际的代码示例,如计算器和摇奖机,帮助他们快速理解和掌握VB编程基础。 首先,让我们深入了解一下VB的基础知识。VB是一种事件驱动的编程语言...

    JAVA初学者常见的的30个不同于其他编程语言的问题.pdf

    JAVA初学者常见的的30个不同于其他编程语言的问题.pdf

    Python编程初学者指南.pdf

    Python编程初学者指南.pdf

    vb初学电子书,适合vb初学者学习

    本压缩包提供的“初学vb电子书.chm”是一个专门为VB初学者设计的学习资料,旨在帮助初学者快速掌握VB的基本概念和编程技巧。 电子书首先会介绍VB的基础知识,包括VB的开发环境、界面设计、基本语法结构等。在VB的...

    《GIS初学者》1~4期

    小到一个上机实 验,大至一项工程案例,皆为刊物的灵魂。 黎明前,一群群GIS初学者在探路。 尽管网络试图把目光织向远方,可是缺乏社会的历练,象牙塔里的认识毕竟肤浅。 我们在黑暗中奋勇挣扎! 希望它能拭...

Global site tag (gtag.js) - Google Analytics