Lua5.1代码阅读(二):llex.h/llex.c
(未完成,待修改)
一、作用和参考资料
llex.c是Lua的词法分析器(把单个输入字符串切割为多个输出符号)
参考:
1. Lua 5.1.3源代码分析之词法分析 By 天地沙鸥
http://xenyinzen.wordpress.com/2009/12/09/lua-5-1-3%E6%BA%90%E4%BB%A3%E7%A0%81%E5%88%86%E6%9E%90%E4%B9%8B%E8%AF%8D%E6%B3%95%E5%88%86%E6%9E%90/
二、包含头文件
1. llex.h
#include "lobject.h"
#include "lzio.h"
2. llex.c
#include <ctype.h>
#include <locale.h>
#include <string.h>
#include "lua.h"
#include "ldo.h"
#include "llex.h"
#include "lobject.h"
#include "lparser.h"
#include "lstate.h"
#include "lstring.h"
#include "ltable.h"
#include "lzio.h"
三、宏
1. #define FIRST_RESERVED 257
RESERVED枚举值第一个枚举的整数值。
大于256的目的可能是想避开ASCII值的范围(见luaX_token2str)。
2. #define TOKEN_LEN (sizeof("function")/sizeof(char))
保留字的最大内存长度(包括结尾的'\0')。
3. #define NUM_RESERVED (cast(int, TK_WHILE-FIRST_RESERVED+1))
保留字的个数(cast是定义在llimit.h的宏,用于C强制转换)。
4. #define llex_c
llex.c的宏缩写(象征形式)
5. #define LUA_CORE
表示llex.c位于底层实现中(象征形式)
6. #define next(ls) (ls->current = zgetc(ls->z))
从输入流中读取一个字符值,保存为ls(词法分析器)的当前字符值
7. #define currIsNewline(ls) (ls->current == '\n' || ls->current == '\r')
判断当前是否回车。
8. #define save_and_next(ls) (save(ls, ls->current), next(ls))
把当前字符保存到变长缓冲区,然后读下一个符号。
9. #define MAXSRC 80
用于处理源文件名ls->source的临时缓冲区的最大长度(?)
四、枚举
1.
enum RESERVED {
TK_AND = FIRST_RESERVED, TK_BREAK,
TK_DO, TK_ELSE, TK_ELSEIF, TK_END, TK_FALSE, TK_FOR, TK_FUNCTION,
TK_IF, TK_IN, TK_LOCAL, TK_NIL, TK_NOT, TK_OR, TK_REPEAT,
TK_RETURN, TK_THEN, TK_TRUE, TK_UNTIL, TK_WHILE,
TK_CONCAT, TK_DOTS, TK_EQ, TK_GE, TK_LE, TK_NE, TK_NUMBER,
TK_NAME, TK_STRING, TK_EOS
};
保留字枚举量(和luaX_tokens对应),表示特殊的token范围。
如果要修改它的顺序,需要修改注释有ORDER RESERVED的代码。
* TK_AND到TK_WHILE是表示保留字的终结符(终结符是指语法中不需要继续推导的符号)
* TK_CONCAT到TK_EOS是非保留字的其它终结符(运算符、字面值和文件结束)。
五、公开的全局变量
1. LUAI_DATA const char *const luaX_tokens [];
const char *const luaX_tokens [] = {
"and", "break", "do", "else", "elseif",
"end", "false", "for", "function", "if",
"in", "local", "nil", "not", "or", "repeat",
"return", "then", "true", "until", "while",
"..", "...", "==", ">=", "<=", "~=",
"<number>", "<name>", "<string>", "<eof>",
NULL
};
names符号(终结符)的常量字符串数组(对应RESERVED枚举的顺序)。
用于把特殊符号转换为字符串。
六、结构体、联合体
1.
typedef union {
lua_Number r;
TString *ts;
} SemInfo;
单个语义信息(联合体)
2.
typedef struct Token {
int token;
SemInfo seminfo;
} Token;
单个符号信息(结构体)
3.
typedef struct LexState {
int current;
int linenumber;
int lastline;
Token t;
Token lookahead;
struct FuncState *fs;
struct lua_State *L;
ZIO *z;
Mbuffer *buff;
TString *source;
char decpoint;
} LexState;
词法状态:
* current:当前int型字符值
* linenumber:输入行号
* lastline:最后一个被消费的符号的行号。
* Token:当前符号信息
* lookahead:向前看的符号信息
* fs:函数状态,对于parser是私有的
* L:Lua状态机
* z:输入流
* buff:符号缓冲
* source:当前源码文件名
* decpoint:本地区域的十进制浮点
七、全局私有的静态方法
1. static void save (LexState *ls, int c) {
把c接到ls->buff变长缓冲区的结尾(确保不会超出缓冲区范围)
2. static const char *txtToken (LexState *ls, int token) {
根据token取出字面值。
如果token是名称、数、字符串字面值,把ls->buff转成'\0'结束的C字符串。
如果token是特殊token(保留字、运算符),直接返回其字符串形式。
3. static void inclinenumber (LexState *ls) {
增加行号(检查溢出)。
然后跳过附近的'\n'和'\r'。
4. static int check_next (LexState *ls, const char *set) {
检查词法状态机的当前字符值是否在字符集set内。
如果是,则执行save_and_next
5. static void buffreplace (LexState *ls, char from, char to) {
把词法状态机的缓冲区中的字符值from全部替换为字符值to。
6. static void trydecpoint (LexState *ls, SemInfo *seminfo) {
把'.'改为本地(locale)的十进制小数点分割符
(使用<locale.h>的函数localeconv获取本地数字及货币信息格式),
然后继续尝试字符串到数字的转换。
7. static void read_numeral (LexState *ls, SemInfo *seminfo) {
循环(逐字符)读取LUA_NUMBER(内部实现是double型)字面值字符串
8. static int skip_sep (LexState *ls) {
循环读取[=或]=分割符,
然后返回其层数('='的个数,如果是右面则为负数)
9. static void read_long_string (LexState *ls, SemInfo *seminfo, int sep) {
读带分隔符的字符串字面值(如[[abc]])
10. static void read_string (LexState *ls, int del, SemInfo *seminfo) {
读一般的字符串字面值(如"abc",'abc')
11. static int llex (LexState *ls, SemInfo *seminfo) {
词法分析器循环,使用switch进行跳转。
八、全局公开的方法
1. void luaX_init (lua_State *L) {
LUAI_FUNC void luaX_init (lua_State *L);
初始化词法分析器:
* 把所有保留字加入符号表。确保所有保留字的符号表字符串不被回收。
* 诊断TOKEN_LEN是最大的保留字长度。
2. const char *luaX_token2str (LexState *ls, int token) {
LUAI_FUNC const char *luaX_token2str (LexState *ls, int token);
把int型的token(可印刷字符、控制字符、保留字符号)转为可读的字符串。
3. void luaX_lexerror (LexState *ls, const char *msg, int token) {
LUAI_FUNC void luaX_lexerror (LexState *ls, const char *msg, int token);
报告词法错误,然后抛出LUA_ERRSYNTAX异常。
4. void luaX_syntaxerror (LexState *ls, const char *msg) {
LUAI_FUNC void luaX_syntaxerror (LexState *ls, const char *s);
报告语法错误,然后抛出LUA_ERRSYNTAX异常。
和luaX_lexerror相同,只是报告的token是当前词法状态机的符号。
5. TString *luaX_newstring (LexState *ls, const char *str, size_t l) {
LUAI_FUNC TString *luaX_newstring (LexState *ls, const char *str, size_t l);
在符号表中创建字符串(确保不会重复收集),返回TString指针(符号表字符串)。
6. void luaX_setinput (lua_State *L, LexState *ls, ZIO *z, TString *source) {
LUAI_FUNC void luaX_setinput (lua_State *L, LexState *ls, ZIO *z, TString *source);
初始化词法状态机的输入流ls,然后读取第一个字符值
7. void luaX_next (LexState *ls) {
LUAI_FUNC void luaX_next (LexState *ls);
读下一个词法符号。
如果已经有被lookahead的词法符号,就直接取它的值避免遗漏。
8. void luaX_lookahead (LexState *ls) {
LUAI_FUNC void luaX_lookahead (LexState *ls);
向前看(lookahead,即提前读)后一个词法符号。用于语法预测。
九、值得观察的关键代码
1. llex
它是luaX_next和luaX_lookahead的底层实现
(未完成,待修改)
分享到:
相关推荐
a utf-8 support module for Lua and LuaJIT 源码地址:https://github.com/starwing/luautf8 编译后可用的库: Linux版:lua-utf8.so Windows版:lua-utf8.dll(若是用在openresty中,openresty版本需使用32位版本...
├─5.1 │ └─bin │ liblua51.lib │ lua.exe │ lua51.dll │ lua51.lib │ luac.exe │ luadec.exe │ luaopswap.exe │ luareplace.exe │ ├─5.2 │ └─bin │ liblua52.lib │ lua.exe │ lua52.dll │ ...
cjson.dll 需要lua5.1.dll 调用require “cjson” cjson.dll 需要lua5.1.dll 调用require “cjson”
1. **lua.h**: 这是Lua C API的头文件,定义了所有与C语言交互的函数和数据结构。 2. **lua.c/lua.o**: Lua的主解析器和虚拟机实现,编译后的对象文件或静态库。 3. **lapi.c/lapi.o**: 实现了Lua与C之间的接口,...
首先,我们有《Lua Programming》第二版的中文版和英文版。这本书由Mario J. Silva、Luiz Henrique de Figueiredo和Roberto Ierusalimschy合著,是学习Lua编程的经典教材。中文版对于国内读者来说,降低了语言障碍,...
总结来说,这个压缩包为Windows用户提供了完整的Lua 5.1开发环境,包括解释器、调试工具以及用于编译C扩展的MinGW。通过这个环境,开发者能够快速入门并深入掌握Lua编程,利用其强大的功能来解决各种问题。
2. **luac5.1.exe**:这是Lua的编译器,它可以将Lua源代码转换为预编译的字节码,这种字节码可以直接由Lua虚拟机执行,提高了加载速度。这对于大型应用或者需要快速启动的环境尤其有用。 3. **bin2c5.1.exe**:这是...
FairyGUI生成lua代码插件 导入到FairyGUI编辑器,可以为UI生成lua代码。 Git路径: https://github.com/qufangliu/Plugin_FairyGUI_Lua
Praxis 是基于 Lua,Lisp 和 Forth 的在线编码环境。 特性 OpenGL 实时音频生成 Midi 立体引擎 可编程的文本编辑器 等等 Introduction: https://www.youtube.com/watch?v=1VRtRazMYSA Running the ...
ZeroBrane Studio是一个免费、开源、跨平台(Windows、MacOSX和Linux)的Lua集成开发环境(IDE),它提供了代码提示、远程调试、代码分析、语法高亮等功能,支持Lua 5.1、Lua 5.2、Lua 5.3、LuaJIT和其他Lua引擎1。
1. **API接口(lapi.c)**:这部分代码定义了Lua与C语言交互的接口,包括创建和销毁lua_State,调用lua_pcall,注册C函数到全局环境等操作。 2. **编译器(lcode.c, llex.c, lparser.c)**:Lua的编译器将源代码转换为...
lua5.1.lib文件缺失,LNK1181
例如,使用`lua_code_cache on|off`来控制Lua代码缓存策略,用`set_by_lua_file`或`access_by_lua_file`等指令执行Lua脚本。 4. **测试与启动**:在修改配置后,务必先运行`nginx -t`测试配置文件的正确性,无误后...
Lua 5.1是Lua语言的一个版本,发布于2006年,它提供了强大的数据结构,如表(tables),支持动态类型的面向对象编程,以及灵活的接口机制,使它能够方便地与各种C/C++程序进行交互。这个版本相对于更早期或更晚期的...
木头Cocos2d-x教程 Lua篇 Demo源代码。 教程地址: 第1章:http://blog.csdn.net/musicvs/article/details/8440707 第2章:http://blog.csdn.net/musicvs/article/details/8440919 第3章:...
源代码通常包含`.c`和`.h`文件,`.c`文件是实现函数和数据结构的C语言代码,`.h`文件则定义了头文件,包含对外接口声明。这对于理解Lua的内部工作原理以及根据特定需求定制功能非常有用。 "编译 lua5.1"标签指示了...
3. **lualib.h** 和 **luac.h**: 分别包含了标准库和编译器的接口。 4. **lstate.h**: 描述了lua_State结构,它是Lua执行环境的核心,保存了所有运行时信息。 5. **lparser.h** 和 **llex.h**: 用于解析Lua源代码...
其中,`lua.c` 和 `luac.c` 分别是 Lua 解释器和编译器的主要实现。通过阅读这些源码,你可以了解到 Lua 如何解析和执行代码。 2. `lualib/`:这个目录包含了 Lua 标准库的源代码,如数学运算、字符串处理、文件I/O...
c#调用脚本语言Lua——简单Demo 配置: 1. 下载c#下的Lua支持类库。下载地址:http://files.luaforge.net/releases/luainterface/luainterface/2.0.3 将(lua51.dll\LuaInterface.dll)引用自己的项目中。 2. 修改...
《Windows环境下基于5.1版本的LuaC使用详解》 LuaC是一款用于编译Lua脚本的工具,它将源代码转换成预编译的字节码,以便于提高程序的加载速度和安全性。在Windows操作系统中,Luac 5.1版本是广泛使用的版本,与lua...