1.自制组态软件(30)lua编译器之语法分析
2.探索 Lua5.2 内部实现:编译系统(1) 概述
3.Lua的源译编译和反编译
4.Lua如何进行大数运算(附源码)
5.Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue
6.Windows ä¸ç¼è¯ LuaJIT
自制组态软件(30)lua编译器之语法分析
前文已经完成了词法分析,将lua源码切割成一系列的码编token,接下来我们将处理这些token。源译以下是码编我们需要分析的lua文件内容:
该文件首先定义了一个lua函数,并随后调用它。源译为了简化处理,码编东山再起指标源码我们先支持以下lua文件内容,源译我们移除了函数定义和调用,码编突出显示if语句。源译
首先,码编我们定义了block,源译因为所有语句都在block中。码编例如,源译下面的码编block中包含了两条if语句。
block的源译定义如下:stats是语句数组,表示该block中的所有语句,retExps是返回语句的表达式。
接下来,我们定义if语句。exps是表达式的数组,用于记录if语句的表达式,blocks用于表示if语句的语句块。现在,让我们来看看函数调用表达式。prefixExp为前缀,在此例中为"setValue",args为函数的参数。
语句分析完毕,我们再来看表达式的解析,我们要支持的表达式为:加法和相等判断都是二元运算,因此我们定义了二元运算。
材料已经准备就绪,我们现在来实现语法分析。从block开始。
上述内容都很好理解,我们通过循环调用parseStat函数处理一条条语句,生成block。接下来看看处理语句的parseStat。
可以看出,淘宝客sdk源码我们现在支持两种语句:一是if语句,二是函数调用语句。先看看if语句。
nextTokenOfKind函数用于判断当前token是否为参数中的类型,如果不是,则直接报错。
然后调用parseExp解析if的表达式,表达式将在语句解析完成后处理。
parseBlock函数用于解析if条件满足时运行的语句。
如果if语句有else语句,则同样调用parseBlock函数来解析else条件满足时运行的语句。
解析完if语句,再看看函数调用语句的解析,即parseAssignOrFuncCallStat函数。
首先会创建nameExp表达式,因为函数名是一个标识符,将在parsePrefixExp中被处理。然后调用_finishPrefixExp函数,由于标识符后是"("符号,所以会调用_finishFuncCallExp函数,在这个函数中会调用_parseArgs处理函数调用的参数,最后生成funcCallExp表达式,函数解析完成。
语句分析完毕,我们再来看表达式的解析,即parseExp函数。
这段逻辑与系列()讲的内容一致,这里不再过多解释,不明白的可以参考()讲。
最后,我们来看看函数参数的解析,即_parseArgs函数。
_parseArgs函数首先跳过函数调用开头的"(",然后调用parseExpList函数,这个函数调用parseExp函数完成函数参数的解析。
好了,本文到此结束。
项目地址:GitHub - zhzhz/iscada
探索 Lua5.2 内部实现:编译系统(1) 概述
Lua 是彩虹发卡源码4.6一种轻量级、高效率的语言,其编译系统的实现至关重要。Lua 的编译过程需要将符合语法规则的chunk转换为可运行的closure,这一过程需要高效且巧妙的设计。closure对象是Lua运行时的函数实例,proto对象则代表了closure的原型,存储着函数的大部分信息,包括闭包与proto之间的关系,以及chunk与closure之间的对应关系。
编译系统的任务是将chunk转换为运行时可执行的closure。在这一过程中,需要理解chunk和closure的关系,以及chunk如何生成mainfunc proto,再为这个proto创建一个closure。每一个function statement都会生成一个对应的proto,并保存在外层函数的子函数列表中。所有最外层的function statement的proto会被保存到mainfunc proto的子函数列表中,形成以mainfunc为根节点的proto树。
编译系统被划分为三个模块:词法分析、语法分析和指令生成。Lua使用手写分析器进行词法和语法分析,以提高效率。词法分析将源代码拆分成token,供语法分析使用。语法分析采用“递归下降”的方法,生成最终的指令,构建proto树,即整个编译过程。
词法分析模块相对简单,主要任务是将源代码分解为token。Token包括类型和语义信息,用于后续的语法分析。Lua的全局状态信息由LexState结构体保存,它不仅包含词法分析状态,还包含了整个编译系统的全局状态。
语法分析和指令生成是整个编译过程的核心。语法分析器驱动整个编译过程,生成最终指令。影视源码都有啥分析过程中,词法分析器生成指令,直接用于构建proto树。编译过程中,使用FuncState结构体来保存函数的编译状态数据,这些数据会随着函数的压栈和弹栈进行保存和恢复。全局数据Dyndata用于保存每个FuncState对应的局部变量描述列表、goto列表和label列表。
编译系统的全局状态信息存储在LexState中,包含当前编译函数的FuncState和全局的Dyndata数据。FuncState通过f引用Proto,保存生成指令的列表。h引用一个table,用于生成常量表,当遇到常量时,查找表中是否存在该常量,以节省内存。编译过程会创建和销毁FuncState和BlockCnt,以管理函数和块的层次结构。
在整个语法分析过程中,Lua按照深度优先的顺序遍历FuncState树和BlockCnt树,只保存当前处理的编译状态,以减少内存使用。在分析过程中,Lua不构建完整的语法树对象,而是将过程中的语法结构保存在函数栈中,分析完成后立即丢弃。长跳转等异常处理机制用于处理错误,确保编译状态数据在出错时自动销毁。
在C stack中保存编译状态数据的原因与异常处理机制相关,使用longjump机制处理错误,确保所有当前的编译状态数据在出错时自动销毁。
Lua的编译和反编译
无论是Unity项目还是Unreal的项目,我通常会使用Lua进行编程。在项目打包阶段,Lua的编译和反编译是不可或缺的步骤。在本文中,我们将探讨如何对Lua代码进行编译与反编译,成人页游源码以及如何利用不同的工具进行操作。
对于Lua代码的编译,我们通常有两种方法。一种是使用lua脚本直接运行代码,另一种是使用Lua的编译器(如Luac)将源代码转换为Lua字节码。通过使用指令`lua ./TestLua.lua`,我们可以测试代码的正确性。Luac是将Lua源代码编译为Lua字节码的工具,编译成功后,我们可以通过运行编译后的字节码来验证结果,一切顺利。
另一种流行的Lua编译器是Luajit,它在Unity项目中被广泛使用。使用Luajit可以提升执行速度。如果遇到编译错误,只需确保将`luajit\src\src\jit`文件放在`luajit.exe`的同一目录下的`lua`文件夹中即可。通过直接运行包含测试代码的Lua文件,我们可以确认编译和运行的流程是正确的。
在对比了两种编译方法后,我们发现它们都有各自的特点和适用场景。Luac适用于简单的脚本或对代码优化要求不高的情况,而Luajit则更适合需要高性能的项目,特别是那些对运行速度有较高要求的场景。
对于Lua的反编译,最常用的工具是`luadec`。通过将`luadec`工具与Visual Studio项目进行集成,我们能够对编译后的字节码进行反编译,恢复源代码。在尝试反编译后,我们得到了清晰可读的代码,即使在不使用调试信息的情况下,反编译结果也具有一定的可读性。
对于更复杂的反编译需求,如支持位字节码的反编译,我们遇到了一些挑战。目前,有一个名为`ljd`的工具支持位字节码的反编译,但仅限于位平台。对于位平台的字节码,我们可能需要自行修改`ljd`的Python代码来支持,这是一个需要时间和专业知识的额外工作。尽管如此,对于大部分应用场景,上述工具已经足够满足我们的需求。
总之,Lua的编译和反编译是Lua项目开发过程中的重要环节。通过选择合适的编译工具和反编译方法,可以有效提升代码的执行效率和调试效率。同时,对于反编译过程,我们应根据实际需求选择合适的工具,并注意其适用的平台和特性。
Lua如何进行大数运算(附源码)
在游戏服务器开发中,大数计算是常见但难以避免的问题。一般数值计算在math.maxinteger范围内可直接使用Lua常规计算,超出范围则需大数计算。本文介绍了两种基于Lua的大数计算库:基于Boost的Lua库和基于GNU bc的Lua库lbc。
基于Boost的Lua库通过安装Lua、Boost和GCC,编译生成Lua直接引用的so库。编译方式有正常编译和捆绑编译。捆绑编译通过make_boost.sh脚本将boost文件复制到boost文件夹,简化编译过程。但需要注意,捆绑编译可能不适用于最新版本的boost。
基于GNU bc的Lua库lbc由Lua的作者之一编写,具有简单、小巧、易用等特点。编译简单,几乎只需执行make。测试结果显示,lbc在位字符的数字上,执行加减乘除各一次,其时间在1秒以下,符合要求。
本文还介绍了基于MAPM的Lua库lmapm,其特点与lbc类似。两种库在测试中表现稳定,但lbc提供了详细的位数信息,而lmapm采用科学计数法表示结果。
最后,本文建议根据实际需求选择合适的大数计算库。对于简单、方便、源码、可修改、可移植和精度要求较高的项目,lbc是不错的选择。同时,还介绍了其他开源的大数计算库,供读者参考。
Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue
故事将由我们拥有了一段 Lua 代码开始,我们先用 Lua 语言写一段简单的打印一加一计算结果的 Lua 代码,并把代码保存在 luatest.lua 文件中:
可执行的一个 Lua 文件或者一份单独的文本形式 Lua 代码,在 Lua 源码中叫做 "Chunk"。无论我们通过什么形式去执行,或者用什么编辑器去执行,最终为了先载入这段 Lua 的 Chunk 到内存中,无外乎会归结到以下两种方式:1)Lua 文件的载入:require 函数 或 loadfile 函数;2)Lua 文本代码块的载入:load 函数;这两种方式最终都会来到下面源码《lparse.c》luaY_parser 函数。该函数是解析器的入口函数,负责完成代码解析工作,最终会创建并返回一个 Lua 闭包(LClosure),见下图的红框部分:
另外,上图中间有一行代码最终会调用到 statement 函数,statement 函数是 Chunk 解析的核心函数,它会一个一个字符地处理我们编写的 Lua 代码,完成词法分析和语法分析工作,想要了解字符处理整个状态流程的可以自行研读该部分源码,见源码《lparse.c》statement 函数部分代码:
完成了解析工作之后,luaY_parser 函数会把解析的所有成果放到 Lua 闭包(LClosure)对象之中,这些存储的内容能保证后续执行器能正常执行 Lua 闭包对应的代码。
Lua 闭包由 Proto(也叫函数原型)与 UpValue(也叫上值)构成,见源码《lobject.h》LClosure 定义,我们下面将进行详细的讲解:
UpValue 是 Lua 闭包数据相关的,在 Lua 的函数调用中,根据数据的作用范围可以把数据分为两种类型:1)内部数据:函数内部自己定义的数据,或者通过函数参数的形式传入的数据(在 Lua 中通过参数传入的数据本质上也是先赋值给一个局部变量);2)外部数据:在函数的更外层进行定义,脱离了该函数后仍然有效的数据;外部数据在我们的 Lua 闭包中就是 UpValue,也叫上值。
既然 Lua 支持函数嵌套,也知道了 UpValue 本质就是上层函数的内部数据。那么 UpValue 有必要存储于 Lua 闭包(LClosure)结构体当中吗?是为了性能考虑而做的一层指针引用缓存吗?回答:并不是基于性能的考虑,因为在实际的 Lua 运用场景中,函数嵌套的层数通常来说不会太多,个别函数多一层的查询访问判断不会带来过多的性能开销。需要在闭包当中存储 UpValue 主要原因是因为内存。Lua 作为一门精致小巧的脚本语言,设计初衷不希望占用过多的系统内存,它会尽量及时地清理内存中用不到的对象。在嵌套函数中,内层函数如果仍然有被引用处于有效状态,而外层函数已经没有被引用了已经无效了,此时 Lua 支持在保留内层函数的情况下,对外层函数进行清除,从而可以清理掉外层函数引用的非当前函数 UpValue 用途以外的大量数据内存。
尽管外层函数被清除了,Lua 仍然可以保持内层函数用到的 UpValue 值的有效性。UpValue 如何能继续保持有效,我们在之前的基础教程《基本数据类型 之 Function》里面学习过,主要是因为 UpValue 有 open 与 close 两种状态,当外层函数被清除的时候,UpValue 会有一个由 open 状态切换到 close 状态的过程,会对数据进行一定的处理,感兴趣的同学可以回到前面复习一下。
UpValue 有效性例子
接下来我们举一个代码例子与一个图例,表现一下 UpValue 在退出外层函数后仍然生效的情况,看一下可以做什么样的功能需求,加深一下印象,请看代码与注释:
上述代码在执行 OutFunc 函数后,外层的 globalFunc 函数变量完成了赋值,每次对它进行调用,都将可以对它引用的 UpValue 值即 outUpValue 变量进行正常加 1。
函数的内部数据属于函数自身的内容,外部其它函数无法通过直接的方式访问其它函数的内部数据。函数自身的东西会存在于 LClosure 结构体的 Proto*p 字段中。Proto 全称 "Function Prototypes",通常也可以叫做 "函数原型",我们来看一下它的定义,见源码《lobject.h》Proto 结构体:
结构体字段比较多,我们先不细看,后面用到哪个字段会再进行补充说明。函数的内部数据分为常量与变量(即函数局部变量),分别对应上图的如下字段:
1)常量:TValue* k 为指针指向常量数组;int sizek 为函数内部定义的常量个数,也即常量数组 k 的元素个数。
2)局部变量:LocVar* locvars 为指针指向局部变量数组;int sizelocvars 为函数定义的局部变量个数,也即局部变量数组 locvars 的元素个数。
UpValue 的描述信息会存储在 Proto 结构体中的 Upvaldesc* upvalues 字段,解析器解析 Lua 代码的时候会生成这个 UpValue 描述信息,并用于生成指令,而执行器运行的时候可以通过该描述信息方便快速地构建出真正的 UpValue 数组。
至此,我们知道了函数拥有 UpValue,有常量,有局部变量。外部数据 UpValue 也讲完,内部数据也讲完。接下来,我们开始学习函数运行的逻辑指令相关内容。
函数逻辑指令存储于函数原型 Proto 结构体中,这些函数逻辑是由一行行的 Lua 代码构成的,代码会被解析器翻译成 Lua 虚拟机能识别的指令,我们把这些指令称为 "OpCode",也叫 "操作码"。Proto 结构体存储 OpCode 使用的是下图中红框部分字段,见源码《lobject.h》Proto 结构体:
至此,我们可以简单提前说一下 Lua 虚拟机的功能了,本质上来看,Lua 虚拟机的工作,就是为当前函数(或者当前一段 OpCode 数组)准备好数据,然后有序执行 OpCode 指令。
对 OpCode 有了一定的认识了,接下来我们要补充一个 OpCode 相关的 Lua 闭包相关的内容,就是 Lua 闭包的运行环境。
一个 Lua 文件在载入的时候会先创建出一个最顶层(Top level)的 Lua 闭包,该闭包默认带有一个 UpValue,这个 UpValue 的变量名为 "_ENV",它指向 Lua 虚拟机的全局变量表,即_G 表,可以理解为_G 表即为当前 Lua 文件中代码的运行环境 (env)。事实上,每一个 Lua 闭包它们第一个 UpValue 值都是_ENV。
ENV 的定义在我们之前提到的解析器相关函数 mainfunc 中,见源码《lparser.c》:
如果想要设置这个载入后的初始运行环境不使用默认的 _G 表,除了直接在该文件代码中重新赋值_ENV 变量这种粗暴且不推荐的方式以外,通常是通过我们前面提到的加载 Lua 文件函数或加载 Lua 字符串代码函数传入 env 参数(Table 类型),就可以用自定义的 Table 作为当前 Lua 闭包的全局变量环境了,env 参数为上面两个函数的最末尾一个参数,'[' 与 ']' 字符中的内容表示参数可选,函数的定义摘自 Lua5.4 官网文档:
所以我们可以在 Lua 代码通过 _ENV 访问当前环境:
在 Lua 的旧版本中,变量的查询最多会分为 3 步:1)先从函数局部变量中进行查找;2)找不到的话就从 UpValue 中查找;3)还找不到就从全局环境默认 _G 表查找。而在 Lua5.4 中,把 UpValue 与全局 _G 表的查询统一为 UpValue 查询,并把一些操作判断提前到了解析器解析阶段进行,例如函数内部使用的某个 UpVaue 变量在代码解析的时候就可以通过 UpValue 描述信息知道存储于 Lua 闭包 upvals 数组的哪个下标位置,在执行器运行的时候只需要直接在数组拿取对应下标的这个 UpValue 数据即可。
从 OpCode 的层面来看,Lua 除了支持通过一个 UpValue 数组下标访问一个 UpValue 变量,在把 _G 表合并到 UpValue 之后,Lua 为此实现了通过一个字符串 key 值从某个 Table 类型的 UpValue 中查询变量的操作。
至此,我们了解了 Lua 闭包的结构与运行环境,以及 OpCode 的基本概念。接下来,我们将深入学习 OpCode,掌握 OpCode 就掌握了整个 Lua 虚拟机数据与逻辑的流向。
Windows ä¸ç¼è¯ LuaJIT
è¿éä½¿ç¨ Visual studio èªå¸¦çå½ä»¤è¡å·¥å ·æ¥è¿è¡ç¼è¯ï¼æ以éè¦å®è£ 好VSã
é¦å æå¼VSå½ä»¤è¡å·¥å ·ãå¯ä»¥æ Win + S ï¼è¾å ¥ prompt æ¥æ¾å°å®ãå¦å¾ã
解å LuaJIT æºç ï¼å¹¶è¿å ¥å°è§£åç®å½ /src ä¸ãè¾å ¥ msvcbuild å¼å§ç¼è¯ã
çå° === Successfully built LuaJIT for xxxxx === åæ¯ç¼è¯æåäºã
å¨è§£åç®å½ /src ä¸å¯ä»¥æ¾å°ç¼è¯çæç luajit.exe å lua.dll .
æå¼cmdã
å¦æ没ææ·»å ç¯å¢åéåå å®ä½å°LuaJitå®è£ ç®å½ã
è¾å ¥ luajit +æ件å å³å¯è¿è¡Luaèæ¬ã
è¾å ¥ luajit -b +Luaèæ¬+ç®æ æ件åï¼å³å¯ç¼è¯èæ¬ã