皮皮网

1.UE4源码剖析：MallocBinned（上）
2.Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue
3.Odoo框架源码研读二：ORM框架与日志
4.集成测试和单元测试的源码研读区别

UE4源码剖析：MallocBinned（上）

       近期着手UE4项目开发，对UnrealEngine已久仰慕，源码研读终于得此机会深入探索。源码研读鉴于项目内存性能问题，源码研读决定从内存分配器着手，源码研读深入研读UE4源码。源码研读机构内部主图源码改选股器虽个人水平有限，源码研读尚不能全面理解，源码研读但愿借此机会揭开源码神秘面纱，源码研读让新手朋友们不再感到陌生。源码研读

       UE4内存分配器位于硬件抽象层HAL（Hardware Abstraction Layer）中。源码研读具体装箱内存分配器代码位于VS项目目录：UE4/Source/Runtime/Core/Private/HAL/MallocBinned。源码研读

       分析从ApplePlatformMemory::BaseAllocator开始，源码研读可发现Mac平台的源码研读默认分配器为MallocBinned，iOS的源码研读默认分配器为MallocAnsi。以下将重点分析MallocBinned。

       一、确定对齐方式

       FScopeLock用于局部线程锁，确保线程同步。关于Alignment的确定，通常使用默认值。默认值取决于内存对齐方式，此处默认对齐为8字节。

       二、确定有足够空间来内存对齐

       代码中，SpareBytesCount用于确认空间足够。若分配内存小于8字节，则按Alignment大小匹配箱体；若大于8字节，则按Size + Alignment - sizeof(FFreeMem)匹配箱体。

       三、确定箱体大小

       根据Size的layaair引擎源码下载大小，有三种不同的处理方式。k以下的内存分配采用装箱分配，PoolTable中包含个不同大小的池子。

       四、初始化内存池

       分析内存池初始化过程，主要工作包括：确定内存大小，分配内存块，设置内存池基本信息。

       五、内存装箱

       AllocateBlockFromPool从内存池中分配一个Block，实现内存装箱过程。

Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue

       故事将由我们拥有了一段 Lua 代码开始，我们先用 Lua 语言写一段简单的打印一加一计算结果的 Lua 代码，并把代码保存在 luatest.lua 文件中：

       可执行的一个 Lua 文件或者一份单独的文本形式 Lua 代码，在 Lua 源码中叫做 "Chunk"。无论我们通过什么形式去执行，或者用什么编辑器去执行，最终为了先载入这段 Lua 的 Chunk 到内存中，无外乎会归结到以下两种方式：1）Lua 文件的载入：require 函数 或 loadfile 函数；2）Lua 文本代码块的载入：load 函数；这两种方式最终都会来到下面源码《lparse.c》luaY_parser 函数。该函数是解析器的入口函数，负责完成代码解析工作，最终会创建并返回一个 Lua 闭包（LClosure），见下图的红框部分：

       另外，上图中间有一行代码最终会调用到 statement 函数，statement 函数是 Chunk 解析的核心函数，它会一个一个字符地处理我们编写的 Lua 代码，完成词法分析和语法分析工作，想要了解字符处理整个状态流程的可以自行研读该部分源码，见源码《lparse.c》statement 函数部分代码：

       完成了解析工作之后，luaY_parser 函数会把解析的spring 源码编译报错所有成果放到 Lua 闭包（LClosure）对象之中，这些存储的内容能保证后续执行器能正常执行 Lua 闭包对应的代码。

       Lua 闭包由 Proto（也叫函数原型）与 UpValue（也叫上值）构成，见源码《lobject.h》LClosure 定义，我们下面将进行详细的讲解：

       UpValue 是 Lua 闭包数据相关的，在 Lua 的函数调用中，根据数据的作用范围可以把数据分为两种类型：1）内部数据：函数内部自己定义的数据，或者通过函数参数的形式传入的数据（在 Lua 中通过参数传入的数据本质上也是先赋值给一个局部变量）；2）外部数据：在函数的更外层进行定义，脱离了该函数后仍然有效的数据；外部数据在我们的 Lua 闭包中就是 UpValue，也叫上值。

       既然 Lua 支持函数嵌套，也知道了 UpValue 本质就是上层函数的内部数据。那么 UpValue 有必要存储于 Lua 闭包（LClosure）结构体当中吗？是为了性能考虑而做的一层指针引用缓存吗？回答：并不是基于性能的考虑，因为在实际的 Lua 运用场景中，函数嵌套的层数通常来说不会太多，个别函数多一层的查询访问判断不会带来过多的性能开销。需要在闭包当中存储 UpValue 主要原因是因为内存。Lua 作为一门精致小巧的脚本语言，设计初衷不希望占用过多的系统内存，它会尽量及时地清理内存中用不到的对象。在嵌套函数中，内层函数如果仍然有被引用处于有效状态，而外层函数已经没有被引用了已经无效了，此时 Lua 支持在保留内层函数的情况下，对外层函数进行清除，从而可以清理掉外层函数引用的非当前函数 UpValue 用途以外的大量数据内存。

       尽管外层函数被清除了，Lua 仍然可以保持内层函数用到的 UpValue 值的有效性。UpValue 如何能继续保持有效，我们在之前的基础教程《基本数据类型 之 Function》里面学习过，主要是libevent源码结果说明因为 UpValue 有 open 与 close 两种状态，当外层函数被清除的时候，UpValue 会有一个由 open 状态切换到 close 状态的过程，会对数据进行一定的处理，感兴趣的同学可以回到前面复习一下。

       UpValue 有效性例子

       接下来我们举一个代码例子与一个图例，表现一下 UpValue 在退出外层函数后仍然生效的情况，看一下可以做什么样的功能需求，加深一下印象，请看代码与注释：

       上述代码在执行 OutFunc 函数后，外层的 globalFunc 函数变量完成了赋值，每次对它进行调用，都将可以对它引用的 UpValue 值即 outUpValue 变量进行正常加 1。

       函数的内部数据属于函数自身的内容，外部其它函数无法通过直接的方式访问其它函数的内部数据。函数自身的东西会存在于 LClosure 结构体的 Proto*p 字段中。Proto 全称 "Function Prototypes"，通常也可以叫做 "函数原型"，我们来看一下它的定义，见源码《lobject.h》Proto 结构体：

       结构体字段比较多，我们先不细看，后面用到哪个字段会再进行补充说明。函数的内部数据分为常量与变量（即函数局部变量），分别对应上图的如下字段：

       1）常量：TValue* k 为指针指向常量数组；int sizek 为函数内部定义的常量个数，也即常量数组 k 的元素个数。

       2）局部变量：LocVar* locvars 为指针指向局部变量数组；int sizelocvars 为函数定义的局部变量个数，也即局部变量数组 locvars 的元素个数。

       UpValue 的描述信息会存储在 Proto 结构体中的 Upvaldesc* upvalues 字段，解析器解析 Lua 代码的时候会生成这个 UpValue 描述信息，并用于生成指令，而执行器运行的mybatis源码解析 2017时候可以通过该描述信息方便快速地构建出真正的 UpValue 数组。

       至此，我们知道了函数拥有 UpValue，有常量，有局部变量。外部数据 UpValue 也讲完，内部数据也讲完。接下来，我们开始学习函数运行的逻辑指令相关内容。

       函数逻辑指令存储于函数原型 Proto 结构体中，这些函数逻辑是由一行行的 Lua 代码构成的，代码会被解析器翻译成 Lua 虚拟机能识别的指令，我们把这些指令称为 "OpCode"，也叫 "操作码"。Proto 结构体存储 OpCode 使用的是下图中红框部分字段，见源码《lobject.h》Proto 结构体：

       至此，我们可以简单提前说一下 Lua 虚拟机的功能了，本质上来看，Lua 虚拟机的工作，就是为当前函数（或者当前一段 OpCode 数组）准备好数据，然后有序执行 OpCode 指令。

       对 OpCode 有了一定的认识了，接下来我们要补充一个 OpCode 相关的 Lua 闭包相关的内容，就是 Lua 闭包的运行环境。

       一个 Lua 文件在载入的时候会先创建出一个最顶层（Top level）的 Lua 闭包，该闭包默认带有一个 UpValue，这个 UpValue 的变量名为 "_ENV"，它指向 Lua 虚拟机的全局变量表，即_G 表，可以理解为_G 表即为当前 Lua 文件中代码的运行环境 (env)。事实上，每一个 Lua 闭包它们第一个 UpValue 值都是_ENV。

       ENV 的定义在我们之前提到的解析器相关函数 mainfunc 中，见源码《lparser.c》：

       如果想要设置这个载入后的初始运行环境不使用默认的 _G 表，除了直接在该文件代码中重新赋值_ENV 变量这种粗暴且不推荐的方式以外，通常是通过我们前面提到的加载 Lua 文件函数或加载 Lua 字符串代码函数传入 env 参数（Table 类型），就可以用自定义的 Table 作为当前 Lua 闭包的全局变量环境了，env 参数为上面两个函数的最末尾一个参数，'[' 与 ']' 字符中的内容表示参数可选，函数的定义摘自 Lua5.4 官网文档：

       所以我们可以在 Lua 代码通过 _ENV 访问当前环境：

       在 Lua 的旧版本中，变量的查询最多会分为 3 步：1）先从函数局部变量中进行查找；2）找不到的话就从 UpValue 中查找；3）还找不到就从全局环境默认 _G 表查找。而在 Lua5.4 中，把 UpValue 与全局 _G 表的查询统一为 UpValue 查询，并把一些操作判断提前到了解析器解析阶段进行，例如函数内部使用的某个 UpVaue 变量在代码解析的时候就可以通过 UpValue 描述信息知道存储于 Lua 闭包 upvals 数组的哪个下标位置，在执行器运行的时候只需要直接在数组拿取对应下标的这个 UpValue 数据即可。

       从 OpCode 的层面来看，Lua 除了支持通过一个 UpValue 数组下标访问一个 UpValue 变量，在把 _G 表合并到 UpValue 之后，Lua 为此实现了通过一个字符串 key 值从某个 Table 类型的 UpValue 中查询变量的操作。

       至此，我们了解了 Lua 闭包的结构与运行环境，以及 OpCode 的基本概念。接下来，我们将深入学习 OpCode，掌握 OpCode 就掌握了整个 Lua 虚拟机数据与逻辑的流向。

Odoo框架源码研读二：ORM框架与日志

       上一期我们带来了关于Odoo框架源码第一期内容（传动门➡《Odoo框架源码研读一：前后端交互》），让大家对Odoo整体结构和前后端交互有了更深刻的了解。

       而Odoo在实际开发的大多数场景都是基于它的ORM框架进行的，所以本期我们将带来Odoo框架源码的第二期内容——ORM和日志。

       一、ORM

       Odoo是通过Controller控制器，来控制前后台的交互。上一期我们详细的介绍了如何让请求顺利到达Controller控制器。

       那么当请求到达Controller后，又如何来实现后端的业务逻辑呢？这就不得不提到Odoo一个非常强大的类——Environment。

       通过_loca属性，Environment可以直接管理线程中的environments上下文状态，并且包装了ORM相关四个属性：

       而且Environment还提供了Model name和Model之间的映射，通过self.env[ModelName] 就可以直接调用Model的API ，非常强大。

       现在，再回头看Controller中的方法，可以看到，通过request.env[model]可以直接获取对应的Model对象，然后直接调用Model的方法。

       Odoo中一切都是基于Model编程。即使是前端的menu、action、view，都是也都有对应 Model，和业务数据无异。

       创建一个Model ，然后通过简单的视图配置，那么这个Model对应的CRUD基础功能就已经实现，这些都归功于Odoo对于Model的抽象。

       Odoo中的model分为三类：AbstractModel、Model、TransientModel；

       继承关系如下图 ⬇

       从源码中可以看出AbstractModel 是Model 和TransientModel的父类。而这个三者的区别也主要在_auto、_register、_abstract、_transient这四个属性上。

       由此可以AbstractModel是抽象类，不会在数据库创建表，Model和TransientModel 不是抽象类，会在数据库建表，但TransientModel建的是临时表，数据会被系统定期清除，这个可以在系统中设置清除频率。

       由于这种特性的不同，三个Model的用途也不相同。

       TransientModel由于存临时表的特性，多用来做wizard向导视图，存储临时缓存数据；

       Model多用于做业务的主要Model，AbstractModel多用来抽象做父类，由于不创建表的特性，有时也会用来做向导视图。

       新模块中的Model，根据功能需要去继承这三个类，由于这三个父类中丰富的API方法，新建 Model在创建完字段后，功能就已经基本完善，如果有定制化的逻辑，只需要重写父类的方法就可以了。

       Model中的Field不是Python的基础类型，而是继承Odoo封装的Field类。

       因此，在Model字段赋值的时候，和基础类型字段不同，会调用Field中的API方法，这是容易踩坑的地方。

       二、日志

       Odoo的日志是在Python的logging基础模块之上，做了定制化的封装和配置。这部份代码主要在odoo/netsvc.py文件中。

       Odoo定义了自己的Filter对象、Formatter对象、以及Handler对象。

       1）项目启动的时候，配置管理器configmanager初始化，这个时候会去初始化默认的系统配置，包括日志模块。

       2）随后，配置管理器会去加载配置文件odoo.conf中的自定义配置覆盖原先的默认配置。

       3）最后，处理完配置加载，Odoo会调用日志初始化代码，根据最终的日志配置去设定相关的logger对象。

       上图即为Odoo日志的默认配置。

       初始化过程：

       通过logging.logging.getLogger(_name_)调用前包层级的logger 对象，logging.logging.getLogger() 则返回root logger对象。

       本期关于Odoo的ORM和日志就聊到这里，下一期我们会继续聊一下Odoo的异常和流程引擎，感兴趣的小伙伴记得关注我~

集成测试和单元测试的区别

       一、功能不同：

       单元测试，就是单独一部分功能是否实现；

       模块集成测试，就是这个子功能是否实现；

       系统集成测试就是子功能合成后，能否一个一个进入到不同的子功能里去；系统测试，我感觉是性能、兼容这些。

       二 、含义不同：

       单元测试：对软件中的最小可测试单元进行检查和验证

       集成测试：在单元测试的基础上，将所有模块按照设计要求（如根据结构图）组装成为子系统或系统，进行集成测试。

       系统测试：将已经集成好的软件系统，作为整个基于计算机系统的一个元素，与计算机硬件、外设、某些支持软件、数据和人员等其他系统元素结合在一起，在实际使用环境下，对计算机系统进行一系列的组装测试和确认测试的工作。

扩展资料：

       经常与单元测试联系起来的另外一些开发活动包括代码走读（Code review)，静态分析（Static analysis)和动态分析（Dynamic analysis)。静态分析就是对软件的源代码进行研读，查找错误或收集一些度量数据，并不需要对代码进行编译和执行。动态分析就是通过观察软件运行时的动作，来提供执行跟踪，时间分析，以及测试覆盖度方面的信息。

       百度百科-单元测试