皮皮网

1.【软件推荐】【WL端】【视频】m3u8器 - m3u8d
2.Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue
3.P·C·LPCL简介
4.hybridclr源代码解析
5.GCC 源码编译安装
6.Linux下源码安装的码下经验详解

【软件推荐】【WL端】【视频】m3u8器 - m3u8d

       W—Windows，L—Linux，码下M—MAC，码下A—Android，码下I—iOS，码下H—HarmonyOS

       ---------- .. 更新 ----------

       向大家推荐一款实用的码下搜云库源码m3u8下载器——m3u8d。这款下载器的码下源码地址是：orestonce/m3u8d，它是码下一款m3u8视频下载工具，支持windows和macos操作系统，码下下载后可以自动将ts文件合并，码下并将格式转换为mp4。码下具体的码下下载地址可以在这里找到：Releases · orestonce/m3u8d (github.com)

       若您无法访问Github，这里也提供了网盘下载地址：链接：pan.quark.cn/s/e8d8ef...

Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue

       故事将由我们拥有了一段 Lua 代码开始，码下我们先用 Lua 语言写一段简单的码下打印一加一计算结果的 Lua 代码，并把代码保存在 luatest.lua 文件中：

       可执行的码下一个 Lua 文件或者一份单独的文本形式 Lua 代码，在 Lua 源码中叫做 "Chunk"。无论我们通过什么形式去执行，或者用什么编辑器去执行，最终为了先载入这段 Lua 的 Chunk 到内存中，无外乎会归结到以下两种方式：1）Lua 文件的载入：require 函数 或 loadfile 函数；2）Lua 文本代码块的载入：load 函数；这两种方式最终都会来到下面源码《lparse.c》luaY_parser 函数。该函数是解析器的入口函数，负责完成代码解析工作，最终会创建并返回一个 Lua 闭包（LClosure），见下图的红框部分：

       另外，上图中间有一行代码最终会调用到 statement 函数，statement 函数是 Chunk 解析的核心函数，它会一个一个字符地处理我们编写的 Lua 代码，完成词法分析和语法分析工作，想要了解字符处理整个状态流程的可以自行研读该部分源码，见源码《lparse.c》statement 函数部分代码：

       完成了解析工作之后，luaY_parser 函数会把解析的所有成果放到 Lua 闭包（LClosure）对象之中，这些存储的内容能保证后续执行器能正常执行 Lua 闭包对应的代码。

       Lua 闭包由 Proto（也叫函数原型）与 UpValue（也叫上值）构成，见源码《lobject.h》LClosure 定义，我们下面将进行详细的讲解：

       UpValue 是 Lua 闭包数据相关的，在 Lua 的函数调用中，根据数据的作用范围可以把数据分为两种类型：1）内部数据：函数内部自己定义的数据，或者通过函数参数的形式传入的数据（在 Lua 中通过参数传入的数据本质上也是先赋值给一个局部变量）；2）外部数据：在函数的更外层进行定义，脱离了该函数后仍然有效的数据；外部数据在我们的 Lua 闭包中就是 UpValue，也叫上值。

       既然 Lua 支持函数嵌套，也知道了 UpValue 本质就是上层函数的内部数据。那么 UpValue 有必要存储于 Lua 闭包（LClosure）结构体当中吗？是为了性能考虑而做的一层指针引用缓存吗？回答：并不是基于性能的考虑，因为在实际的网站的查看源码 Lua 运用场景中，函数嵌套的层数通常来说不会太多，个别函数多一层的查询访问判断不会带来过多的性能开销。需要在闭包当中存储 UpValue 主要原因是因为内存。Lua 作为一门精致小巧的脚本语言，设计初衷不希望占用过多的系统内存，它会尽量及时地清理内存中用不到的对象。在嵌套函数中，内层函数如果仍然有被引用处于有效状态，而外层函数已经没有被引用了已经无效了，此时 Lua 支持在保留内层函数的情况下，对外层函数进行清除，从而可以清理掉外层函数引用的非当前函数 UpValue 用途以外的大量数据内存。

       尽管外层函数被清除了，Lua 仍然可以保持内层函数用到的 UpValue 值的有效性。UpValue 如何能继续保持有效，我们在之前的基础教程《基本数据类型 之 Function》里面学习过，主要是因为 UpValue 有 open 与 close 两种状态，当外层函数被清除的时候，UpValue 会有一个由 open 状态切换到 close 状态的过程，会对数据进行一定的处理，感兴趣的同学可以回到前面复习一下。

       UpValue 有效性例子

       接下来我们举一个代码例子与一个图例，表现一下 UpValue 在退出外层函数后仍然生效的情况，看一下可以做什么样的功能需求，加深一下印象，请看代码与注释：

       上述代码在执行 OutFunc 函数后，外层的 globalFunc 函数变量完成了赋值，每次对它进行调用，都将可以对它引用的 UpValue 值即 outUpValue 变量进行正常加 1。

       函数的内部数据属于函数自身的内容，外部其它函数无法通过直接的方式访问其它函数的内部数据。函数自身的东西会存在于 LClosure 结构体的 Proto*p 字段中。Proto 全称 "Function Prototypes"，通常也可以叫做 "函数原型"，我们来看一下它的定义，见源码《lobject.h》Proto 结构体：

       结构体字段比较多，我们先不细看，后面用到哪个字段会再进行补充说明。函数的内部数据分为常量与变量（即函数局部变量），分别对应上图的如下字段：

       1）常量：TValue* k 为指针指向常量数组；int sizek 为函数内部定义的常量个数，也即常量数组 k 的元素个数。

       2）局部变量：LocVar* locvars 为指针指向局部变量数组；int sizelocvars 为函数定义的局部变量个数，也即局部变量数组 locvars 的白表网源码元素个数。

       UpValue 的描述信息会存储在 Proto 结构体中的 Upvaldesc* upvalues 字段，解析器解析 Lua 代码的时候会生成这个 UpValue 描述信息，并用于生成指令，而执行器运行的时候可以通过该描述信息方便快速地构建出真正的 UpValue 数组。

       至此，我们知道了函数拥有 UpValue，有常量，有局部变量。外部数据 UpValue 也讲完，内部数据也讲完。接下来，我们开始学习函数运行的逻辑指令相关内容。

       函数逻辑指令存储于函数原型 Proto 结构体中，这些函数逻辑是由一行行的 Lua 代码构成的，代码会被解析器翻译成 Lua 虚拟机能识别的指令，我们把这些指令称为 "OpCode"，也叫 "操作码"。Proto 结构体存储 OpCode 使用的是下图中红框部分字段，见源码《lobject.h》Proto 结构体：

       至此，我们可以简单提前说一下 Lua 虚拟机的功能了，本质上来看，Lua 虚拟机的工作，就是为当前函数（或者当前一段 OpCode 数组）准备好数据，然后有序执行 OpCode 指令。

       对 OpCode 有了一定的认识了，接下来我们要补充一个 OpCode 相关的 Lua 闭包相关的内容，就是 Lua 闭包的运行环境。

       一个 Lua 文件在载入的时候会先创建出一个最顶层（Top level）的 Lua 闭包，该闭包默认带有一个 UpValue，这个 UpValue 的变量名为 "_ENV"，它指向 Lua 虚拟机的全局变量表，即_G 表，可以理解为_G 表即为当前 Lua 文件中代码的运行环境 (env)。事实上，每一个 Lua 闭包它们第一个 UpValue 值都是_ENV。

       ENV 的定义在我们之前提到的解析器相关函数 mainfunc 中，见源码《lparser.c》：

       如果想要设置这个载入后的初始运行环境不使用默认的 _G 表，除了直接在该文件代码中重新赋值_ENV 变量这种粗暴且不推荐的方式以外，通常是通过我们前面提到的加载 Lua 文件函数或加载 Lua 字符串代码函数传入 env 参数（Table 类型），就可以用自定义的 Table 作为当前 Lua 闭包的全局变量环境了，env 参数为上面两个函数的最末尾一个参数，'[' 与 ']' 字符中的内容表示参数可选，函数的报名表源码定义摘自 Lua5.4 官网文档：

       所以我们可以在 Lua 代码通过 _ENV 访问当前环境：

       在 Lua 的旧版本中，变量的查询最多会分为 3 步：1）先从函数局部变量中进行查找；2）找不到的话就从 UpValue 中查找；3）还找不到就从全局环境默认 _G 表查找。而在 Lua5.4 中，把 UpValue 与全局 _G 表的查询统一为 UpValue 查询，并把一些操作判断提前到了解析器解析阶段进行，例如函数内部使用的某个 UpVaue 变量在代码解析的时候就可以通过 UpValue 描述信息知道存储于 Lua 闭包 upvals 数组的哪个下标位置，在执行器运行的时候只需要直接在数组拿取对应下标的这个 UpValue 数据即可。

       从 OpCode 的层面来看，Lua 除了支持通过一个 UpValue 数组下标访问一个 UpValue 变量，在把 _G 表合并到 UpValue 之后，Lua 为此实现了通过一个字符串 key 值从某个 Table 类型的 UpValue 中查询变量的操作。

       至此，我们了解了 Lua 闭包的结构与运行环境，以及 OpCode 的基本概念。接下来，我们将深入学习 OpCode，掌握 OpCode 就掌握了整个 Lua 虚拟机数据与逻辑的流向。

P·C·LPCL简介

       Point Cloud Library (PCL) 是一个独立的大型开源工程，专注于处理二维和三维图像以及点云数据。最初由 Willow Garage 公司开发，旨在优化 PR2 机器人在 3D 数据感知算法处理上的速度。如今，PCL 已发展成为包含多种高级算法的函数库，例如滤波、特征估计、表面重建、模型拟合和分割。作为开源项目，PCL 对于商业应用与研究均免费提供，吸引了众多赞助商与开发者的支持。

       PCL 的创建始于 Dr. Radu Bogdan Rusu 在德国慕尼黑工业大学读博期间的项目，旨在为三维点云数据处理建立共同的基础架构。随着模块化库概念的形成，PCL 已成为机器人操作系统（ROS）框架的一部分，帮助 PR2 机器人在复杂 3D 环境中处理和导航。 年 月，PCL 决定成为独立项目，以促进 3D 领域的研究。自那时起，PCL 已吸引超过 名开发者和贡献者，分布在六大洲的 多所大学、研究机构和商业公司中。

       随着时间的推移，PCL 继续发展，阿里云整站源码并汇聚了全球众多研究人员和工程师，共同研究 3D 感知技术。项目版本记录显示，PCL 的最新版本为 PCL 1.6.0（ 年 7 月 日发布）。PCL 拥有多个模块，包括滤波、特征提取、点云融合、基于 FLANN 的 kdtree 实现、八叉树最近邻搜索、分割点云、点云拟合（包括多种算法）以及表面重建等。

       此外，PCL 提供输入输出模块支持 PCD 文件读写、OpenNI 接口（未实现微软 SDK 接口）和基于 VTK 实现的三维可视化功能。针对 Windows 和其他 IDE 的安装，提供了傻瓜式安装包和源代码下载方案。对于 Ubuntu 系统，通过 ROS（机器人操作系统）安装 PCL 也非常方便，只需要执行相应的命令。

       总之，PCL 是一个强大的开源工具，为 3D 数据处理提供了广泛的功能和算法支持，已经成为机器人研究和应用领域的核心资源。随着版本不断更新和功能的丰富，PCL 的影响力和适用性也在持续扩大。

hybridclr源代码解析

       基于lua的unity热更新解决方案

       使用lua5.3.5，可以通过VS进行调试，lparser.c负责解释lua源代码，LClosure *luaY_parser函数是解释lua源码的入口。llex.c中的llex函数负责词法分析，而lparser.c中的statement函数进行语法分析。lvm.c则用于执行lua代码。观察到lua需要第三方插件以查看性能，其基于寄存器的虚拟机性能优于ilruntime，但与unity交互成本高，依赖于lua的堆栈交互。

       流行解决方案如XLua和ToLua，XLua在处理如Vector3等结构体时，避免了不必要的拆箱和装箱操作，ToLua则直接在lua代码中实现了与C#类似的Vector3数据结构。

       基于ilruntime的unity热更新解决方案

       ilruntime的下载地址为github.com/Ourpalm/ILRuntimeU3D。它提供了unity示例工程，其中ImageReader.cs负责加载dll，而ilruntime使用Mono.Cecil来读取dll的PE信息。从2.0版本开始，ilruntime引入了寄存器模式以解决数值计算效率问题，分为按需JIT（ILRuntimeJITFlags.JITOnDemand）和立即JIT（ILRuntimeJITFlags.JITImmediately）两种模式。ILIntepreter.cs用于执行il代码，非寄存器模式下，Execute函数负责执行代码，而寄存器模式下的ExecuteR函数实现相同功能。然而，所有解决方案的虚拟机与il2cpp相互独立，导致元数据不相通，影响了与unity类的集成，需要额外封装和跨域访问处理。ilruntime支持大部分C#语法，但使用时需注意避免一些陷阱。

       基于hybridclr的unity热更新解决方案

       hybridclr提供了unity示例工程，官方博客地址为hybridclr.doc.code-philosophy.com...，使用手册可参考介绍 | HybridCLR。建议在vs和unity.3.0f1环境下调试PC工程。加载dll的两个主要入口在于.metadataModule.cpp中的LoadMetadataForAOTAssembly函数和RawImage.cpp读取原始信息，随后Image.cpp解析dll信息并翻译成il2cpp类型，AOTHomologousImage.cpp和ConsistentAOTHomologousImage.cpp分别用于封装加载过程，确保一致性或超集程序集的灵活管理。Assembly.cpp的Il2CppAssembly* Create函数解析PE头、CLR头和元数据以得到镜像信息，随后初始化metadata和interpreter模块以提供快速访问和执行速度。

       hybridclr的优势在于直接使用il2cpp的内存对象，避免跨域问题；利用C#语言特性进行开发；并能够使用unity自带的profiler工具查看性能。

GCC 源码编译安装

       前言

       本文主要介绍如何在特定条件下，通过源码编译安装GCC（GNU Compiler Collection）4.8.5版本。在Linux环境下，特别是遇到较老工程代码和低版本GCC适配问题时，网络仓库不可用，可通过下载源码进行本地编译安装。文章总结了该过程的步骤，以期帮助读者解决类似需求。

       Linux系统版本：SUSE Linux Enterprise Server SP5 (aarch) - Kernel \r (\l)

       GCC版本：gcc-4.8.5

       步骤如下：

       1，源码下载

       直接在Linux终端执行：wget ftp.gnu.org/gnu/gcc/gcc...

       或手动下载：ftp://gcc.gnu.org/pub/gcc/infrastructure

       选取对应的gcc版本下载。

       2，解压并进入目录

       解压下载的tar包：tar -jxvf gcc-4.8.5.tar.bz2

       进入解压后的目录：cd gcc-4.8.5

       3，配置依赖库

       联网情况下：cd gcc-4.8.5/

       ./contrib/download_prerequisites

       无法联网时，手动下载依赖库（如mpfr、gmp、mpc）并上传到指定目录，然后分别解压、重命名并链接。

       4，创建编译存放目录

       在gcc-4.8.5目录下执行：mkdir gcc-build-4.8.5

       5，生成Makefile文件

       cd gcc-build-4.8.5

       ../configure -enable-checking=release -enable-languages=c,c++ -disable-multilib

       推荐配置时，根据环境调整参数，如X_环境下的`--disable-libsanitizer`。

       6，执行编译

       make（可能耗时较长）

       解决可能出现的问题，如libc_name_p和struct ucontext uc，通过参考gcc.gnu.org/git或直接覆盖相关文件。

       7，安装GCC

       在gcc-build-4.8.5目录下执行：make install

       安装完成后，可直接解压并安装。

       8，配置环境变量

       执行命令：export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/root/gcc-4.8.5/mpc:/root/gcc-4.8.5/gmp:/root/gcc-4.8.5/mpfr

       确保路径一致，执行 source /etc/profile 使环境变量生效。

       9，检查安装情况

       通过`gcc -v`和`g++ -v`验证GCC版本。

       ，库升级

       遇到动态库未找到问题时，需升级gcc库，通过查找和替换最新库文件解决。

       ，卸载系统自带的gcc

       以root用户执行：rpm -qa |grep gcc | xargs rpm -e --nodeps

       ，修改ld.so.conf文件

       编辑文件：vi /etc/ld.so.conf，在最下面添加实际路径，如/usr/local/lib和/usr/local/lib。

       执行 ldconfig /etc/ld.so.conf。

       ，修改GCC链接

       确保GCC及其相关工具的正确链接，使用`ll /usr/bin/gcc*`和`ll /usr/bin/g++*`检查链接结果。

       至此，GCC源码编译安装流程完成，可满足特定环境下的GCC版本需求。

Linux下源码安装的经验详解

       在linux下安装软件，难免会碰到需要源码安装的，而就是这简简单单的./configure、make、sudo make install三步，却让不少人头疼不已，这里以安装X为例具体介绍下我在安装时的一点小经验，以便共同学习，共同进步！

       首先，我们要做些准备工作，源码安装少不了这几个工具pkg-config、libtool、autoconf和automake(当然，还有更基础的，像zlib、m4等，这里就略过啦)，其中，pkg-config是相对比较重要的，它就是向configure程序提供系统信息的程序，如软件的版本、库的版本以及库的路径等信息，这些只是在编译期间使用。你可以打开/usr/lib/pkgconfig下任意一个.pc文件，就会发现类似下面的信息(X的pc文件)：

       prefix=/usr

       exec_prefix=${ prefix}

       libdir=${ exec_prefix}/lib

       includedir=${ prefix}/include

       xthreadlib=-lpthread

       Name: X

       Description: X Library

       Version: 1.3.3

       Requires: xproto kbproto

       Requires.private: xcb = 1.1.

       Cflags: -I${ includedir}

       Libs: -L${ libdir} -lX

       Libs.private: -lpthread

       configure就是靠着这些信息来判断软件版本是否符合要求的。接着来看看pkg-config是怎样工作的，缺省情况下，pkg-config首先在usr/lib/pkgconfig/中查找相关包(譬如x)对应的相应的文件(x.pc)，若没有找到，它也会到PKG_CONFIG_PATH这个环境变量所指定的路径下去找，若是还没有找到，它就会报错。所以这里就可以得到一些解决configure时提示**库未找到的办法了，先用命令ldconfig -p | grep 库名来分析该库是否安装及其路径，若返回空，则说明该库确实未安装，否则，可以根据该命令的返回结果找到库的安装地点，然后设置其环境变量，命令如下：

       export PKG_CONFIG_PATH=软件位置/lib/pkgconfig:$PKG_CONFIG_PATH，这里有个常识，软件安装后，.pc文件都是在安装目录下的lib/pkgconf中的。这样只会在当前命令窗口有效，当然，你也可以修改home文件夹下的.bashrc文件(带.的文件为隐藏文件，可以用命令vi .bashrc编辑)，在文件末尾加上上面那句命令，重新登录即可。其他的几个在linux下也是不可或缺的，libtool为管理library时使用，没装的话错误提示如下：possibly undefined macro:AC_PROG_LIBTOOL。而autoconf和automake可以用于在某些没有configure的文件的源码包安装时使用(pixman就是个典型的例子，安装了二者后直接./autogen.sh就可以安装了)。

       准备工作做好后，就可以安装了，具体全部命令如下：

       tar vxf libX-6.2.1.tar.gz

       cd libX-6.2.1

       mkdir X-build

       cd X-build

       ../configure prefix=/usr/local/XR6

       make

       echo $

       sudo make install

       这里有一些好的安装习惯可以积累一下：1、建立一个临时编译目录，本例中为X-build，这样可以再安装完成后删除该目录，进而可以节省空间，而且保持了源码目录的整洁；2、安装到指定目录，本例中为/usr/local/XR6，最好把几个相关的安装在同一文件夹下，如这里的XR6文件夹，这样便于管理，否则全部默认安装在/usr/local下，很杂乱；3、编译完成后做检查，本例为echo $，表示检查上一条命令的退出状态，程序正常退出返回0，错误退出返回非0，也可以使用make check，主要为了防止make失败后直接install，进而出现了一些莫名其妙的错误。这里还介绍一种更方便快捷的安装方法，用将安装命令连接起来，如../configure prefix=**makesudo make install，这样，只有在前面的命令执行正确的情况下，后面的任务才会执行，多方便！

       除此之外，安装之前可以阅读下源码包中的readme和install等文档，往往有所需软件及其下载地址，还包括一些安装技巧和配置选项。另外，在configure前，先输入configure help，可以查看有哪些选项可以添加。还有几个关系安装成功的东西就是ldconfig了，在安装时如果提示找不到某个库或者在编译时提示找不到**.so文件，就要用到它了，最简单的解决办法就是sudo gedit /etc/ld.so.conf，在文件中加入**.so文件所在路径，再运行一下ldconfig就可以了，但是我对这个东西有阴影，不知道是因为用了虚拟机还是其他的原因，有7、8次我在运行完ldconfig后，Ubuntu就没办法打开任何窗口了，直接关机重启就更是进不去系统了，崩溃之，不知道有没有高手有解决办法。在这里提供一种代替ldconfig的办法，就是export LD_LIBRARY_PATH=*.so文件地址:$LD_LIBRARY_PATH，用它我就舒心多了，也就是麻烦点，哥忍了，总比系统崩溃强多了吧，呵呵！其实，在configure时碰到问题，你应该庆幸，因为你可以根据它很明显的提示找到缺失的东西装上，在配置下pkgconfig和ldconfig基本上就可以搞定了，但是make的时候就没那么简单了。

       编译时提示最多的就是**东西未找到了，要么是库文件，要么是头文件，库文件用上面的ldconfig基本上就可以搞定，头文件的话需要配置包含的路径，和库的类似，命令如下：

       export LD_INCLUDE_PATH=/usr/local/include:$LD_INCLUDE_PATH

       在这个时候最重要的就是淡定了，循着丫的error往上找，像No such file or directory这样的错误提示肯定就在附近，找到了，include之就可以咯！