皮皮网

1.quake3内存池分析
2.BlueStore源码分析之Cache
3.正点原子lwIP学习笔记——网络数据包管理
4.PolarDB-X 源码解读（七）：私有协议连接的内存内存一生（CN篇）
5.UE4源码剖析：MallocBinned（上）
6.linux源码解读（三十二）：dpdk原理概述（一）

quake3内存池分析

       深入剖析雷神之锤III：quake3内存池的秘密

       quake3，这款由ID Software以id Tech3引擎打造的池的池经典射击游戏，展现了一种独特的源码源码内存管理技术——内存池。它通过预先分配内存单元，解析解析实现了按需分配和回收，内存内存从而避免内存碎片，池的池底部锁筹启动源码显著提升了游戏性能。源码源码这种设计的解析解析亮点在于其无内存碎片、高效管理和精简代码，内存内存充分体现了卡马克大师的池的池匠心独运。

       内存池的源码源码核心组件是精心设计的结构。每个内存块，解析解析memblock_t，内存内存包含大小（包括头和可能的池的池碎片）、标记（0表示空闲）、源码源码以及双向链表指针next和prev，还有它所属于的ZONEID标识。zonedebug_t用于调试时记录分配详情，而memblock_t和memzone_t则分别管理单个内存块和整个内存池，跟踪内存使用情况和链表状态。

       ZONEID标签用于内存分配，MINFRAGMENT定义了最小分配单元。在调试模式下，内存分配接口如Z_TagMallocDebug、Z_MallocDebug等提供了详尽的调试信息。这些接口在RELEASE模式下简化为Z_TagMalloc、Z_Malloc等，以便于性能优化。

       内存分配和释放的关键在于ZONE MEMORY BLOCK的管理。当内存需求大于现有空闲块时，会创建新的块，确保浪费不超过最小字节。释放内存时，会标记为空闲，并可能合并相邻的空闲块。quake3采用了轮询策略寻找空闲块进行分配，同时区分长期和临时分配，如Hunk内存池。

       内存管理的精妙之处在于细节：现代编译器和操作系统已经提供了优化内存分配的能力，但quake3内存池的设计理念仍然值得学习。Hunk内存池，除了zone，专为文件系统和临时内存分配设计，通过HunkBlock和HunkHead结构存储详细信息，便于追踪和调试。

       在Hunk内存池中，分配内存的过程涉及Hunk_Alloc和HunkTempAlloc函数，它们根据需求在内存两端切换，保证了灵活性。然而，Temp分配可能导致后续Hunk分配时的指针问题，释放时可能会引发内存池管理的异常。关于Hunk内存池的具体运作机制，源代码中或许隐藏着更深的秘密等待挖掘。

       总的bugscan源码来说，quake3的内存池设计不仅高效，而且在细微之处体现了卡马克的大师智慧。在深入理解这些技术后，即使在资源有限的环境中，也能通过巧妙的内存管理实现性能的极致优化。

BlueStore源码分析之Cache

       BlueStore通过DIO和Libaio直接操作裸设备，放弃了PageCache，为优化读取性能，它自定义了Cache管理。核心内容包括元数据和数据的Cache，以及两种Cache策略，即LRU和2Q，2Q是默认选择。

       2Q算法在BlueStore中主要负责缓存元数据（Onode）和数据（Buffer），为提高性能，Cache被进一步划分为多个片，HDD默认5片，SSD则默认8片。

       BlueStore的元数据管理复杂，主要分为Collection和Onode两种类型。Collection存储在内存中，Onode则对应对象，便于对PG的操作。启动时，会初始化Collection，将其信息持久化到RocksDB，并为PG分配Cache。

       由于每个BlueStore承载的Collection数量有限（Ceph建议每个OSD为个PG），Collection结构设计为常驻内存，而海量的Onode则仅尽可能地缓存在内存中。

       对象的数据通过BufferSpace进行管理，写入和读取完成后，会根据特定标记决定是否缓存。同时，内存池机制监控和管理元数据和数据，一旦内存使用超出限制，会执行trim操作，丢弃部分缓存。

       深入了解BlueStore的Cache机制，可以参考以下资源：

正点原子lwIP学习笔记——网络数据包管理

       TCP/IP作为一种数据通信机制，其协议栈的实现本质上是对数据包的处理。为了实现高效率的处理，lwIP数据包管理提供了一种高效的机制。协议栈各层能够灵活处理数据包，同时减少数据在各层间传递时的时间和空间开销，这是提高协议栈工作效率的关键。在lwIP中，这种机制被称为pbuf。

       用户的数据经过申请pbuf，拷贝到pbuf结构的内存堆中。在应用层，数据的前面加上应用层首部，在传输层加上传输层首部，最后在网络层加上网络层首部。instdrv 源码

       pbuf用于lwIP各层间数据传递，避免各层拷贝数据！

       lwIP与标准TCP/IP协议栈的区别在于，lwIP是一种模糊分层的TCP/IP协议，大大提高了数据传输效率！

       这是定义在pbuf.h中的关键结构体pbuf。通过指针next构建出了一个数据包的单向链表；payload指向的是现在这个结构体所存储的数据区域；tot_len是所有的数据长度，包括当前pbuf和后续所有pbuf；而len就是指当前pbuf的长度；type_internal有四种类型；ref代表当前pbuf被引用的次数。

       右边展示的pbuf_layer就是用来首部地址偏移，用来对应相应的结构体。

       PBUF_RAM采用内存堆，长度不定，一般用在传输数据；PBUF_POOL采用内存池，固定大小的内存块，所以分配速度快（一般字节，就是分配3个PBUF_POOL的内存池），一般用在中断服务中；PBUF_ROM和PBUF_REF都是内存池形式，而且只有pbuf没有数据区域，数据都是直接指向了内存区（PBUF_ROM指向ROM中，PBUF_REF指向RAM中）。

       左边第一幅对应PBUF_RAM；中间两幅对应PBUF_POOL；最后一幅对应PBUF_ROM和PBUF_REF。

       其中PBUF_RAM和PBUF_POOL相对更为常用。

       更多的函数，都可以在pbuf.c和.h中找到。pbuf_alloc()如果是PBUF_REF或者是PBUF_ROM，就会如上图所示，创建一个结构体指针p，然后会进入pbuf_alloc_reference；该函数中，会申请一个pbuf结构体大小的内存；然后调用pbuf_init_alloced_pbuf进行初始化，初始化可以如上图所示。

       如果是PBUF_POOL，会定义q和last两个pbuf结构体指针，q和last都初始化为NULL，rem_len（剩余长度）初始化为（用户指定需要构建的长度）；然后q会经过内存申请，qlen则是去rem_len和当前可申请的数据大小（PBUF_POOL_BUFSIZE_ALIGNED - LWIP_MEM_ALIGN_SIZE(offset)）取小值，然后同样经过pbuf_init_alloced_pbuf初始化q中的pbuf结构体；然后会把offset清零，就是说之后的pbuf都没有offset了，只有第一个链表的元素有offset；经过if判断并判断rem_len的大小，只要还有剩余就会回去循环继续执行上述操作，直到完成3个内存块的初始化。

       首先会计算payload_len和alloc_len，如果是传输数据，那么LWIP_MEM_ALIGN_SIZE(offset)就是，计算得到payload_len=，alloc_len=；然后进入判断payload和alloc的长度是否

       进入判断p是否为空，不为空证明还没有释放；进入while语句，每一次都--ref（引用次数）；然后类似链表删除，调用相应的pbuf类型的内存释放（内存堆或者内存池），直到p全部被释放。源码如下：

       这个就要看你使用的是什么类型，然后会根据类型来决定payload_len的大小，进行相应的payload指针指向数据区前的首部字段。

       这一章主要讲述了lwIP中重要的pbuf缓冲，具体有哪些数据构成，mobileimsdk 源码为之后的学习奠定基础，确定了pbuf除了所需传输的数据，还有哪些变量需要添加，如何申请对应的pbuf内存大小，以及对应的内存堆和内存池。

PolarDB-X 源码解读（七）：私有协议连接的一生（CN篇）

       通过前文的介绍，大家基本了解了一条SQL在polardbx-sql中的解析和执行流程。由于polardbx-sql是无状态的计算节点，真正数据需要从存储节点传输到计算节点，这部分工作由私有协议完成。本文将详细介绍从发送请求到存储节点，接收返回数据的完整流程，重点在于私有协议连接的生命周期和关键代码解析。

       概述

       为了提高数据节点本地计算能力，同时减少网络数据传输量，计算节点会尽可能下推计算内容。一个逻辑表可能需要多个物理分片，因此计算节点与存储节点的请求会话数量会随着分片数增加而增加。传统MySQL协议+连接池架构已不能满足PolarDB-X的需求，因此私有协议在这一需求场景下应运而生。

       如图所示，私有协议采用连接与会话分离的RPC协议设计理念，支持多个会话在同一个TCP通道中并行运行，具备流控机制、全双工响应式工作模式和高吞吐、可扩展等特性。

       更多关于私有协议解决上述问题的设计详情，可以参考《PolarDB-X私有协议设计》一文。本文主要从代码层面详细描述私有协议的工作流程。

       我们将从计算节点和存储节点两个角度完整解析私有协议连接的生命周期。篇幅限制，本文仅关注计算节点上私有协议的处理，存储节点部分将在后续文章中详细说明。

       计算节点

       计算节点作为私有协议的客户端，负责发送下推请求，并接收返回的数据。

       网络层框架

       PolarDB-X私有协议网络层采用定制化Reactor框架实现，基于Java的NIO，改进自polardbx-sql中的Reactor框架。网络层初始化时，设置CPU核心数的2倍（上限为）作为NIOProcessor，每个Reactor使用独立的堆外内存池作为收发包缓冲，总缓冲内存大小限制为堆内存大小的%。

       NIO接收的包直接调用注册的处理函数，发送数据仅写入send buf，网络写入由单独线程完成。线程优先写入TCP send buf，当无法写入时，注册OP_WRITE事件等待可写后再写入剩余内容。

       数据包的编码和解码在NIOClient中实现。为实现最佳性能，解包流程直接在堆外内存上进行，使用protobuf对流直接解析，将结果放入堆内。html5游戏源码网站源码堆外内存被切分为KB chunk，每个Reactor独占一个chunk，连续解析和复用，最大化接收、解析效率。对于特大包，额外构造堆内大buffer接收和解析，回退标志在定时任务中重置，连续s无超大包时释放堆内内存，恢复高性能堆外KB buffer接收。

       请求发送集成在NIOClient中，writer优先尝试写入发送缓冲队列尾部的buffer，不足时新申请buffer填充并追加到队尾。buffer来自预分配的堆外缓冲池，超过chunk大小时分配堆内buf进行序列化。

       同时，NIOClient负责TCP连接的建立和断开资源释放，作为独立的底层网络资源管理实现。

       连接及会话

       网络层之后，我们聚焦连接与会话分离的具体实现。通过剥离连接及收发包的具体实现，连接和会话的管理变得更加清晰简洁。

       首先，一个TCP连接的逻辑抽象结构在XClient中实现，为避免误解，取名为client与JDBC中的Connection区别。该类管理TCP连接和并行运行的会话，负责TCP完整生命周期的管理、认证鉴权，并维护公共信息。其中，workingSessionMap记录了连接上并行运行的所有会话映射关系，可快速通过会话ID找到对应的会话抽象结构XSession。

       XSession提供了所有会话相关的请求函数和信息存储，包括执行计划请求、SQL查询请求、SQL更新请求、TSO请求、会话变量处理、数据包处理及异步唤醒等。

       连接池及全局单例管理器

       为了提高性能，TCP连接和会话的复用必不可少。由于连接和会话的解绑，连接池不仅缓存了到计算节点的TCP连接，也缓存了到计算节点的会话。

       XClientPool管理到一个存储节点的连接池，通过IP，端口，用户名三元组唯一确定目标存储节点，同时存储该节点的全部TCP连接（XClient）和建立的会话（XSession）。

       XClientPool实现存储节点会话获取，对应JDBC接口中的getConnection，同时实现连接和会话生命周期管理、连接探活、会话预分配等功能。实现单个存储节点连接池后，XConnectionManager维护目标存储节点三元组到实例连接池的映射，管理定时任务线程池，实现定时探活、会话&连接最长生命控制以及连接池预热等功能。

       JDBC兼容层

       新的SQL协议层对上层使用者要求较高，为了提高开发效率，私有协议提供兼容JDBC的使用方法，实现从JDBC平滑切换至私有协议，并支持协议热切换。

       JDBC兼容层代码目录在compatible目录下，Connection继承在XConnection文件中。提供包括DataSource、Connection、Statement、PreparedStatement、ResultSet、ResultSetMetaData在内的大部分常用接口函数实现，不支持的函数会明确抛出异常避免误用。

       整体关系

       至此，私有协议计算节点端的大部分结构已说明完成。给出一个整体的关系图。

       私有协议连接的一生（CN视角）

       了解了私有协议各层实现后，我们以发到存储节点的请求为例，完整梳理执行流程。绕开计算节点复杂流程，直接运行代码示例（注：需将com.alibaba.polardbx.rpc.XConfig#GALAXY_X_PROTOCOL设置为true）。

       直接运行playground看到预期的select 1的结果。接下来，我们深入跟踪说明。

       数据源初始化

       要使用私有协议，需要初始化对应存储节点的XDataSource。构造过程中，XDataSource会到XConnectionManager注册新的实例连接池，已存在的连接池引用计数加一。

       获取Connection

       当需要执行查询时，首先获取会话。无论是显式开启事务还是使用auto commit事务，会话都是执行请求的最小上下文。通过XDataSource的getConnection方法获取到对应存储节点的会话。XDataSource根据存储的IP，端口，用户名三元组查找到XConnectionManager中的连接池，在最高并发检查后，会话获取逻辑在XClientPool实现。首先尝试在空闲会话池中拿会话，通过重置检查和初始化后返回给调用者。大部分场景下，ConcurrentLinkedQueue提供较好的并发性能。

       在代码场景下，数据源刚新建，后台定时任务未运行，流程进入连接创建流程。会有一把大锁锁住连接池，在TCP连接未达上限且没有超时的情况下，快速新建一个XClient占坑。若超限，则进入busy waiting循环。真正的TCP connect（waitChannel）在锁外被调用，首先client以阻塞模式带超时方式connect，然后切换为非阻塞模式，round robin策略注册到NIOProcesser上，返回时，TCP连接已建立。

       为了兼顾安全和性能，连接鉴权在TCP建连后只用做一次，会话创建不需要鉴权。鉴权在initClient中完成，发送SESS_AUTHENTICATE_START_VALUE包，后续校验由回调完成。认证采用标准的MySQL认证流程，server端返回challenge值，库名、用户名和加盐hash后的密码返回给MySQL即可完成认证。

       至此，到存储节点的TCP连接已建立，创建会话是一个异步流程。在创建新XClient时，XConnection已new好，通过下断点跟进去可看到newXSession流程，分配session id，设置状态为init，将XSession绑定到XConnection上。

       最后，XConnection经过初始化（重置auto commit状态）、重置默认DB、默认字符集（lazy操作）和统计信息记录，返回给用户使用。

       发送查询请求

       拿到初始化好的兼容JDBC的Connection，为了简化流程，直接调用XConnection中的execQuery。XConnection的execQuery包装了XSession的execQuery，执行前执行了设置流式模式。

       首先记录调用信息进行统计，进入关键的initForRequest流程。XSession初始化流程lazy，仅分配session id，设置状态为Init，真正创建session时发送SESS_NEW给server，绑定新session和session id。如果session已复用，则状态为Ready。

       执行字符集更改的lazy操作，session可能在其他请求中切换字符集，根据目标字符集和当前字符集对比，决定是否发送额外的字符集更改请求。

       经过一系列变量设置、lazy DB设置和protobuf包构造，请求发送到存储节点执行。发送后，同步生成XResult负责结果解析，同时XResult按照请求顺序依次拉链表，确保结果与请求一一对应。

       请求流水线结构如下图所示，处理完成前序请求后，才能解析后续结果。

       接收结果集

       请求已发送到存储节点执行，拿到XResult，通过XResult收集查询结果集。XResult与发送请求一一对应，存储节点处理也是在会话上排队进行，不会影响流水线上其他请求的返回，保证流水线正常工作。

       首先，查看结果集处理的状态机，主要状态包括获取元数据、获取数据行、获取额外信息等，顺序固定，根据请求类型，部分环节可能被省略。报错处理贯穿整个状态机，任何报错信息都会导致状态机进入错误处理环节。

       对于非流式数据读取，请求结束时主动调用finishBlockMode将所有数据读出并缓存到rows中。对于流式执行的情况，结果集状态机消费数据包队列由XResult的next函数推动，内部函数internalFetchOneObject递归调用前序XResult，消费前序请求结果，从数据包队列中消费并推动状态机流转。

       对于查询，首先收到RESULTSET_COLUMN_META_DATA包，表示返回数据列定义，一个包表示一列。元数据包后，收到包含数据行的RESULTSET_ROW包，一个包对应一行。数据行传输完成后，server端发送RESULTSET_FETCH_DONE标示数据发送完成。请求结束前，NOTICE包用于告知客户端rows affected等信息。最后，SQL_STMT_EXECUTE_OK包标示请求结束。

       至此，完整请求处理完成，控制台应显示查询结果。

       总结

       本文详细描述了私有协议连接流程中的关键点和关键数据结构，相信通过本文描述，大家掌握了私有协议连接流程的基本点，在调试和修改使用中能够更加得心应手。虽然本文篇幅较长，但实际使用中涉及更多高级特性的使用，如多请求流水线、流控、执行计划传输、chunk结果集传输等。通过本文，我们对私有协议连接流程有了深入理解，为在实际场景中应用提供坚实基础。

UE4源码剖析：MallocBinned（上）

       近期着手UE4项目开发，对UnrealEngine已久仰慕，终于得此机会深入探索。鉴于项目内存性能问题，决定从内存分配器着手，深入研读UE4源码。虽个人水平有限，尚不能全面理解，但愿借此机会揭开源码神秘面纱，让新手朋友们不再感到陌生。

       UE4内存分配器位于硬件抽象层HAL（Hardware Abstraction Layer）中。具体装箱内存分配器代码位于VS项目目录：UE4/Source/Runtime/Core/Private/HAL/MallocBinned。

       分析从ApplePlatformMemory::BaseAllocator开始，可发现Mac平台的默认分配器为MallocBinned，iOS的默认分配器为MallocAnsi。以下将重点分析MallocBinned。

       一、确定对齐方式

       FScopeLock用于局部线程锁，确保线程同步。关于Alignment的确定，通常使用默认值。默认值取决于内存对齐方式，此处默认对齐为8字节。

       二、确定有足够空间来内存对齐

       代码中，SpareBytesCount用于确认空间足够。若分配内存小于8字节，则按Alignment大小匹配箱体；若大于8字节，则按Size + Alignment - sizeof(FFreeMem)匹配箱体。

       三、确定箱体大小

       根据Size的大小，有三种不同的处理方式。k以下的内存分配采用装箱分配，PoolTable中包含个不同大小的池子。

       四、初始化内存池

       分析内存池初始化过程，主要工作包括：确定内存大小，分配内存块，设置内存池基本信息。

       五、内存装箱

       AllocateBlockFromPool从内存池中分配一个Block，实现内存装箱过程。

linux源码解读（三十二）：dpdk原理概述（一）

       Linux源码解析（三十二）：深入理解DPDK原理（一）

       几十年来，随着技术的发展，传统操作系统和网络架构在处理某些业务需求时已显得力不从心。为降低修改底层操作系统的高昂成本，人们开始在应用层寻求解决方案，如协程和QUIC等。然而，一个主要问题在于基于内核的网络数据IO，其繁琐的处理流程引发了效率低下和性能损耗。

       传统网络开发中，数据收发依赖于内核的receive和send函数，经过一系列步骤：网卡接收数据、硬件中断通知、数据复制到内存、内核线程处理、协议栈层层剥开，最终传递给应用层。这种长链式处理方式带来了一系列问题，如上下文切换和协议栈开销。

       为打破这种限制，Linux引入了UIO（用户空间接口设备）机制，允许用户空间直接控制网卡，跳过内核协议栈，从而大大简化了数据处理流程。UIO设备提供文件接口，通过mmap映射内存，允许用户直接操作设备数据，实现绕过内核控制网络I/O的设想。

       DPDK（Data Plane Development Kit）正是利用了UIO的优点，如Huge Page大页技术减少TLB miss，内存池优化内存管理，Ring无锁环设计提高并发性能，以及PMD poll-mode驱动避免中断带来的开销。它采用轮询而非中断处理模式，实现零拷贝、低系统调用、减少上下文切换等优势。

       DPDK还注重内存分配和CPU亲和性，通过NUMA内存优化减少跨节点访问，提高性能，并利用CPU亲和性避免缓存失效，提升执行效率。学习DPDK，可以深入理解高性能网络编程和虚拟化领域的技术，更多资源可通过相关学习群获取。

       深入了解DPDK原理，可以从一系列资源开始，如腾讯云博客、CSDN博客、B站视频和LWN文章，以及Chowdera的DPDK示例和腾讯云的DPDK内存池讲解。

       源：cnblogs.com/thesevenths...