【信息分类网 源码】【crm客户关系管理系统 java源码】【易语言 正则表达式源码】内存池源码_内存池实现原理

2024-11-25 04:52:51 来源:phpmysql编辑源码 分类:热点

1.OceanBase-4.0社区源码-内存篇以及C++知识扩展(OB代码-》/lib/alloc相关)-上篇
2.linux源码解读(三十二):dpdk原理概述(一)
3.Spring Boot引起的内存“堆外内存泄漏”排查及经验总结
4.Nginx源码分析 - 主流程篇 - Nginx的启动流程
5.通过 JFR 与日志深入探索 JVM - TLAB 原理详解
6.正点原子lwIP学习笔记——网络数据包管理

内存池源码_内存池实现原理

OceanBase-4.0社区源码-内存篇以及C++知识扩展(OB代码-》/lib/alloc相关)-上篇

       OceanBase-4.0社区源码的内存篇深入探讨了内存池及其在C++中的实现,特别是池源存池关注`/lib/alloc`相关部分。内存池的码内核心在于减少内存碎片,通过预先申请大块内存并分割使用,实现以降低频繁小块内存申请导致的原理内存管理问题。

       内存池的内存信息分类网 源码实现主要包括提前申请大内存,将其分割为小块供程序使用,池源存池使用完毕后不立即释放,码内而是实现循环使用。C++中的原理`malloc()`、`calloc()`和`realloc()`函数各有特点:`malloc()`用于动态内存分配,内存`calloc()`分配内存并初始化为零,池源存池`realloc()`则用于调整已分配内存大小。码内这些函数在使用时需要注意内存泄漏问题,实现尤其是原理`realloc()`,尽管能减少内存申请次数,但也可能带来数据移动和潜在风险。

       OceanBase的源码分析着重于`ob_malloc.cpp`,这个文件负责内存分配和释放,通过`ObTenantCtxAllocatorGuard`和`ABlock`来管理内存。`abit_set.cpp`和`abit_set.h`用于位图管理,标记已分配内存,而`alloc_assist.cpp`和`alloc_assist.h`提供内存分配和管理的辅助函数。`alloc_failed_reason`定义了内存分配失败的原因,如`VmRSS`、`VmHWM`等与进程内存使用的指标。

       源码中还涉及了访问结构体成员的高效方式,使用箭头操作符和线程局部存储(RLOCAL)的概念。`alloc_func.cpp`和`alloc_func.h`进一步实现了内存分配相关的函数,展示了OceanBase中回调函数和extern "C"、nodiscard等C++特性在内存管理中的应用。

       总的来说,上篇内容为理解OceanBase内存管理机制提供了基础,下篇将深入分析更多细节和调用逻辑,以及与C++技术的结合点。通过阅读,你将对内存池的实现和OceanBase的内存管理有更深入的认识。

linux源码解读(三十二):dpdk原理概述(一)

       Linux源码解析(三十二):深入理解DPDK原理(一)

       几十年来,随着技术的发展,传统操作系统和网络架构在处理某些业务需求时已显得力不从心。为降低修改底层操作系统的高昂成本,人们开始在应用层寻求解决方案,如协程和QUIC等。然而,一个主要问题在于基于内核的网络数据IO,其繁琐的处理流程引发了效率低下和性能损耗。

       传统网络开发中,数据收发依赖于内核的receive和send函数,经过一系列步骤:网卡接收数据、硬件中断通知、crm客户关系管理系统 java源码数据复制到内存、内核线程处理、协议栈层层剥开,最终传递给应用层。这种长链式处理方式带来了一系列问题,如上下文切换和协议栈开销。

       为打破这种限制,Linux引入了UIO(用户空间接口设备)机制,允许用户空间直接控制网卡,跳过内核协议栈,从而大大简化了数据处理流程。UIO设备提供文件接口,通过mmap映射内存,允许用户直接操作设备数据,实现绕过内核控制网络I/O的设想。

       DPDK(Data Plane Development Kit)正是利用了UIO的优点,如Huge Page大页技术减少TLB miss,内存池优化内存管理,Ring无锁环设计提高并发性能,以及PMD poll-mode驱动避免中断带来的开销。它采用轮询而非中断处理模式,实现零拷贝、低系统调用、减少上下文切换等优势。

       DPDK还注重内存分配和CPU亲和性,通过NUMA内存优化减少跨节点访问,提高性能,并利用CPU亲和性避免缓存失效,提升执行效率。学习DPDK,可以深入理解高性能网络编程和虚拟化领域的技术,更多资源可通过相关学习群获取。

       深入了解DPDK原理,可以从一系列资源开始,如腾讯云博客、CSDN博客、B站视频和LWN文章,以及Chowdera的DPDK示例和腾讯云的DPDK内存池讲解。

       源:cnblogs.com/thesevenths...

Spring Boot引起的“堆外内存泄漏”排查及经验总结

       为了更好地实现对项目的管理,我们将组内一个项目迁移到MDP框架(基于Spring Boot),随后我们就发现系统会频繁报出Swap区域使用量过高的异常。笔者被叫去帮忙查看原因,发现配置了4G堆内内存,但是实际使用的物理内存竟然高达7G,确实不正常。JVM参数配置是“-XX:MetaspaceSize=M -XX:MaxMetaspaceSize=M -XX:+AlwaysPreTouch -XX:ReservedCodeCacheSize=m -XX:InitialCodeCacheSize=m, -Xssk -Xmx4g -Xms4g,-XX:+UseG1GC -XX:G1HeapRegionSize=4M”,实际使用的物理内存如下图所示:

       使用Java层面的工具定位内存区域(堆内内存、Code区域或者使用unsafe.allocateMemory和DirectByteBuffer申请的堆外内存)。

       笔者在项目中添加-XX:NativeMemoryTracking=detailJVM参数重启项目,易语言 正则表达式源码使用命令jcmd pid VM.native_memory detail查看到的内存分布如下:

       发现命令显示的committed的内存小于物理内存,因为jcmd命令显示的内存包含堆内内存、Code区域、通过unsafe.allocateMemory和DirectByteBuffer申请的内存,但是不包含其他Native Code(C代码)申请的堆外内存。所以猜测是使用Native Code申请内存所导致的问题。

       为了防止误判,笔者使用了pmap查看内存分布,发现大量的M的地址;而这些地址空间不在jcmd命令所给出的地址空间里面,基本上就断定就是这些M的内存所导致。

       使用系统层面的工具定位堆外内存。

       因为已经基本上确定是Native Code所引起,而Java层面的工具不便于排查此类问题,只能使用系统层面的工具去定位问题。

       首先,使用了gperftools去定位问题。

       从上图可以看出:使用malloc申请的的内存最高到3G之后就释放了,之后始终维持在M-M。笔者第一反应是:难道Native Code中没有使用malloc申请,直接使用mmap/brk申请的?(gperftools原理就使用动态链接的方式替换了操作系统默认的内存分配器(glibc)。)

       然后,使用strace去追踪系统调用。

       因为使用gperftools没有追踪到这些内存,于是直接使用命令“strace -f -e"brk,mmap,munmap" -p pid”追踪向OS申请内存请求,但是并没有发现有可疑内存申请。

       接着,使用GDB去dump可疑内存。

       因为使用strace没有追踪到可疑内存申请;于是想着看看内存中的情况。就是直接使用命令gdp -pid pid进入GDB之后,然后使用命令dump memory mem.bin startAddress endAddressdump内存,其中startAddress和endAddress可以从/proc/pid/smaps中查找。然后使用strings mem.bin查看dump的内容,如下:

       从内容上来看,像是解压后的JAR包信息。读取JAR包信息应该是在项目启动的时候,那么在项目启动之后使用strace作用就不是很大了。所以应该在项目启动的时候使用strace,而不是启动完成之后。

       再次,项目启动时使用strace去追踪系统调用。

       项目启动使用strace追踪系统调用,发现确实申请了很多M的内存空间,截图如下:

       使用该mmap申请的地址空间在pmap对应如下:

       最后,使用jstack去查看对应的线程。

       因为strace命令中已经显示申请内存的线程ID。直接使用命令jstack pid去查看线程栈,找到对应的线程栈(注意进制和进制转换)如下:

       这里基本上就可以看出问题来了:MCC(美团统一配置中心)使用了Reflections进行扫包,底层使用了Spring Boot去加载JAR。因为解压JAR使用Inflater类,centos7 源码安装mysql5.6需要用到堆外内存,然后使用Btrace去追踪这个类,栈如下:

       然后查看使用MCC的地方,发现没有配置扫包路径,默认是扫描所有的包。于是修改代码,配置扫包路径,发布上线后内存问题解决。

       为什么堆外内存没有释放掉呢?

       虽然问题已经解决了,但是有几个疑问。带着疑问,直接看了一下 Spring Boot Loader那一块的源码。发现Spring Boot对Java JDK的InflaterInputStream进行了包装并且使用了Inflater,而Inflater本身用于解压JAR包的需要用到堆外内存。而包装之后的类ZipInflaterInputStream没有释放Inflater持有的堆外内存。于是以为找到了原因,立马向Spring Boot社区反馈了这个bug。但是反馈之后,就发现Inflater这个对象本身实现了finalize方法,在这个方法中有调用释放堆外内存的逻辑。也就是说Spring Boot依赖于GC释放堆外内存。

       使用jmap查看堆内对象时,发现已经基本上没有Inflater这个对象了。于是就怀疑GC的时候,没有调用finalize。带着这样的怀疑,把Inflater进行包装在Spring Boot Loader里面替换成自己包装的Inflater,在finalize进行打点监控,结果finalize方法确实被调用了。于是又去看了Inflater对应的C代码,发现初始化的使用了malloc申请内存,end的时候也调用了free去释放内存。

       此时,怀疑free的时候没有真正释放内存,便把Spring Boot包装的InflaterInputStream替换成Java JDK自带的,发现替换之后,内存问题也得以解决了。

       再次看gperftools的内存分布情况,发现使用Spring Boot时,内存使用一直在增加,突然某个点内存使用下降了好多(使用量直接由3G降为M左右)。这个点应该就是GC引起的,内存应该释放了,但是在操作系统层面并没有看到内存变化,那是不是没有释放到操作系统,被内存分配器持有了呢?

       继续探究,发现系统默认的内存分配器(glibc 2.版本)和使用gperftools内存地址分布差别很明显,2.5G地址使用smaps发现它是属于Native Stack。内存地址分布如下:

       到此,asp二维码生成源码基本上可以确定是内存分配器在捣鬼;搜索了一下glibc M,发现glibc从2.开始对每个线程引入内存池(位机器大小就是M内存),原文如下:

       按照文中所说去修改MALLOC_ARENA_MAX环境变量,发现没什么效果。查看tcmalloc(gperftools使用的内存分配器)也使用了内存池方式。

       为了验证是内存池搞的鬼,就简单写个不带内存池的内存分配器。使用命令gcc zjbmalloc.c -fPIC -shared -o zjbmalloc.so生成动态库,然后使用export LD_PRELOAD=zjbmalloc.so替换掉glibc的内存分配器。其中代码Demo如下:

       通过在自定义分配器当中埋点可以发现实际申请的堆外内存始终在M-M之间,gperftools监控显示内存使用量也是在M-M左右。但是从操作系统角度来看进程占用的内存差别很大(这里只是监控堆外内存)。

       使用不同分配器进行不同程度的扫包,占用的内存如下:

       为什么自定义的malloc申请M,最终占用的物理内存在1.7G呢?因为自定义内存分配器采用的是mmap分配内存,mmap分配内存按需向上取整到整数个页,所以存在着巨大的空间浪费。通过监控发现最终申请的页面数目在k个左右,那实际上向系统申请的内存等于k * 4k(pagesize) = 2G。

       为什么这个数据大于1.7G呢?因为操作系统采取的是延迟分配的方式,通过mmap向系统申请内存的时候,系统仅仅返回内存地址并没有分配真实的物理内存。只有在真正使用的时候,系统产生一个缺页中断,然后再分配实际的物理Page。

       整个内存分配的流程如上图所示。MCC扫包的默认配置是扫描所有的JAR包。在扫描包的时候,Spring Boot不会主动去释放堆外内存,导致在扫描阶段,堆外内存占用量一直持续飙升。当发生GC的时候,Spring Boot依赖于finalize机制去释放了堆外内存;但是glibc为了性能考虑,并没有真正把内存归返到操作系统,而是留下来放入内存池了,导致应用层以为发生了“内存泄漏”。所以修改MCC的配置路径为特定的JAR包,问题解决。在发表这篇文章时,发现Spring Boot的最新版本(2.0.5.RELEASE)已经做了修改,在ZipInflaterInputStream主动释放了堆外内存不再依赖GC;所以Spring Boot升级到最新版本,这个问题也可以得到解决。

Nginx源码分析 - 主流程篇 - Nginx的启动流程

       文章内容包含对Nginx源码的基础理解,以及对其主流程的深入分析。首先介绍了Nginx使用的各种基础数据结构,如pool、buf、array、list等,通过理解这些结构能更加深入地了解Nginx源码。

       接下来,文章着重分析了Nginx的启动流程,主要实现函数在./src/core/nginx.c文件中的main()函数。文章展示了main()函数启动过程,并详细解释了几个关键步骤。

       第一步,是通过ngx_get_options方法解析外部参数,比如命令行参数 ./nginx -s stop|start|restart。

       第二步,初始化全局变量,其中init_cycle在内存池上创建一个默认大小为的全局变量,这一过程在ngx_init_cycle函数中完成,详细的全局变量初始化步骤会在后续的文章中展开。

       第三步,通过ngx_save_argv和ngx_process_options保存头部的全局变量定义。

       接着,使用ngx_preinit_modules方法对所有模块进行初始化,并给它们打上标号,这一过程在ngx_module.c文件中进行。

       再一步,通过ngx_create_pidfile创建PID文件,文件管理在ngx_cycle.c文件中实现。

       此外,文章还提到了Nginx中涉及的其他重要模块,指出这些模块的详细解析会在后续的文章中呈现。

       总结,文章以实际代码为例,介绍了Nginx启动的全流程,并对关键步骤进行了解释,为读者深入了解Nginx源码奠定了基础。

通过 JFR 与日志深入探索 JVM - TLAB 原理详解

       TLAB(Thread Local Allocation Buffer)是线程专用的内存分配区域。在Java中,new的对象大多在堆上分配,但也有一些在栈上或堆上直接分配。TLAB是线程本地私有的内存池,用于优化内存分配性能。

       TLAB的生命周期和原理包括:初始化、分配内存、回收等。TLAB从堆上Eden区分配内存,线程初始化时创建并初始化TLAB。当TLAB满时,可能被释放回Eden。TLAB的大小受Eden区大小、线程数量和对象分配速率等因素影响。

       TLAB相关JVM参数包括:UseTLAB、ResizeTLAB、TLABSize、MinTLABSize、TLABWasteTargetPercent、TLABAllocationWeight、TLABRefillWasteFraction、TLABWasteIncrement和ZeroTLAB。这些参数用于控制TLAB的启用、大小、生命周期等。

       TLAB的源码分析包括:TLAB类构成、TLAB初始化、TLAB分配内存、TLAB回收等。源码分析有助于理解TLAB的具体实现和原理。

       JFR(Java Flight Recorder)可以用于监控TLAB。JFR提供了两个事件:jdk.ObjectAllocationOutsideTLAB和jdk.ObjectAllocationInNewTLAB,用于监控对象在Eden区分配和TLAB重新分配的情况。

正点原子lwIP学习笔记——网络数据包管理

       TCP/IP作为一种数据通信机制,其协议栈的实现本质上是对数据包的处理。为了实现高效率的处理,lwIP数据包管理提供了一种高效的机制。协议栈各层能够灵活处理数据包,同时减少数据在各层间传递时的时间和空间开销,这是提高协议栈工作效率的关键。在lwIP中,这种机制被称为pbuf。

       用户的数据经过申请pbuf,拷贝到pbuf结构的内存堆中。在应用层,数据的前面加上应用层首部,在传输层加上传输层首部,最后在网络层加上网络层首部。

       pbuf用于lwIP各层间数据传递,避免各层拷贝数据!

       lwIP与标准TCP/IP协议栈的区别在于,lwIP是一种模糊分层的TCP/IP协议,大大提高了数据传输效率!

       这是定义在pbuf.h中的关键结构体pbuf。通过指针next构建出了一个数据包的单向链表;payload指向的是现在这个结构体所存储的数据区域;tot_len是所有的数据长度,包括当前pbuf和后续所有pbuf;而len就是指当前pbuf的长度;type_internal有四种类型;ref代表当前pbuf被引用的次数。

       右边展示的pbuf_layer就是用来首部地址偏移,用来对应相应的结构体。

       PBUF_RAM采用内存堆,长度不定,一般用在传输数据;PBUF_POOL采用内存池,固定大小的内存块,所以分配速度快(一般字节,就是分配3个PBUF_POOL的内存池),一般用在中断服务中;PBUF_ROM和PBUF_REF都是内存池形式,而且只有pbuf没有数据区域,数据都是直接指向了内存区(PBUF_ROM指向ROM中,PBUF_REF指向RAM中)。

       左边第一幅对应PBUF_RAM;中间两幅对应PBUF_POOL;最后一幅对应PBUF_ROM和PBUF_REF。

       其中PBUF_RAM和PBUF_POOL相对更为常用。

       更多的函数,都可以在pbuf.c和.h中找到。pbuf_alloc()如果是PBUF_REF或者是PBUF_ROM,就会如上图所示,创建一个结构体指针p,然后会进入pbuf_alloc_reference;该函数中,会申请一个pbuf结构体大小的内存;然后调用pbuf_init_alloced_pbuf进行初始化,初始化可以如上图所示。

       如果是PBUF_POOL,会定义q和last两个pbuf结构体指针,q和last都初始化为NULL,rem_len(剩余长度)初始化为(用户指定需要构建的长度);然后q会经过内存申请,qlen则是去rem_len和当前可申请的数据大小(PBUF_POOL_BUFSIZE_ALIGNED - LWIP_MEM_ALIGN_SIZE(offset))取小值,然后同样经过pbuf_init_alloced_pbuf初始化q中的pbuf结构体;然后会把offset清零,就是说之后的pbuf都没有offset了,只有第一个链表的元素有offset;经过if判断并判断rem_len的大小,只要还有剩余就会回去循环继续执行上述操作,直到完成3个内存块的初始化。

       首先会计算payload_len和alloc_len,如果是传输数据,那么LWIP_MEM_ALIGN_SIZE(offset)就是,计算得到payload_len=,alloc_len=;然后进入判断payload和alloc的长度是否

       进入判断p是否为空,不为空证明还没有释放;进入while语句,每一次都--ref(引用次数);然后类似链表删除,调用相应的pbuf类型的内存释放(内存堆或者内存池),直到p全部被释放。源码如下:

       这个就要看你使用的是什么类型,然后会根据类型来决定payload_len的大小,进行相应的payload指针指向数据区前的首部字段。

       这一章主要讲述了lwIP中重要的pbuf缓冲,具体有哪些数据构成,为之后的学习奠定基础,确定了pbuf除了所需传输的数据,还有哪些变量需要添加,如何申请对应的pbuf内存大小,以及对应的内存堆和内存池。

Nginx源码分析 - 主流程篇 - 全局变量cycle初始化

       Nginx的全局初始化过程围绕全局变量“cycle”展开,位于/src/core/cycle.c文件,其数据结构为“ngx_cycle_t”。了解Nginx源码前应掌握cycle全局变量初始化流程。

       cycle初始化分为以下步骤:

       创建内存池

       用于后续分配的所有内存。

       拷贝配置文件路径前缀

       如“/usr/local/nginx”,存储在cycle->conf_prefix中。

       复制Nginx路径前缀

       存储于cycle->prefix。

       复制配置文件信息

       包含文件路径,如“/nginx/conf/nginx.conf”。

       复制配置参数信息

       初始化路径信息

       初始化打开的文件句柄

       初始化shared_memory链表

       新旧链表比较,保留相同内存,释放不同。

       遍历并打开文件列表(如日志、配置文件)

       创建并初始化共享内存

       比较新旧共享内存,保留或创建。

       处理listening数组并开始监听

       处理socket监听。

       关闭或删除old_cycle资源

       关键点在于内存池的创建、配置文件解析、文件句柄与共享内存的初始化、socket监听与资源关闭,整个流程确保Nginx核心组件的初始化完成。

BlueStore源码分析之Cache

       BlueStore通过DIO和Libaio直接操作裸设备,放弃了PageCache,为优化读取性能,它自定义了Cache管理。核心内容包括元数据和数据的Cache,以及两种Cache策略,即LRU和2Q,2Q是默认选择。

       2Q算法在BlueStore中主要负责缓存元数据(Onode)和数据(Buffer),为提高性能,Cache被进一步划分为多个片,HDD默认5片,SSD则默认8片。

       BlueStore的元数据管理复杂,主要分为Collection和Onode两种类型。Collection存储在内存中,Onode则对应对象,便于对PG的操作。启动时,会初始化Collection,将其信息持久化到RocksDB,并为PG分配Cache。

       由于每个BlueStore承载的Collection数量有限(Ceph建议每个OSD为个PG),Collection结构设计为常驻内存,而海量的Onode则仅尽可能地缓存在内存中。

       对象的数据通过BufferSpace进行管理,写入和读取完成后,会根据特定标记决定是否缓存。同时,内存池机制监控和管理元数据和数据,一旦内存使用超出限制,会执行trim操作,丢弃部分缓存。

       深入了解BlueStore的Cache机制,可以参考以下资源:

UE4源码剖析:MallocBinned(上)

       近期着手UE4项目开发,对UnrealEngine已久仰慕,终于得此机会深入探索。鉴于项目内存性能问题,决定从内存分配器着手,深入研读UE4源码。虽个人水平有限,尚不能全面理解,但愿借此机会揭开源码神秘面纱,让新手朋友们不再感到陌生。

       UE4内存分配器位于硬件抽象层HAL(Hardware Abstraction Layer)中。具体装箱内存分配器代码位于VS项目目录:UE4/Source/Runtime/Core/Private/HAL/MallocBinned。

       分析从ApplePlatformMemory::BaseAllocator开始,可发现Mac平台的默认分配器为MallocBinned,iOS的默认分配器为MallocAnsi。以下将重点分析MallocBinned。

       一、确定对齐方式

       FScopeLock用于局部线程锁,确保线程同步。关于Alignment的确定,通常使用默认值。默认值取决于内存对齐方式,此处默认对齐为8字节。

       二、确定有足够空间来内存对齐

       代码中,SpareBytesCount用于确认空间足够。若分配内存小于8字节,则按Alignment大小匹配箱体;若大于8字节,则按Size + Alignment - sizeof(FFreeMem)匹配箱体。

       三、确定箱体大小

       根据Size的大小,有三种不同的处理方式。k以下的内存分配采用装箱分配,PoolTable中包含个不同大小的池子。

       四、初始化内存池

       分析内存池初始化过程,主要工作包括:确定内存大小,分配内存块,设置内存池基本信息。

       五、内存装箱

       AllocateBlockFromPool从内存池中分配一个Block,实现内存装箱过程。

本文地址:http://5o.net.cn/news/17e43999543.html 欢迎转发