1.深入理解 HashSet 及底层源码分析
2.底层原理epoll源码分析,底层底层代码还搞不懂epoll的源码源代看过来
3.Linux内核源码解析---万字解析从设计模式推演per-cpu实现原理
4.linux系统调用之write源码解析(基于linux0.11)
深入理解 HashSet 及底层源码分析
HashSet,作为Java.util包中的函数核心类,其本质是码和基于HashMap的实现,主要特性是什意思存储不重复的对象。通过理解HashMap,底层底层代码kpi定性指标源码学习HashSet相对简单。源码源代本文将对HashSet的函数底层结构和重要方法进行剖析。1. HashSet简介
HashSet是码和Set接口的一个实现,经常出现在面试中。什意思它的底层底层代码核心是HashMap,通过构造函数可以观察到这一关系。源码源代Set接口还有另一个实现——TreeSet,函数但HashSet更常用。码和2. 底层结构与特性
HashSet的什意思特性主要体现在其不允许重复元素和无序性上。由于HashMap的key不可重复,所以HashSet的元素也是独一无二的。同时,由于HashMap的key存储方式,HashSet内部的数据没有特定的顺序。3. 重要方法分析
构造方法: HashSet利用HashMap的构造,确保元素的唯一性。
添加方法: 添加元素时,手机查看javaexe源码实际上是将元素作为HashMap的key,删除时若返回true,则表示之前存在该元素。
删除方法: 删除操作在HashMap中完成,返回值表示元素是否存在。
iterator()方法: 通过获取Map的keySet来实现迭代。
size()方法: 直接调用HashMap的size方法获取元素数量。
总结
HashSet的底层源码精简,主要依赖HashMap。它通过HashMap的特性确保元素的唯一性和无序性。了解了这些,对于使用和理解HashSet将大有裨益。如有疑问,欢迎留言交流。底层原理epoll源码分析,还搞不懂epoll的看过来
Linux内核提供关键epoll操作通过四个核心函数:epoll_create()、epoll_ctl()、epoll_wait()和epoll_event_callback()。操作系统内部使用epoll_event_callback()来调度epoll对象中的事件,此函数对理解epoll如何支持高并发连接至关重要。简化版TCP/IP协议栈在GitHub上实现epoll逻辑,存放关键函数的arm linux gcc源码文件是[src ty_epoll_rb.c]。
epoll的实现包含两个核心数据结构:epitem和eventpoll。epitem由rbn和rdlink组成,前者为红黑树节点,后者为双链表节点,实现事件对象的红黑树与双链表两重管理。eventpoll包含rbr和rdlist,分别指向红黑树根和双链表头,管理所有epitem对象。
深入分析四个关键函数:
epoll_create():创建epoll对象,逻辑概括为六步。
epoll_ctl():根据用户传入参数构建epitem对象,依据操作类型(ADD、MOD、DEL)决定epitem在红黑树中的插入、更新或删除。
epoll_wait():检查双链表中是否有节点,若有填充用户指定内存,无则循环等待事件触发,调用epoll_event_callback()插入新节点。
epoll_event_callback():内核中被调用,用于处理服务器触发的五种特定情况,并将红黑树节点插入双链表。unity陌陌源码
总结epoll底层实现,关键在于两个数据结构,分别管理事件与对象关系。epoll通过红黑树与双链表高效组织事件,确保高并发场景下的高效处理。
Linux内核源码解析---万字解析从设计模式推演per-cpu实现原理
引子
在如今的大型服务器中,NUMA架构扮演着关键角色。它允许系统拥有多个物理CPU,不同NUMA节点之间通过QPI通信。虽然硬件连接细节在此不作深入讨论,但需明白每个CPU优先访问本节点内存,当本地内存不足时,可向其他节点申请。从传统的SMP架构转向NUMA架构,主要是为了解决随着CPU数量增多而带来的总线压力问题。
分配物理内存时,numa_node_id() 方法用于查询当前CPU所在的NUMA节点。频繁的内存申请操作促使Linux内核采用per-cpu实现,将CPU访问的变量复制到每个CPU中,以减少缓存行竞争和False Sharing,类似于Java中的Thread Local。
分配物理页
尽管我们不必关注底层实现,php html钓鱼源码buddy system负责分配物理页,关键在于使用了numa_node_id方法。接下来,我们将深入探索整个Linux内核的per-cpu体系。
numa_node_id源码分析获取数据
在topology.h中,我们发现使用了raw_cpu_read函数,传入了numa_node参数。接下来,我们来了解numa_node的定义。
在topology.h中定义了numa_node。我们继续跟踪DECLARE_PER_CPU_SECTION的定义,最终揭示numa_node是一个共享全局变量,类型为int,存储在.data..percpu段中。
在percpu-defs.h中,numa_node被放置在ELF文件的.data..percpu段中,这些段在运行阶段即为段。接下来,我们返回raw_cpu_read方法。
在percpu-defs.h中,我们继续跟进__pcpu_size_call_return方法,此方法根据per-cpu变量的大小生成回调函数。对于numa_node的int类型,最终拼接得到的是raw_cpu_read_4方法。
在percpu.h中,调用了一般的read方法。在percpu.h中,获取numa_node的绝对地址,并通过raw_cpu_ptr方法。
在percpu-defs.h中,我们略过验证指针的环节,追踪arch_raw_cpu_ptr方法。接下来,我们来看x架构的实现。
在percpu.h中,使用汇编获取this_cpu_off的地址,代表此CPU内存副本到".data..percpu"的偏移量。加上numa_node相对于原始内存副本的偏移量,最终通过解引用获得真正内存地址内的值。
对于其他架构,实现方式相似,通过获取自己CPU的偏移量,最终通过相对偏移得到pcp变量的地址。
放入数据
讨论Linux内核启动过程时,我们不得不关注per-cpu的值是如何被放入的。
在main.c中,我们以x实现为例进行分析。通过setup_percpu.c文件中的代码,我们将node值赋给每个CPU的numa_node地址处。具体计算方法通过early_cpu_to_node实现,此处不作展开。
在percpu-defs.h中,我们来看看如何获取每个CPU的numa_node地址,最终还是通过简单的偏移获取。需要注意如何获取每个CPU的副本偏移地址。
在percpu.h中,我们发现一个关键数组__per_cpu_offset,其中保存了每个CPU副本的偏移值,通过CPU的索引来查找。
接下来,我们来设计PER CPU模块。
设计一个全面的PER CPU架构,它支持UMA或NUMA架构。我们设计了一个包含NUMA节点的结构体,内部管理所有CPU。为每个CPU创建副本,其中存储所有per-cpu变量。静态数据在编译时放入原始数据段,动态数据在运行时生成。
最后,我们回到setup_per_cpu_areas方法的分析。在setup_percpu.c中,我们详细探讨了关键方法pcpu_embed_first_chunk。此方法管理group、unit、静态、保留、动态区域。
通过percpu.c中的关键变量__per_cpu_load和vmlinux.lds.S的链接脚本,我们了解了per-cpu加载时的地址符号。PERCPU_INPUT宏定义了静态原始数据的起始和结束符号。
接下来,我们关注如何分配per-cpu元数据信息pcpu_alloc_info。percpu.c中的方法执行后,元数据分配如下图所示。
接着,我们分析pcpu_alloc_alloc_info的方法,完成元数据分配。
在pcpu_setup_first_chunk方法中,我们看到分配的smap和dmap在后期将通过slab再次分配。
在main.c的mm_init中,我们关注重点区域,完成map数组的slab分配。
至此,我们探讨了Linux内核中per-cpu实现的原理,从设计到源码分析,全面展现了这一关键机制在现代服务器架构中的作用。
linux系统调用之write源码解析(基于linux0.)
Linux系统的write函数在底层操作上与read函数有相似之处。本文主要关注一般文件的写操作,我们首先从入口函数开始解析。
进入file_write函数,它的核心逻辑是根据文件inode中的信息,确定要写入的硬盘位置,即块号。如果目标块已存在,就直接返回块号;若不存在,则需要创建新的块。这个过程涉及到bmap函数,它负责根据文件系统状态为新块申请空间并标记为已使用。
创建新块的过程涉及到文件系统的超级块,通过检查当前块的使用情况,申请一个空闲块,并更新超级块以标记其为已使用。接着,超级块信息会被写回到硬盘,同时返回新建的块号。
回到file_write,处理完块的逻辑后,由于是新创建的块,其内容默认为0。这时,bread函数会读取新块的内容,这部分逻辑可以参考read函数的分析。读取后,用户数据会被写入buffer,同时标记为待写回(脏)状态。重要的是,数据实际上并未立即写入硬盘,而是先存储在缓存中。系统会通过后台线程定期将缓存中的内容刷新到硬盘。