1.mongodb内核源码实现、内核内核性能调优、源码源码最佳运维实践系列-表级qps及表级详细时延统计实现原理
2.Linux内核源码解析---cgroup实现之整体架构与初始化
3.鸿蒙轻内核M核源码分析：LibC实现之Musl LibC
4.剖析Linux内核源码解读之《实现fork研究(二)》
5.Linux内核源码解析---万字解析从设计模式推演per-cpu实现原理
6.Linux 内核 rcu(顺序) 锁实现原理与源码解析

mongodb内核源码实现、性能调优、内核内核最佳运维实践系列-表级qps及表级详细时延统计实现原理

       针对 MongoDB 内核源码实现中的源码源码表级 QPS（查询每秒操作数）及表级详细时延统计实现原理，本文将深入探讨其设计、实现乐玩模块多线程源码核心代码实现以及最佳运维实践。内核内核作者为 OPPO 文档数据库 MongoDB 负责人，源码源码专注于分布式缓存、实现高性能服务端、内核内核数据库、源码源码中间件等相关研发工作，实现持续分享《MongoDB 内核源码设计、内核内核性能优化、源码源码最佳运维实践》。实现以下内容将围绕 MongoDB 内核中提供的数据导出及恢复工具（mongodump、mongorestore、mongoexport、mongoimport）、客户端 shell 链接工具（mongo）、IO 测试工具（mongoperf）以及流量 QPS/时延监控统计工具（mongostat、mongotop）进行分析。

       Mongostat 和 mongotop 提供的监控统计功能虽然强大，但其功能局限性在于无法实现对表级 QPS 与详细时延的监控。为解决这一问题，MongoDB 实际上提供了内部实现的表级别统计接口。本文将详细解析这些接口的实现原理、核心代码以及如何应用到最佳运维实践中。

       ### 1. mongostat、mongotop 监控统计信息分析

       Mongostat 和 mongotop 工具作为 MongoDB 的官方监控工具，分别提供了集群操作统计与表级别的读写时延统计。接下来，我们将深入探讨这些工具的使用方法、监控项以及功能实现。

       #### 1.1 mongostat 监控统计分析

       Mongostat 工具能够监控当前集群中各种操作的统计情况，包括增、删、改、查操作，以及 getMore（用于批量拉取数据时的游标操作）和 command（在 mongos 和 mongod 之间的命令处理）。了解 mongostat 帮助参数的详细说明，有助于更深入地掌握其功能。

       #### 1.2 mongotop 监控统计分析

       mongotop 则专注于对所有表的读写时延进行统计，并按照总耗时排序，直观地输出结果。分析 mongotop 监控输出项各字段的说明，可以帮助运维人员快速定位性能瓶颈。

       ### 2. 表级详细操作统计及其时延监控统计实现原理与核心代码

       在 MongoDB 内核中，对表级别的hdim源码增、删、改、查、getMore、command 进行了详细的操作统计，并对每种操作的时延进行了记录。每个表都拥有一个 CollectionData 结构，该结构中存储了所有操作统计和时延统计信息。核心代码定义了 UsageMap、CollectionData、UsageData 及 OperationLatencyHistogram 等关键类，以实现表级别的统计功能。

       #### 2.1 表级统计实现原理

       通过多层次的类结构分层，MongoDB 实现了表级别的详细统计。核心数据结构包括：UsageMap（使用 StringMap 表结构存储所有表名及其对应的表级统计信息）、CollectionData（包含锁统计、详细请求统计、汇总型统计）、以及 OperationLatencyHistogram（实现表级别的操作汇总统计与时延统计）。

       #### 2.2 核心代码实现

       MongoDB 表级详细统计实现主要集中在 src/mongo/db/stats 目录下的 top.cpp、top.h、operation_latency_histogram.cpp、operation_latency_histogram.h 四个文件中。其中，核心数据结构的代码实现展示了如何通过 UsageMap 结构存储所有表名及其统计信息，CollectionData 结构用于存储锁统计、详细请求统计和汇总型统计，而 OperationLatencyHistogram 类则实现了汇总型统计中的读、写、command 操作及对应时延统计。

       ### 3. 表级详细统计对外接口

       为了便于运维人员使用表级统计信息，MongoDB 提供了对外接口，包括但不限于锁维度及请求类型维度相关统计接口与汇总型表级别统计接口。通过这些接口，运维人员可以执行特定命令获取表级别的锁统计、请求类型统计以及汇总型统计信息。

       ### 结论

       本文通过深入解析 MongoDB 内核中的表级 QPS 及详细时延统计实现原理，详细介绍了核心代码实现以及对外提供的统计接口。了解这些实现细节对于优化数据库性能、进行高效运维具有重要意义。运维人员可以根据本文内容，结合实际应用场景，实施最佳实践，从而提高 MongoDB 的整体性能与稳定性。

Linux内核源码解析---cgroup实现之整体架构与初始化

       cgroup在年由Google工程师开发，于年被融入Linux 2.6.内核。它旨在管理不同进程组，监控一组进程的nmcli 源码行为和资源分配，是Docker和Kubernetes的基石，同时也被高版本内核中的LXC技术所使用。本文基于最早融入内核中的代码进行深入分析。

       理解cgroup的核心，首先需要掌握其内部的常用术语，如子系统、层级、cgroupfs_root、cgroup、css_set、cgroup_subsys_state、cg_cgroup_link等。子系统负责控制不同进程的行为，例如CPU子系统可以控制一组进程在CPU上执行的时间占比。层级在内核中表示为cgroupfs_root，一个层级控制一批进程，层级内部绑定一个或多个子系统，每个进程只能在一个层级中存在，但一个进程可以被多个层级管理。cgroup以树形结构组织，每一棵树对应一个层级，层级内部可以关联一个或多个子系统。

       每个层级内部包含的节点代表一个cgroup，进程结构体内部包含一个css_set，用于找到控制该进程的所有cgroup，多个进程可以共用一个css_set。cgroup_subsys_state用于保存一系列子系统，数组中的每一个元素都是cgroup_subsys_state。cg_cgroup_link收集不同层级的cgroup和css_set，通过该结构可以找到与之关联的进程。

       了解了这些概念后，可以进一步探索cgroup内部用于结构转换的函数，如task_subsys_state、find_existing_css_set等，这些函数帮助理解cgroup的内部运作。此外，cgroup_init_early和cgroup_init函数是初始化cgroup的关键步骤，它们负责初始化rootnode和子系统的数组，为cgroup的使用做准备。

       最后，需要明确Linux内一切皆文件，cgroup基于VFS实现。内核启动时进行初始化，以确保系统能够正确管理进程资源。cgroup的初始化过程分为早期初始化和常规初始化，其中早期初始化用于准备cpuset和CPU子系统，确保它们在系统运行时能够正常工作。通过这些步骤，postfix源码我们可以深入理解cgroup如何在Linux内核中实现资源管理和进程控制。

鸿蒙轻内核M核源码分析：LibC实现之Musl LibC

       本文探讨了LiteOS-M内核中Musl LibC的实现，重点关注文件系统与内存管理功能。Musl LibC在内核中提供了两种LibC实现选项，使用者可根据需求选择musl libC或newlibc。本文以musl libC为例，深度解析其文件系统与内存分配释放机制。

       在使用musl libC并启用POSIX FS API时，开发者可使用文件kal\libc\musl\fs.c中定义的文件系统操作接口。这些接口遵循标准的POSIX规范，具体用法可参阅相关文档，或通过网络资源查询。例如，mount()函数用于挂载文件系统，而umount()和umount2()用于卸载文件系统，后者还支持额外的卸载选项。open()、close()、unlink()等文件操作接口允许用户打开、关闭和删除文件，其中open()还支持多种文件创建和状态标签。read()与write()用于文件数据的读写操作，lseek()则用于文件读写位置的调整。

       在内存管理方面，LiteOS-M内核提供了标准的POSIX内存分配接口，包括malloc()、free()与memalign()等。其中，malloc()和free()用于内存的申请与释放，而memalign()则允许用户以指定的内存对齐大小进行内存申请。

       此外，calloc()函数在分配内存时预先设置内存区域的值为零，而realloc()则用于调整已分配内存的大小。这些函数构成了内核中内存管理的核心机制，确保资源的高效利用与安全释放。

       总结而言，musl libC在LiteOS-M内核中的实现，通过提供全面且高效的文件系统与内存管理功能，为开发者提供了强大的工具集，以满足不同应用场景的需求。本文虽已详述关键功能，但难免有所疏漏，欢迎读者在遇到问题或有改进建议时提出，共同推动技术进步。感谢阅读。

剖析Linux内核源码解读之《实现fork研究(二)》

       本文深入剖析了Linux内核源码中fork实现的核心过程，重点在于copy_process函数的解析。在Linux系统中，floatingdecimal源码应用层可以通过fork创建子进程或子线程，而内核并不区分两者，它们共享相同的task_struct结构，用于描述进程或线程的状态、资源等。task_struct包含了进程或线程所有关键数据结构，如内存描述符、文件描述符、信号处理等，是内核调度程序识别和管理进程的重要依据。

       copy_process作为fork实现的关键，其主要任务是初始化task_struct结构，分配新进程的PID，并将其加入到运行队列。这个过程中，内核栈的初始化导致了fork()调用的两次返回值不同，这与copy_thread函数中父进程复制内核栈至子进程并清零寄存器值有关。这样，子进程返回0，而父进程继续执行copy_thread后续操作，最后返回子进程的PID。

       对于线程的独有和共享资源，独有资源通常包括线程特定的数据结构和状态，而共享资源则涉及父进程与线程间的共享内存、文件描述符和信号处理等。这些资源的管理对于多线程程序的正确运行至关重要，需确保线程间资源的互斥访问和安全共享。

Linux内核源码解析---万字解析从设计模式推演per-cpu实现原理

       引子

       在如今的大型服务器中，NUMA架构扮演着关键角色。它允许系统拥有多个物理CPU，不同NUMA节点之间通过QPI通信。虽然硬件连接细节在此不作深入讨论，但需明白每个CPU优先访问本节点内存，当本地内存不足时，可向其他节点申请。从传统的SMP架构转向NUMA架构，主要是为了解决随着CPU数量增多而带来的总线压力问题。

       分配物理内存时，numa_node_id() 方法用于查询当前CPU所在的NUMA节点。频繁的内存申请操作促使Linux内核采用per-cpu实现，将CPU访问的变量复制到每个CPU中，以减少缓存行竞争和False Sharing，类似于Java中的Thread Local。

       分配物理页

       尽管我们不必关注底层实现，buddy system负责分配物理页，关键在于使用了numa_node_id方法。接下来，我们将深入探索整个Linux内核的per-cpu体系。

       numa_node_id源码分析获取数据

       在topology.h中，我们发现使用了raw_cpu_read函数，传入了numa_node参数。接下来，我们来了解numa_node的定义。

       在topology.h中定义了numa_node。我们继续跟踪DECLARE_PER_CPU_SECTION的定义，最终揭示numa_node是一个共享全局变量，类型为int，存储在.data..percpu段中。

       在percpu-defs.h中，numa_node被放置在ELF文件的.data..percpu段中，这些段在运行阶段即为段。接下来，我们返回raw_cpu_read方法。

       在percpu-defs.h中，我们继续跟进__pcpu_size_call_return方法，此方法根据per-cpu变量的大小生成回调函数。对于numa_node的int类型，最终拼接得到的是raw_cpu_read_4方法。

       在percpu.h中，调用了一般的read方法。在percpu.h中，获取numa_node的绝对地址，并通过raw_cpu_ptr方法。

       在percpu-defs.h中，我们略过验证指针的环节，追踪arch_raw_cpu_ptr方法。接下来，我们来看x架构的实现。

       在percpu.h中，使用汇编获取this_cpu_off的地址，代表此CPU内存副本到".data..percpu"的偏移量。加上numa_node相对于原始内存副本的偏移量，最终通过解引用获得真正内存地址内的值。

       对于其他架构，实现方式相似，通过获取自己CPU的偏移量，最终通过相对偏移得到pcp变量的地址。

       放入数据

       讨论Linux内核启动过程时，我们不得不关注per-cpu的值是如何被放入的。

       在main.c中，我们以x实现为例进行分析。通过setup_percpu.c文件中的代码，我们将node值赋给每个CPU的numa_node地址处。具体计算方法通过early_cpu_to_node实现，此处不作展开。

       在percpu-defs.h中，我们来看看如何获取每个CPU的numa_node地址，最终还是通过简单的偏移获取。需要注意如何获取每个CPU的副本偏移地址。

       在percpu.h中，我们发现一个关键数组__per_cpu_offset，其中保存了每个CPU副本的偏移值，通过CPU的索引来查找。

       接下来，我们来设计PER CPU模块。

       设计一个全面的PER CPU架构，它支持UMA或NUMA架构。我们设计了一个包含NUMA节点的结构体，内部管理所有CPU。为每个CPU创建副本，其中存储所有per-cpu变量。静态数据在编译时放入原始数据段，动态数据在运行时生成。

       最后，我们回到setup_per_cpu_areas方法的分析。在setup_percpu.c中，我们详细探讨了关键方法pcpu_embed_first_chunk。此方法管理group、unit、静态、保留、动态区域。

       通过percpu.c中的关键变量__per_cpu_load和vmlinux.lds.S的链接脚本，我们了解了per-cpu加载时的地址符号。PERCPU_INPUT宏定义了静态原始数据的起始和结束符号。

       接下来，我们关注如何分配per-cpu元数据信息pcpu_alloc_info。percpu.c中的方法执行后，元数据分配如下图所示。

       接着，我们分析pcpu_alloc_alloc_info的方法，完成元数据分配。

       在pcpu_setup_first_chunk方法中，我们看到分配的smap和dmap在后期将通过slab再次分配。

       在main.c的mm_init中，我们关注重点区域，完成map数组的slab分配。

       至此，我们探讨了Linux内核中per-cpu实现的原理，从设计到源码分析，全面展现了这一关键机制在现代服务器架构中的作用。

Linux 内核 rcu(顺序) 锁实现原理与源码解析

       RCU 的全称是 Read-Copy-Update，代表读取-复制-更新，作为 Linux 内核提供的一种免锁机制，它在锁实现方案中独树一帜。在面对自旋锁、互斥锁、信号量、读写锁、req 顺序锁等常规锁结构时，RCU 提供了另一种思路，追求在无需阻塞操作的前提下实现高效并发。

       RCU 通过链表操作实现了读写分离。在读任务执行时，可以安全地读取链表中的节点。然而，若写任务在此期间修改或删除节点，则可能导致数据不一致问题。因此，RCU 采用先读取后复制、再更新的策略，实现无锁状态下的高效读取。这与 Copy-On-Write 技术相似，先复制一份数据，对副本进行修改，完成后将修改内容覆盖原数据，从而达到高效、无阻塞的操作。

       图中展示了链表操作的细节，每个节点包含数据字段和 next 指针字段。在读任务读取节点 B 时，写任务 N 执行删除操作，导致 next 指针指向错误的节点，从而引发业务异常。此时，若采用互斥锁，则能够保证数据一致性，但系统性能会受到一定程度的影响。读写锁和 seq 锁虽然在一定程度上改善了性能，但仍存在一定的问题，如写者饥饿状态或读者阻塞。

       RCU 的实现旨在避免以上问题，让读任务直接获取锁，无需像 seq 锁那样进行重试，也不像读写锁和互斥锁那样完全阻塞读操作。RCU 通过在读任务完成后再删除节点，实现先修改指针，保留副本，注册回调，等待读任务释放副本，最后删除副本的过程。这种机制使得读任务无需阻塞等待写任务，有效提高了系统性能。

       内核源码中，RCU 通过 `rcu_assign_pointer` 修改指针，`synchronize_kernel` 等待所有读任务完成，而读任务则通过 `rcu_read_lock`、`rcu_read_unlock` 和 `rcu_dereference` 来上锁、解锁和获取引用值。这种设计在一定程度上借鉴了垃圾回收机制，通过写者修改引用并保留副本，待所有读任务完成后删除副本，从而实现高效、并发的操作。在 `rcu_read_lock` 中，禁止抢占确保了所有读任务完成后才释放锁，开启抢占，这为读任务提供了宽限期，等待所有任务完成。

       总之，RCU 作为一种创新的锁实现机制，通过链表操作和读写分离策略，为 Linux 内核提供了一种高效、无阻塞的并发控制方式。其源码解析展示了如何通过内核函数实现读取-复制-更新的机制，以及如何通过宽限期确保数据一致性，从而在保证性能的同时，提供了一种优雅的并发控制解决方案。

剖析Linux内核源码解读之《实现fork研究(一)》

       Linux内核源码解析：深入探讨fork函数的实现机制（一）

       首先，我们关注的焦点是fork函数，它是Linux系统创建新进程的核心手段。本文将深入剖析从用户空间应用程序调用glibc库，直至内核层面的具体过程。这里假设硬件平台为ARM，使用Linux内核3..3和glibc库2.版本。这些版本的库和内核代码可以从ftp.gnu.org获取。

       在glibc层面，针对不同CPU架构，进入内核的步骤有所不同。当glibc准备调用kernel时，它会将参数放入寄存器，通过软中断(SWI) 0x0指令进入保护模式，最终转至系统调用表。在arm平台上，系统调用表的结构如下：

       系统调用表中的CALL(sys_clone)宏被展开后，会将sys_clone函数的地址放入pc寄存器，这个函数实际由SYSCALL_DEFINEx定义。在do_fork函数中，关键步骤包括了对父进程和子进程的跟踪，以及对子进程进行初始化，包括内存分配和vfork处理等。

       总的来说，调用流程是这样的：应用程序通过软中断触发内核处理，通过系统调用表选择并执行sys_clone，然后调用do_fork函数进行具体的进程创建操作。do_fork后续会涉及到copy_process函数，这个函数是理解fork核心逻辑的重要入口，包含了丰富的内核知识。在后续的内容中，我将深入剖析copy_process函数的工作原理。

Linux内核源码解析---EPOLL实现4之唤醒等待进程与惊群问题

       在Linux内核源码的EPOLL实现中，第四部分着重探讨了数据到来时如何唤醒等待进程以及惊群问题。当网卡接收到数据，DMA技术将数据复制到内存RingBuffer，通过硬中断通知CPU，然后由ksoftirqd线程处理，最终数据会进入socket接收队列。虽然ksoftirqd的创建过程不在本节讨论，但核心是理解数据如何从协议层传递到socket buffer。

       在tcp_ipv4.c中，当接收到socket buffer时，会首先在连接表和监听表中寻找对应的socket。一旦找到，进入tcp_rcv_established函数，这里会检查socket是否准备好接收数据，通过调用sock_data_ready，其初始值为sock_def_readable，进而进入wake_up函数，唤醒之前挂上的wait_queue_t节点。

       在wake_up方法中，会遍历链表并回调ep_poll_callback，这个函数是epoll的核心逻辑。然而，如果epoll的设置没有启用WQ_FLAG_EXCLUSIVE，就会导致惊群效应，即唤醒所有阻塞在当前epoll的进程。这在default_wake_function函数中体现，如果没有特殊标记，进程会立即被唤醒并进入调度。

       总结来说，epoll的唤醒过程涉及socket buffer、协议层处理、链表操作以及回调函数，其中惊群问题与默认的唤醒策略密切相关。理解这些细节，有助于深入理解Linux内核中EPOLL的异步操作机制。