皮皮网

1.Kafka源码分析(五) - Server端 - 基于时间轮的源码延时组件
2.Echarts-ZRender源码分析（一）
3.图文剖析 big.js 四则运算源码
4.nginx源码分析--master和worker进程模型
5.Hermes源码分析（二）——解析字节码
6.一文图解｜cgroup 设计分析（Docker底层技术）

Kafka源码分析(五) - Server端 - 基于时间轮的延时组件

       Kafka内部处理大量的延时操作，例如，分析在接收到PRODUCE请求后，源码副本可以等待一个timeout的分析时间再响应客户端。下面我们来探讨一个问题：为什么Kafka要自己实现一个延时任务组件，源码而不是分析王者荣耀抽奖源码直接使用Java的java.util.concurrent.DelayQueue呢？我们可以从以下两个方面来分析这个问题。

       1.1 DelayQueue的源码能力

       DelayQueue相关的接口/类如下所示：

       相应地，DelayQueue提供的分析能力如下：

       1.2 Kafka的业务场景

       Kafka的业务背景具有以下特点：

       相应地，Kafka对延时任务组件有以下两点要求：

       这两点要求都无法通过直接应用DelayQueue的源码方式得到满足。

       二. 组件接口

       让我们来看看Kafka的分析延时任务组件对外提供的接口，从而了解其提供的源码能力和使用方式。

       如下所示：

       左边的分析两个类定义了"延时操作"，右边的源码DelayedOperationPurgatory类定义了一个维护DelayOperaton的容器，其核心操作如下：

       三. 实现

       以下是分析关于"延时"实现方式的介绍。

       3.1 业务模型

       时间轮延时组件的源码思路如下：

       接下来，通过一个具体的例子来说明这种映射逻辑：

       首先关注上图中①号时间轮。圆环中的每一个单元格表示一个TimerTaskList。单元格有其关联的时间跨度；下方的"1s x "表示时间轮上共有个单元格，每个单元格的时间跨度为1秒。有一个指针指向了"当前时间"所对应的单元格。顺时针方向为时间流动方向。

       当收到一个延迟时间在0-1s的TimerTask时，会将其追加到①号时间轮的橙色单元格中。当收到一个延迟时间在3-4s的TimerTask时，会将其追加到①号时间轮的**单元格中。以此类推。

       现在有一个问题：①号时间轮能表示的最大延迟时间是秒，那如果收到了延迟秒的任务该怎么办？这时该用到②号时间轮了，我们称②号为①号的"溢出时间轮"。②号时间轮的特点如下：

       如此，延迟时间在-s的游戏源码复制工具TimerTask会被追加到②号的紫色单元格，延迟时间在-s的TimerTask会被追加到②号的绿色单元格中。③号时间轮同理。

       刚刚是按①->②->③的顺序来分析时间轮的逻辑，反过来也可以得到有用的想象手里有一个"放大镜"，其实③号时间轮的蓝色单元格"放大"后是②号时间轮；②号时间轮的蓝色单元格"放大"后是①号时间轮；蓝色单元格并不实际存储TimerTask。

       3.2 数据结构

       DelayedOperationPurgatory有一个Timer类型的timeoutTimer属性，用于维护延时任务。实际使用的是Timer的实现类：SystemTimer。该类用于维护延时任务的核心属性有两个：delayQueue和timingWheel。TimingWheel表示单个时间轮，接下来我们来看看其类图：

       各属性含义如下：

       3.3 算法

       3.3.1 添加任务

       添加任务的入口是DelayedOperationPurgatory.tryCompleteElseWatch，其核心逻辑分为如下两步：

       SystemTimer.add直接调用了addTimerTaskEntry方法，后者逻辑如下：

       TimingWheel.add的逻辑也很清晰，分如下4种场景处理：

       3.3.2 尝试提前触发任务

       入口是DelayedOperationPurgatory.checkAndComplete：

       接下来看Watchers.tryCompleteWatched方法的内容：

       DelayedOperation.maybeTryComplete方法最终调用了DelayedOperation.tryComplete；

       DelayedOperation的子类需要在后者中实现自己的"触发条件"检查逻辑；若满足了提前触发的条件，则调用forceComplete方法执行事件触发场景下的业务逻辑。

       3.3.3 任务到期自动执行

       DelayedOperationPurgatory中维护了一个expirationReaper线程，其职责就是循环调用kafka.utils.timer.SystemTimer#advanceClock来从时间轮中获取已超时的任务，并更新时间轮的"当前时间"指针。

       四. 总结

       才疏学浅，未能窥其十之一二，随时欢迎各位交流补充。若文章质量还算及格，可以点赞收藏加以鼓励，后续我继续更新。

       另外，也可以在目录中找到同系列的其他文章：

       感谢阅读。

Echarts-ZRender源码分析（一）

       Echarts的底层图形绘制引擎ZRender，是一个独立的2D图形绘制引擎，支持Canvas/SVG（5.0后不再支持VML）。它具备图形绘制、博客管理系统源码管理（包括CRUD操作和组管理）、图形动画和事件管理（在Canvas中实现DOM事件）、响应式帧渲染以及可选渲染器功能。

       ZRender的架构遵循MVC模式，分为视图层、控制层和数据层。视图层负责图形渲染，控制层处理用户交互，数据层负责数据模型的管理和存储。此外，还包含辅助功能模块，如图形和Group的管理，其中图形特指2D矢量图形。

       源码文件结构清晰，入口文件zrender.ts中定义了全局方法，如初始化、删除等操作，ZRender类则负责核心功能的实现。通过实例化代码展示，可以看到如何绘制一个px的圆形并绑定动画，ZRender会处理绘制流程，并将动画添加到管理器中生成帧，开始动画绘制。

       后续章节将深入解析元素对象、事件管理器、动画管理器和渲染器的源码。作者雷庭，北京优锘科技前端架构师，有年前端开发和架构经验，专注于可视化前端开发，饿了吗 源码 .net有兴趣交流的朋友可通过微信ltlt联系他。

图文剖析 big.js 四则运算源码

       big.js是一个小型且高效的JavaScript库，专门用于处理任意精度的十进制算术。

       在常规项目中，算术运算可能会导致精度丢失，从而影响结果的准确性。big.js正是为了解决这一问题而设计的。与big.js类似的库还有bignumber.js和decimal.js，它们同样由MikeMcl创建。

       作者在这里详细阐述了这三个库之间的区别。big.js是最小、最简单的任意精度计算库，它的方法数量和体积都是最小的。bignumber.js和decimal.js存储值的进制更高，因此在处理大量数字时，它们的速度会更快。对于金融类应用，bignumber.js可能更为合适，因为它能确保精度，除非涉及到除法操作。

       本文将剖析big.js的解析函数和加减乘除运算的源码，以了解作者的设计思路。在四则运算中，除法运算最为复杂。

       创建Big对象时，new操作符是可选的。构造函数中的关键代码如下，使用构造函数时可以不带new关键字。如果传入的参数已经是Big的实例对象，则复制其属性，mesos集群源码搭建否则使用parse函数创建属性。

       parse函数为实例对象添加三个属性，这种表示与IEEE 双精度浮点数的存储方式类似。JavaScript的Number类型就是使用位二进制格式IEEE 值来表示的，其中位用于表示3个部分。

       以下分析parse函数转化的详细过程，以Big('')、Big('0.')、Big('e2')为例。注意：Big('e2')中e2以字符串形式传入才能检测到e，Number形式的Big(e2)在执行parse前会被转化为Big()。

       最后，Big('')、Big('-0.')、Big('e2')将转换为...

       至此，parse函数逻辑结束。接下来分别剖析加减乘除运算。

       加法运算的源码中，k用于保存进位的值。上面的过程可以用图例表示...

       减法运算的源码与加法类似，这里不再赘述。减法的核心逻辑如下...

       减法的过程可以用图例表示，其中xc表示被减数，yc表示减数...

       乘法运算的源码中，主要逻辑如下...

       描述的是我们以前在纸上进行乘法运算的过程。以*为例...

       除法运算中，对于a/b，a是被除数，b是除数...

       注意事项：big.js使用数组存储值，类似于高精度计算，但它是在数组中每个位置存储一个值，然后对每个位置进行运算。对于超级大的数字，big.js的算术运算可能不如bignumber.js快...

       在使用big.js进行运算时，有时没有设置足够大的精度会导致结果不准确...

       总结：本文剖析了big.js的解析函数和四则运算源码，用图文详细描述了运算过程，逐步还原了作者的设计思路。如有不正确之处或不同见解，欢迎各位提出。

nginx源码分析--master和worker进程模型

       一、Nginx整体架构

       正常执行中的nginx会有多个进程，其中最基本的是master process（主进程）和worker process（工作进程），还可能包括cache相关进程。

       二、核心进程模型

       启动nginx的主进程将充当监控进程，主进程通过fork()产生的子进程则充当工作进程。

       Nginx也支持单进程模型，此时主进程即是工作进程，不包含监控进程。

       核心进程模型框图如下：

       master进程

       监控进程作为整个进程组与用户的交互接口，负责监护进程，不处理网络事件，不负责业务执行，仅通过管理worker进程实现重启服务、平滑升级、更换日志文件、配置文件实时生效等功能。

       master进程通过sigsuspend()函数调用大部分时间处于挂起状态，直到接收到信号。

       master进程通过检查7个标志位来决定ngx_master_process_cycle方法的运行：

       sig_atomic_t ngx_reap;

       sig_atomic_t ngx_terminate;

       sig_atomic_t ngx_quit;

       sig_atomic_t ngx_reconfigure;

       sig_atomic_t ngx_reopen;

       sig_atomic_t ngx_change_binary;

       sig_atomic_t ngx_noaccept;

       进程中接收到的信号对Nginx框架的意义：

       还有一个标志位：ngx_restart，仅在master工作流程中作为标志位使用，与信号无关。

       核心代码（ngx_process_cycle.c）：

       ngx_start_worker_processes函数：

       worker进程

       worker进程主要负责具体任务逻辑，主要关注与客户端或后端真实服务器之间的数据可读/可写等I/O交互事件，因此工作进程的阻塞点在select()、epoll_wait()等I/O多路复用函数调用处，等待数据可读/写事件。也可能被新收到的进程信号中断。

       master进程如何通知worker进程进行某些工作？采用的是信号。

       当收到信号时，信号处理函数ngx_signal_handler()会执行。

       对于worker进程的工作方法ngx_worker_process_cycle，它主要关注4个全局标志位：

       sig_atomic_t ngx_terminate;//强制关闭进程

       sig_atomic_t ngx_quit;//优雅地关闭进程（有唯一一段代码会设置它，就是接受到QUIT信号。ngx_quit只有在首次设置为1时，才会将ngx_exiting置为1）

       ngx_uint_t ngx_exiting;//退出进程标志位

       sig_atomic_t ngx_reopen;//重新打开所有文件

       其中ngx_terminate、ngx_quit、ngx_reopen都将由ngx_signal_handler根据接收到的信号来设置。ngx_exiting标志位仅由ngx_worker_cycle方法在退出时作为标志位使用。

       核心代码（ngx_process_cycle.c）：

Hermes源码分析（二）——解析字节码

        这里可以看到首先写入的是魔数，他的值为

        对应的二进制见下图，注意是小端字节序

        第二项是字节码的版本，笔者的版本是，也即 上图中的4a

        第三项是源码的hash，这里采用的是SHA1算法，生成的哈希值是位，因此占用了个字节

        第四项是文件长度，这个字段是位的，也就是下图中的为0aa，转换成十进制就是，实际文件大小也是这么多

        后面的字段类似，就不一一分析了，头部所有字段的类型都可以在BytecodeFileHeader.h中看到，Hermes按照既定的内存布局把字段写入后再序列化，就得到了我们看到的字节码文件。

        这里写入的数据很多，以函数头的写入为例，我们调用了visitFunctionHeader方法，并通过byteCodeModule拿到函数的签名，将其写入函数表（存疑，在实际的文件中并没有看到这一部分）。注意这些数据必须按顺序写入，因为读出的时候也是按对应顺序来的。

        我们知道react-native 在加载字节码的时候需要调用hermes的prepareJavaScript方法， 那这个方法做了些什么事呢？

        这里做了两件事情：

        1. 判断是否是字节码，如果是则调用createBCProviderFromBuffer，否则调用createBCProviderFromSrc，我们这里只关注createBCProviderFromBuffer

        2.通过BCProviderFromBuffer的构造方法得到文件头和函数头的信息（populateFromBuffer方法），下面是这个方法的实现。

        BytecodeFileFields的populateFromBuffer方法也是一个模版方法，注意这里调用populateFromBuffer方法的是一个 ConstBytecodeFileFields对象，他代表的是不可变的字节码字段。

        细心的读者会发现这里也有visitFunctionHeaders方法， 这里主要为了复用visitBytecodeSegmentsInOrder的逻辑，把populator当作一个visitor来按顺序读取buffer的内容，并提前加载到BytecodeFileFields里面，以减少后面执行字节码时解析的时间。

        Hermes引擎在读取了字节码之后会通过解析BytecodeFileHeader这个结构体中的字段来获取一些关键信息，例如bundle是否是字节码格式，是否包含了函数，字节码的版本是否匹配等。注意这里我们只是解析了头部，没有解析整个字节码，后面执行字节码时才会解析剩余的部分。

        evaluatePreparedJavaScript这个方法，主要是调用了HermesRuntime的 runBytecode方法，这里hermesPrep时上一步解析头部时获取的BCProviderFromBuffer实例。

        runBytecode这个方法比较长，主要做了几件事情：

        这里说明一下，Domain是用于垃圾回收的运行时模块的代理， Domain被创建时是空的，并跟随着运行时模块进行传播， 在运行时模块的整个生命周期内都一直存在。在某个Domain下创建的所有函数都会保持着对这个Domain的强引用。当Domain被回收的时候，这个Domain下的所有函数都不能使用。

        未完待续。。。

一文图解｜cgroup 设计分析（Docker底层技术）

       cgroup，全称控制组，是用于限制进程组对某种资源使用的一种技术。对后端程序员而言，Docker已成为必须掌握的技术之一，而cgroup正是Docker底层的重要支撑。

       cgroup通过将进程组织成控制组，并通过资源控制子系统对这些控制组进行资源限制。资源控制子系统包括内存、CPU、I/O和网络等。控制组内部的进程只能使用分配给控制组的资源限制。

       具体来说，cgroup框架负责控制组的创建和管理，而资源控制子系统负责限制控制组内的资源使用。cgroup通过虚拟文件系统来管理进程控制组，这样可以方便地添加或移除进程。每个控制组都是目录树的一部分，层级关系便于组织和管理。

       控制组内部的资源使用通过cgroup_subsys_state结构进行统计。在Linux内核中，每个资源控制子系统与控制组绑定，为控制组提供资源限制功能。当进程被添加到控制组时，内核会自动将该进程与控制组关联的所有资源统计对象关联，以实现资源使用限制。

       cgroup的设计复杂度源于其需要控制多种资源，并通过虚拟文件系统管理控制组。cgroup源码实现复杂，涉及多个概念和文件系统。设计者通过类比内存管理的简单计数器来直观解释cgroup的原理。然而，cgroup在Linux内核中的实现远比这个示例复杂。

       简而言之，cgroup通过控制组的概念和资源控制子系统，为Docker等容器管理技术提供了资源限制的基础。理解cgroup的设计与实现，对于深入掌握容器技术至关重要。