1.nodejs 14.0.0源码分析之setTimeout
2.node stream源码分析 — Readable
3.nodejs之setImmediate源码分析
4.抽丝剥茧：Electron与Node.js的项目项目奇葩Bug

nodejs 14.0.0源码分析之setTimeout

       本文深入剖析了Node.js .0.0版中定时器模块的实现机制。在.0.0版本中，源码源码Node.js 对定时器模块进行了重构，项目项目改进了其内部结构以提高性能和效率。源码源码下面将详细介绍定时器模块的项目项目关键组成部分及其实现细节。

       首先，源码源码海量源码下载让我们了解一下定时器模块的项目项目组织结构。Node.js 采用了链表和优先队列（二叉堆）的源码源码组合来管理定时器。链表用于存储具有相同超时时间的项目项目定时器，而优先队列则用来高效地管理这些链表。源码源码

       链表通过 TimersList数据结构进行管理，项目项目它允许将具有相同超时时间的源码源码定时器归类到同一队列中。这样，项目项目Node.js 能够快速定位并处理即将到期的源码源码定时器。

       为了进一步优化性能，项目项目Node.js 使用了一个优先队列（二叉堆）来管理所有链表。在这个队列中，每个链表对应一个节点，根节点表示最快到期的定时器。在时间循环（timer阶段）时，Node.js 会从二叉堆中查找超时的节点，并执行相应的回调函数。

       为了实现这一功能，Node.js 还维护了一个超时时间到链表的映射，以确保快速访问和管理定时器。

       接下来，我们将从 setTimeout函数的实现开始分析。这个函数主要涉及 new Timeout和 insert两个操作。其中，new Timeout用于创建一个对象来存储定时器的上下文信息，而 insert函数则用于将定时器插入到优先队列中。

       具体地，Node.js 使用了 scheduleTimer函数来封装底层计时操作。这个函数通过将定时器插入到libuv的二叉堆中，为每个定时器指定一个超时时间（即最快的到期时间）。在执行时间循环时，湖北知识付费平台源码查询libuv会根据这个时间判断是否需要触发定时器。

       当定时器触发时，Node.js 会调用 RunTimers函数来执行回调。回调函数是在Node.js初始化时设置的，负责处理定时器触发时的具体逻辑。在回调函数中，Node.js 遍历优先队列以检查是否有其他未到期的定时器，并相应地更新libuv定时器的时间。

       最后，Node.js 在初始化时通过设置 processTimers函数作为超时回调来确保定时器的正确执行。通过这种方式，Node.js 保证了定时器模块的初始化和定时器触发时的执行逻辑。

       本文通过详尽的分析，展示了Node.js .0.0版中定时器模块的内部机制，包括其组织结构、数据管理和回调处理等关键方面。虽然本文未涵盖所有细节，但对于理解Node.js定时器模块的实现原理提供了深入的洞察。对于进一步探索Node.js定时器模块的实现，特别是与libuv库的交互，后续文章将提供更详细的分析。

node stream源码分析 — Readable

       Stream在Node.js中是一种数据传输的抽象机制，它分为四种类型：流、可读流（Readable）、可写流（Writable）和可缓冲流（Transform）。其中，可读流（Readable）用于从外部数据源读取数据。

       可读流有两种模式：流动模式和非流动模式。非流动模式在监听到'data'事件时，直接读取数据而不暂停，并不将数据存储到缓存区。流动模式则在监听到'readable'事件时，将数据放入缓存区，并等待'writable'调用来判断是否有空位，以此来决定是手机打开源码文件乱码否暂停。

       以下是对可读流（Readable）的源码分析。首先，让我们查看Readable的源码。源码文件位于'_stream_readable.js'中。

       在'fs.js'文件中，我们可以看到创建读取流的源码，而'Readable'则位于'_stream_readable.js'文件中。

       在'fs.js'文件中，我们可以通过调用`fs.createReadStream`来创建读取流。在'Readable'源码文件中，我们可以看到Node.js实现的可读流类，它提供了读取数据的功能，并且支持缓冲和流式读取。

nodejs之setImmediate源码分析

       在lib/timer.js文件中，setImmediate函数创建了一个回调队列，等待调用者提供的回调函数执行。这个队列的处理由setImmediateCallback函数负责，该函数在timer_wrapper.cc文件中定义，接受processImmediate作为参数。在setImmediateCallback函数内部，回调信息被保存在环境env中。

       具体实现中，set_immediate_callback_function宏定义了在env中保存回调函数的函数。此函数在env.cc的CheckImmediate中执行，而CheckImmediate的执行时机是在Environment::Start阶段，由uv_check_start函数在libuv库中负责。

       uv_check_start函数将一个handle添加到loop的队列中，然后在uv_run循环中执行注册的CheckImmediate函数。此函数最终会调用nodejs的processImmediate函数，实现setImmediate的回调执行。

       需要注意的是，setImmediate与setTimeout的执行顺序并不确定。在uv_run中，定时器的代码比uvrun_check早执行，但在执行完定时器后，iapp应用市场源码下载若在uv__run_check之前新增定时器和执行setImmediate，setImmediate的回调会优先执行。

抽丝剥茧：Electron与Node.js的奇葩Bug

       起因是最近在用Electron开发一个桌面端项目，有个需求是需要遍历某个文件夹下的所有JavaScript文件，对它进行AST词法语法分析，解析出元数据并写入到某个文件里。需求整体不复杂，只是细节有些麻烦，当我以为开发的差不多时，注意到一个匪夷所思的问题，查的我快怀疑人生。

       缘起

       什么问题呢？

       原来这个需求一开始仅是遍历当前文件夹下的文件，我的获取所有JS文件的代码是这样的：

       后来需求改为要包含文件夹的子文件夹，那就需要进行递归遍历。按照我以前的做法，当然是手撸一个递归，代码并不复杂，缺点是递归可能会导致堆栈溢出：

       但做为一个紧跟时代浪潮的开发者，我知道Node.js的fs.readdir API中加了一个参数recursive，表示可以进行递归，人家代码的鲁棒性肯定比我的好多了：

       只改了一行代码，美滋滋~

       兼容性怎么样呢？我们到Node.js的API文档里看下：

       是从v..0添加的，而我本地使用的Node.js版本正是这个（好巧），我们Electron中的Node.js版本是多少呢？先看到electron的版本是.0.4：

       在Electron的 发布页上能找到这个版本对应的是..1，比我本地的还要多一个小版本号：

       这里需要说明一下，Electron之所以优于WebView方案，是因为它内置了Chrome浏览器和Node.js，锁定了前端与后端的版本号，这样只要Chrome和Node.js本身的跨平台没有问题，理论上Electron在各个平台上都能获得统一的UI与功能体验。 而以Tauri为代表的WebView方案，则是不内置浏览器，应用程序使用宿主机的浏览器内核，开发包的体积大大减小，比如我做过的网页自动翻译脚本源码同样功能的一个项目，Electron版本有M+，而Tauri的只有4M左右。虽然体积可以这么小，又有Rust这个性能大杀器，但在实际工作中的技术选型上，想想各种浏览器与不同版本的兼容性，换我也不敢头铁地用啊！ 所以，尽管Electron有这样那样的缺点，仍是我们开发客户端的不二之选。 之所以提这个，是因为读者朋友需要明白实际项目运行的是Electron内部的Node.js，而我们本机的Node.js只负责启动Electron这个工程。

       以上只是为了说明，我这里使用fs.readdir这个API新特性是没有问题的。

       排查

       为方便排查，我将代码再度简化，提取一个单独的文件中，被Electron的Node.js端引用：

       能看到控制台打印的 Node.js 版本与我们刚才查到的是一样的，文件数量为2：

       同样的代码使用本机的Node.js执行：

       难道是这个小版本的锅？按理说不应该。但为了排除干扰，我将本机的Node.js也升级为..1：

       这下就有些懵逼了！

       追踪

       目前来看，锅应该是Electron的。那么第一思路是什么？是不是人家已经解决了啊？我要不要先升个级？

       没毛病。

       升级Electron

       将Electron的版本号换成最新版本v.1.0：

       再看效果：

       我去，正常了！

       不过，这个包的升级不能太草率，尤其正值发版前夕，所以还是先改代码吧，除了我上面手撸的代码外，还有个包readdirp也可以做同样的事情：

       这两种方式，在原版本的Electron下都没有问题。

       GitHub上搜索

       下来接着排查。

       Electron是不是有人发现了这个Bug，才进行的修复呢？

       去 GitHub issue里瞅一瞅：

       没有，已经关闭的问题都是年提的问题，而我们使用的Electron的版本是年月日发布的。 那么就去 代码提交记录里查下（GitHub这个功能还是很好用的）：

       符合条件的就一条，打开看下：

       修复的这个瞅着跟我们的递归没有什么关系嘛。

       等等，这个文件是什么鬼？

       心血来潮的收获

       我们找到这个文件，目录在lib下：

       从命名上看，这个文件是对Node.js的fs模块的一个包装。如果你对Electron有了解的话，仔细一思索，就能理解为什么会有这么个文件了。我们开发时，项目里会有许多的资源，Electron的Node.js端读取内置的文件，与正常Node.js无异，但事实上，当我们的项目打包为APP后，文件的路径与开发状态下完全不一样了。所以Electron针对打包后的文件处理，重写了fs的各个方法。

       这段代码中重写readdir的部分如下：

       上面的判断isAsar就是判断是否打包后的归档文件，来判断是否要经Electron特殊处理。如果要处理的话，会调用Electron内部的C++代码方法进行处理。

       我发现，这里Electron并没有对打包后的归档文件处理递归参数recursive，岂不是又一个Bug？应该提个issue提醒下。

       不过，我们目前的问题，并不是它造成的，因为现在是开发状态下，上面代码可以简化为：

       对Promise了如指掌的我怎么看这代码也不会有问题，只是心血来潮执行了一下：

       我去，差点儿脑溢血！

       好的一点是，曙光似乎就在眼前了！事实证明，心血来潮是有用的！

       Node.js的源码

       这时不能慌，本地切换Node.js版本为v，同样的代码再执行下：

       这说明Electron是被冤枉的，锅还是Node.js的！

       Node.js你这个浓眉大眼的，居然也有Bug！呃，还偷偷修复了！

       上面的情况，其实是说原生的fs.readdir有问题：

       也就是说，fs.promises.readdir并不是用util.promisify(fs.readdir)实现的！

       换成同步的代码readdirSync，效果也是一样：

       我们来到Node.js的GitHub地址，进行 搜索：

       打开这两个文件，能发现，二者确实是不同的实现，不是简单地使用util.promisify进行转换。

       fs.js

       我们先看 lib/fs.js。

       当recursive为true时，调用了一个readdirSyncRecursive函数，从这个命名上似乎可以看出有性能上的隐患。正常来说，这个函数是异步的，不应该调用同步的方法，如果文件数量过多，会把主进程占用，影响性能。

       如果没有recursive，则是原来的代码，我们看到binding readdir这个函数，凡是binding的代码，应该就是调用了C++的底层库，进行了一次『过桥』交互。

       我们接着看readdirSyncRecursive，它的命名果然没有毛病，binding readdir没有第4个参数，是完全同步的，这个风险是显而易见的：

       fs/promises.js

       在lib/internal/fs/promises.js中，我们看到binding readdir的第4个参数是kUsePromises，表明是个异步的处理。

       当传递了recursive参数时，将调用readdirRecursive，而readdirRecursive的代码与readdirSyncRecursive的大同小异，有兴趣的可以读一读：

       fs.js的提交记录

       我们搜索readdir的提交记录，能发现这两篇都与深度遍历有关：

       其中 下面的这个，正是我们这次问题的罪魁祸首。

       刚才看到的fs.js中的readdirSyncRecursive里这段长长的注释，正是这次提交里添加的：

       从代码对比上，我们就能看出为什么我们的代码遍历的程序为2了，因为readdirResult是个二维数组，它的长度就是2啊。取它的第一个元素的长度才是正解。坑爹！

       也就是说，如果不使用withFileTypes这个参数，得到的结果是没有问题的：

       发版记录

       我们在Node.js的发版记录中，找到这条提交记录，也就是说，v..0才修复这个问题。

       而Electron只有Node.js更新到v后，这个功能才修复。

       而从Electron与Node.js的版本对应上来看，得更新到v了。

       只是需要注意的是，像前文提过的，如果是遍历的是当前项目的内置文件，Electron并没有支持这个新的参数，在打包后会出现Bug。

       fs的同步阻塞

       其实有人提过一个 issue：

       确实是个风险点。所以，建议Node.js开发者老老实实使用fs/promises代替fs，而Electron用户由于坑爹的fs包裹，还是不要用这个特性了。

       总结

       本次问题的起因是我的一个Electron项目，使用了一个Node.js fs API的一个新参数recursive递归遍历文件夹，偶然间发现返回的文件数量不对，就开始排查问题。

       首先，我选择了升级Electron的包版本，发现从v.0.4升级到最新版本v.1.0后，问题解决了。但由于发版在即，不能冒然升级这么大件的东西，所以先使用readdirp这个第三方包处理。

       接着排查问题出现的原因。我到Electron的GitHub上搜索issue，只找到一条近期的提交，但看提交信息，不像是我们的目标。我注意到这条提交的修改文件（asar-fs-wrapper.ts），是Electron针对Node.js的fs API的包装，意识到这是Electron为了解决打包前后内置文件路径的问题，心血来潮之下，将其中核心代码简化后，测试发现问题出在fs.promises readdir的重写上，继而锁定了Node.js版本v..1的fs.readdir有Bug。

       下一步，继续看Node.js的源码，确定了fs.promises与fs是两套不同的实现，不是简单地使用util.promisify进行转换。并在fs的代码找到关于recursive递归的核心代码readdirSyncRecursive。又在提交记录里，找到这段代码的修复记录。仔细阅读代码对比后，找到了返回数量为2的真正原因。

       我们在Node.js的发版记录中，找到了这条记录的信息，确定了v..0才修复这个问题。而内嵌Node.js的Electron，只有v版本起才修复。

       不过需要注意的是，如果是遍历的是当前项目的内置文件，由于Electron并没有支持这个新的参数，在打包后会出现Bug。而且由于fs.readdir使用recursive时是同步的，Electron重写的fs.promises readdir最终调用的是它，可能会有隐性的性能风险。

       本次定位问题走了些弯路，一开始将目标锁定到Electron上，主要是它重写fs的锅，如果我在代码中用的fs.readdirSync，那么可能会更早在Node.js上查起。谁能想到我调用的fs.promises readdir不是真正的fs.promises readdir呢？

       最后，针对此次问题，我们有以下启示：

       PS：我给Electron提了个 issue，一是让他们给fs.readdir添加recursive参数的实现，二是让他们注意下重写时fs.promises readdir的性能风险。