1.Netty原理-从NIO开始
2.一次 Netty 代码不健壮导致的大量 CLOSE_WAIT 连接原因分析
3.Netty源码解析 -- FastThreadLocal与HashedWheelTimer

Netty原理-从NIO开始

       Netty是基于NIO的异步通信框架（曾经引入过AIO，后来放弃），故要说Netty原理我们要先从NIO开始。

        NIO 是JAVA在JDK4中引入的同步非阻塞通信模型，在NIO出现之前（JDK4之前）市场上只有一个BIO模型顾名思义BLOCKING IO （同步阻塞通信模型）

        BIO（BLOCKING I/O）：

        BIO 为一个连接 一个线程的模式，当有连接时服务器会开启一个线程来处理请求

        若此请求啥都不想干此时线程会怎么样？

        此线程会进入阻塞模式（BLOCKING）！---啥也不干，干等着zzZZ~

        这种一连接，一线程的模式会造成服务器资源不必要的开销并且在大量连接访问时 服务器会发生什么？车道（线程）不足，车太多--我堵车了

        由此就出现了NIO

        ↓

        NIO（new/NONBLOCKING I/O）:

        NIO为同步非阻塞通信模型，Select（多路复用器）为此模型的核心，实现了多个连接一个线程

        当有客户端连接请求时 此连接请求会被注册至select上，当select检测到此连接有I/O请求时才会打开一个线程去对此I/O请求进行处理-----单线程模型

        这个时候有人问了：这么多操作都在一个线程里，线程忙不过来怎么办？

        此时 由于网络请求、I/O读写、业务操作都在一个线程下，会导致在高并发的情况下存在性能瓶颈 于是乎有人就提出来 将业务操作丢到另一个线程怎么样？

        于是出现了第三种reactor模型-使用线程池进行操作网络请求、IO在一个线程，业务操作在另个一个线程 的业务分离----线程池模型

        从此图中可以看出此时 模型中使用一个线程池来进行网络请求、IO读取

        当读取完成后将业务操作绑定在线程池中另外的线程上-------网络IO与业务操作可以同步进行了！一切都完美了起来！

        但是！事情还没完！！这个时候又有人提出问题：在高并发的时候咋办？会不会有性能瓶颈

        因为网络IO是非常消耗CPU的，当网络请求与网络IO在同个线程中时，造CK的情况下单个线程并不足以支撑起所有的IO操作！因此也形成了在高并发状态下的性能瓶颈

        于是大佬们就想着，如果把IO拆出来让单个线程池去接收网络请求，用另一个线程池来进行IO与业务操作会不会更好

        于是第四种Reactor模型应运而生--主从Reactor多线程模型

        此模型中 mainReactor只用于接收网络请求，而subReactor中为一个线程池，线程池中每个线程上绑定一个select

        当mainReactor接收到请求时（一个描述符） 系统会生成一个新的描述符代表此连接生效，此时mainReactor会将新的描述符通过一个算法在线程池中选定一个线程 将此描述符绑定至此线程池上的select上，由此线程来对请求进行I/O 与业务操作

        从此百万连接高并发不是问题

        写到这 我们是不是想起了Netty的启动过程

        1、声明两个EventLoopGroup一个为boss（mainReactor）一个为worker（subReactor）

        EventLoopGroup（线程池）初始化的时候会生成（懒加载）指定数量的EventLoop（线程）若无指定 则会生成CPU数X2的线程

        2、声明一个启动辅助类Bootstrap并将EventLoopGroup注册到启动辅助类BootStrap上(bootStrap.group)

        接着再给bootstrap指定channel模型等属性，再添加上业务流水线（channelpipeline）并且在pipeline中添加上业务操作handler，（通过channelpipeline可以对传入数据为所欲为）

        3、绑定端口

        Netty启动完成

        这时候可能有人会问了：这和你上面说的reactor？NIO有啥关系？

        这个时候我们要这么看

        ↓

        若我们将boss与worker线程池设置为相同的一个线程池，那么会发生什么事？

        此时关注一下第三个Reactor模型时就会发现 当BOSS=WORKER时候 netty实现的就是第三种Reactor模型 使用线程池模型

        而当boss不等于worker的时候使用的就是第四种 主从多线程模型

        Netty就是基于Reactor模型来对NIO进行了易用化封装，从Netty源码中就可以看出来其实底层还都是NIO的接口

        此次处为自己读源码之后的理解 如有误请指正

        感恩

        反手拿下第一个赞

一次 Netty 代码不健壮导致的大量 CLOSE_WAIT 连接原因分析

       我们线上存在一个 Dubbo 服务，遇到大量 CLOSE_WAIT 状态的连接，始终无法消失，因此进行了原因分析。

       CLOSE_WAIT 状态出现在被动关闭方，收到对端 FIN 包后回复 ACK，从源码安装mysql但未发送 FIN 包之前。问题在于服务没有回复 FIN，原因可能是收到了 FIN 包却未发送响应，通过抓包验证了这一情况。

       问题核心在于为什么没有回复 FIN。Dubbo 服务底层使用 Netty，作为普通的 TCP 服务端，关键在于 FIN 包的回复。

       分析显示，如果服务没有发送 FIN 包，xmemcache源码分析可能原因有：

       1. 半连接队列或全连接队列积压，通过 ss 命令查看全连接队列大小和等待 accept 的连接个数。

       2. LISTEN 状态的 socket，Recv-Q 表示等待用户进程 accept 的连接个数，Send-Q 表示全连接队列最大容纳的连接数。

       非 LISTEN 状态的 socket，Recv-Q 表示 receive queue 字节大小，Send-Q 表示 send queue 字节大小。

       通过 ss 命令确认 Recv-Q 为 0，全连接队列无积压。

       嫌疑指向 Netty 没有注册事件，导致收到 FIN 包后无动于衷。

       进一步发现，凌晨 1 点业务实例加载大量数据导致堆内存占满，持续进行 fullgc。node源码阅读Netty 线程出现 OOM 异常。在 org.jboss.netty.channel.socket.nio.NioServerBoss#process 方法中，Netty 调用 accept 取走连接，第 行尝试注册事件时抛出 java.lang.OutOfMemoryError 异常。

       因此，Netty 处理不健壮，try-catch 包裹了 accept 连接和注册事件逻辑，在 OOM 异常处理时，未能成功注册事件或关闭连接，导致连接存在但不被监听处理。

       推荐相关视频学习：

       LinuxC++零拷贝的实现 用户态协议栈 ntytcp

       支撑互联网的基石 TCP/IP，5个方面全面解析

       TCP/IP协议栈深度解析丨实现单机百万连接丨优化三次握手、四次挥手

       LinuxC++后台服务器开发架构师免费学习地址

       为模拟问题复现，可使用字节码注入或直接重构 Netty 源码。本地拥有 Netty 源码，appinventor源码下载采用重构方法更快。重新构建项目后，使用 nc 模拟健康检查握手并断开连接，CLOSE_WAIT 状态连接持续存在直至 Netty 进程退出。再次 nc 断开连接，新增 CLOSE_WAIT 状态。由于服务持续进行健康检查，导致 OOM 期间 CLOSE_WAIT 状态不断增加。

       问题核心：Netty 代码不够健壮，尝试捕获异常时，未能正确处理连接注册事件或关闭连接，导致连接存在且未被监听。

       修改方式：在 catch 处理 throwable 时关闭连接即可，最新版本的 Netty 代码这部分逻辑已优化，将 accept 和注册事件拆分。CMS评论源码有兴趣的读者可以尝试。

       学习 TCP、网络编程是解决类似问题的关键。

Netty源码解析 -- FastThreadLocal与HashedWheelTimer

       Netty源码分析系列文章接近尾声，本文深入解析FastThreadLocal与HashedWheelTimer。基于Netty 4.1.版本。

       FastThreadLocal简介：

       FastThreadLocal与FastThreadLocalThread协同工作。FastThreadLocalThread继承自Thread类，内部封装一个InternalThreadLocalMap，该map只能用于当前线程，存放了所有FastThreadLocal对应的值。每个FastThreadLocal拥有一个index，用于定位InternalThreadLocalMap中的值。获取值时，首先检查当前线程是否为FastThreadLocalThread，如果不是，则从UnpaddedInternalThreadLocalMap.slowThreadLocalMap获取InternalThreadLocalMap，这实际上回退到使用ThreadLocal。

       FastThreadLocal获取值步骤：

       #1 获取当前线程的InternalThreadLocalMap，如果是FastThreadLocalThread则直接获取，否则通过UnpaddedInternalThreadLocalMap.slowThreadLocalMap获取。

       #2 通过每个FastThreadLocal的index，获取InternalThreadLocalMap中的值。

       #3 若找不到值，则调用initialize方法构建新对象。

       FastThreadLocal特点：

       FastThreadLocal无需使用hash算法，通过下标直接获取值，复杂度为log(1)，性能非常高效。

       HashedWheelTimer介绍：

       HashedWheelTimer是Netty提供的时间轮调度器，用于高效管理各种延时任务。时间轮是一种批量化任务调度模型，能够充分利用线程资源。简单说，就是将任务按照时间间隔存放在环形队列中，执行线程定时执行队列中的任务。

       例如，环形队列有个格子，执行线程每秒移动一个格子，则每轮可存放1分钟内的任务。任务执行逻辑如下：给定两个任务task1（秒后执行）、task2（2分秒后执行），当前执行线程位于第6格子。那么，task1将放到+6=格，轮数为0；task2放到+6=格，轮数为2。执行线程将执行当前格子轮数为0的任务，并将其他任务轮数减1。

       HashedWheelTimer的缺点：

       时间轮调度器的时间精度受限于执行线程的移动速度。例如，每秒移动一个格子，则调度精度小于一秒的任务无法准时调用。

       HashedWheelTimer关键字段：

       添加延迟任务时，使用HashedWheelTimer#newTimeout方法，如果HashedWheelTimer未启动，则启动HashedWheelTimer。启动后，构建HashedWheelTimeout并添加到timeouts集合。

       HashedWheelTimer运行流程：

       启动后阻塞HashedWheelTimer线程，直到Worker线程启动完成。计算下一格子开始执行的时间，然后睡眠到下次格子开始执行时间。获取tick对应的格子索引，处理已到期任务，移动到下一个格子。当HashedWheelTimer停止时，取消任务并停止时间轮。

       HashedWheelTimer性能比较：

       HashedWheelTimer新增任务复杂度为O(1)，优于使用堆维护任务的ScheduledExecutorService，适合处理大量任务。然而，当任务较少或无任务时，HashedWheelTimer的执行线程需要不断移动，造成性能消耗。另外，使用同一个线程调用和执行任务，某些任务执行时间过久会影响后续任务执行。为避免这种情况，可在任务中使用额外线程执行逻辑。如果任务过多，可能导致任务长期滞留在timeouts中而不能及时执行。

       本文深入剖析FastThreadLocal与HashedWheelTimer的实现细节，旨在提供全面的技术洞察与实战经验。希望对您理解Netty源码与时间轮调度器有帮助。关注微信公众号，获取更多Netty源码解析与技术分享。