皮皮网

1.Redis 网网络多线程网络模型[译]
2.Redis事件驱动框架（上）：何时使用select、poll、络模epoll？
3.知乎上高频提问：Redis到底是型源单线程还是多线程程序？
4.深度解析单线程的 Redis 如何做到每秒数万 QPS 的超高处理能力！
5.Redis(四)：线程模型
6.Redis——Epoll网络模型

Redis 多线程网络模型[译]

       今天，我们将探讨一篇关于Redis多线程网络模型的网网络详尽解析，这篇文章深入浅出地探讨了Redis从单线程到多线程的络模青云战歌游戏源码演进过程，以及其背后的型源策略选择。作者对Redis的码r模型网络模型进行了全面分析，特别是网网络如何处理单线程的瓶颈和为何选择非标准的多线程设计。

       Redis作为高性能的络模缓存解决方案，其网络模型至关重要。型源它最初选择单线程，码r模型因为CPU瓶颈不常见，网网络通常内存或网络性能更关键。络模然而，型源随着互联网流量的增加，单线程模型在处理网络I/O时变得突出，促使Redis在v6.0引入多线程，以优化I/O性能。

       在Redis早期，多线程主要用于处理耗时任务，如删除大量数据，以避免阻塞主线程。Redis作者Antirez通过引入异步操作和多线程来解决这个问题，以保持代码简单易维护。不过，Redis的多线程模型并非典型的多反应器/Master-Worker模式，而是通过无锁设计和交错访问实现，以提升性能同时保持兼容性。

       性能测试显示，多线程版本的Redis在I/O处理上有显著提升，但主线程和I/O线程之间的通信机制还有改进空间。尽管如此，Redis的多线程网络模型仍然是其适应不断变化的技术需求和保持兼容性的折衷选择。

       理解Redis的网络模型不仅限于技术层面，它涉及设计模式、并发编程、操作系统原理，甚至硬件优化。作者Antirez对技术的谨慎态度和对问题的深思熟虑，使得Redis的发展历程值得我们学习和借鉴。

Redis事件驱动框架（上）：何时使用select、poll、epoll？

       前言

       Redis 作为一个 Client-Server 架构的数据库，其网络通信部分的关键在于实现高并发请求的处理。通常，系统实现网络通信的基本方法是使用 Socket 编程模型。然而，由于基本的美女流量源码 Socket 编程模型一次只能处理一个客户端连接上的请求，为了实现高并发访问，通常会采用多线程来处理多个客户端请求。而 Redis 的主线程仅负责客户端请求的解析和处理，因此直接采用基本 Socket 模型将影响其支持高并发的能力。为解决此问题，Linux 操作系统提供了 select、poll 和 epoll 三种 I/O 多路复用模型。

       为何 Redis 通常选择 epoll 模型？这三种模型之间有何区别？在开发高并发服务器程序时，如何选择使用？本文将为您解答。

       Socket 编程模型的不足

       使用 Socket 模型实现网络通信时，需要经过创建 Socket、监听端口、处理连接和读写请求等多个步骤。其中，accept 函数是阻塞的，只能处理一个客户端连接。为了提升并发能力，通常采用多线程方法，但 Redis 的主线程无法使用此方法。

       IO 多路复用机制

       为解决 Socket 编程模型的不足，Linux 提供了 IO 多路复用功能，可同时监听多个套接字的请求。在多路复用机制中，通过系统调用可以监听多个套接字，当有套接字就绪时，系统将返回就绪信息。

       IO 多路复用机制比较

       了解了 IO 多路复用机制的基础后，我们来对比 select、poll 和 epoll 三种模型。

       select 机制

       select 函数用于监听多个套接字，参数包括监听的文件描述符数量、描述符集合和超时时间。它可以监听读、写和异常事件。每次调用 select 函数，需要遍历描述符集合来查找就绪的套接字。

       poll 机制

       相比 select，poll 函数允许监听超过 个文件描述符。但它仍需要遍历描述符集合来查找就绪的套接字。

       epoll 机制

       epoll 机制没有描述符数量限制，并且可以一次性返回就绪的文件描述符，无需遍历查找。它在内核空间维护文件描述符的事件表，用户空间只做一次拷贝。

       Redis 事件驱动框架

       Redis 基于 epoll 机制实现其网络通信的事件驱动框架，实现高并发访问。通过封装 epoll_create、epoll_ctl 和 epoll_wait 等函数和读写事件，游戏商城app源码Redis 单线程运行也能高效处理高并发请求。

       总结

       本文介绍了 IO 多路复用的概念和 select、poll、epoll 三种实现方式，以及它们在解决高并发网络通信问题中的应用。理解这些机制有助于深入理解 Redis 事件驱动框架的设计。

知乎上高频提问：Redis到底是单线程还是多线程程序？

       对于知乎上关于Redis是单线程还是多线程的疑问，答案取决于讨论的焦点。核心业务部分，Redis的命令操作和数据处理是单线程执行的，因为网络IO和键值对操作都由一个线程负责，以确保高并发下的数据一致性。然而，从系统架构角度来看，Redis是多线程的，因为它利用了IO多路复用技术，如epoll，允许多个客户端连接复用一个线程，实现非阻塞I/O，提高效率。

       Redis选择单线程处理命令，是因为其内存操作快速，多线程带来的上下文切换成本高。同时，避免了并发访问控制中的复杂性，保证了代码的简洁和性能。其高性能源于内存操作、高效数据结构以及利用epoll进行网络IO多路复用，允许多个连接同时处理，而非阻塞等待。

       在Redis网络模型中，用户应用通过内核与硬件交互，内核空间和用户空间有缓冲区，以提高IO效率。事件驱动机制，如epoll，使得Redis能在数据就绪时处理请求，而不是阻塞等待，显著提升了并发处理能力。

       在Redis 6.0中，引入了多线程I/O支持，通过主线程和IO线程协作，提高网络IO处理速度，特别是在CPU负载较低但吞吐量受限的情况下。多线程配置需要在`redis.conf`中进行，但默认关闭，具体线程数量需根据机器CPU核数来决定。

       总结来说，马士兵springboot源码Redis在关键业务层面是单线程的，但在网络模型层面利用多线程技术来优化性能，两者结合，形成高效、并发的网络模型。

深度解析单线程的 Redis 如何做到每秒数万 QPS 的超高处理能力！

       大家好，我是飞哥！

       在网络编程中，提到高性能，很多人会想到多线程。但实际上，服务器端仅需单线程便可实现极高处理能力，Redis 就是这一模式的杰出代表，能够支撑每秒数万 QPS 的性能。今天，我们将深入探讨 Redis 核心网络模块的实现，揭示它是如何实现如此高性能的。

       本文转自个人技术公众号「开发内功修炼」，关注以获取飞哥最新深度文章。同时，分享我撰写的电子书《理解了实现再谈网络性能》。该书正处于出版流程中。需要电子版的朋友可点击下载，或添加我本人: zhangyanfei，获取《理解了实现再谈网络性能》的链接。

       一、理解多路复用原理

       在开始介绍 Redis 之前，让我们先简单介绍下 epoll。

       在传统的同步阻塞网络编程模型中，进程线程的高开销是影响性能的根本原因。单个进程或线程只能处理一个用户请求，犹如一个人只能看管一只羊。当面对成千上万的请求时，这种模式的成本非常高。

       性能提升的关键在于让众多请求复用同一个进程或线程，这就是多路复用。多路指的是众多用户连接，复用指的是对进程或线程的高效利用。以羊群为例，只需一名牧羊人即可管理。

       实现多路复用需要特殊的 socket 事件管理机制，其中 epoll 是最高效和典型的方案。它的工作原理类似于一只牧羊犬，负责管理与进程或线程复用相关的 socket 事件。

       二、Redis 服务启动与初始化

       理解了 epoll 的基本原理后，我们将探索 Redis 播播影视源码如何具体实现这一机制。通过 Github 即可获取 Redis 源码，我们关注 5.0.0 版本中的单线程版本实现。

       整个 Redis 服务的核心入口位于 src/server.c 文件中，主要集中在 initServer 和 aeMain 函数。在 initServer 这个关键函数内，Redis 执行了以下三项重要操作。

       2.1 创建 epoll 对象

       在 aeCreateEventLoop 函数中创建 epoll 对象，然后将其保存在 redisServer 的 aeEventLoop 成员中。接下来，我们深入了解 aeCreateEventLoop 的具体逻辑。

       在 eventLoop 对象中，eventLoop->events 数组用于保存各种事件处理器。真正创建 epoll 对象的过程发生在 ae_epoll.c 文件的 aeApiCreate 函数中，通过调用 epoll_create 实现。

       2.2 绑定监听服务端口

       Redis 的 listen 过程发生在 listenToPort 函数中，通过 bind 和 listen 系统调用完成。

       Redis 支持多个端口，listenToPort 函数内部使用循环调用 anetTcpServer，逐步展开调用直到执行 bind 和 listen。

       2.3 注册事件回调函数

       initServer 函数中，Redis 调用 aeCreateEventLoop 创建 epoll 对象后，通过 listenToPort 进行服务端口绑定。接着，调用 aeCreateFileEvent 注册 accept 事件处理器。

       在 aeCreateFileEvent 函数中，Redis 为 listen socket 上的新用户连接注册了 acceptTcpHandler 作为读回调函数，负责处理新连接请求。

       三、Redis 事件处理循环

       在上一节中，我们了解了 Redis 的启动初始化过程。接下来，Redis 将进入 aeMain 开始真正的用户请求处理。

       aeMain 函数是一个无休止的循环，每次循环中执行如下关键操作。

       3.1 epoll_wait 发现事件

       Redis 通过 epoll_wait 统一发现和管理可读（包括 listen socket 上的 accept 事件）、可写事件，并管理 timer 事件。

       每当发现特定事件发生，epoll_wait 调用相应注册的事件处理函数进行处理。aeProcessEvents 函数封装了 epoll_wait 的逻辑。

       3.2 处理新连接请求

       假设现在有新用户连接到达。listen socket 上的 rfileProc 注册的 acceptTcpHandler 负责处理新连接请求。在 acceptTcpHandler 中，主要完成接收连接、创建客户端连接对象和注册读事件处理器。

       anetTcpAccept 负责调用 accept 接收新连接，acceptCommonHandler 为连接创建客户端连接对象，createClient 注册读事件处理器。

       3.3 处理客户连接上的可读事件

       当用户发送命令时，Redis 通过 epoll_wait 发现可读事件后，调用已注册的读处理函数 readQueryFromClient。

       在 readQueryFromClient 中，Redis 处理命令并将其转换为内部数据结构，如执行 GET 命令并从内存中查找值。

       四、高性能 Redis 网络原理总结

       Redis 服务器通过单线程实现高处理能力，每秒可达到数万 QPS，这主要得益于对 Linux 多路复用机制 epoll 的高效利用。

       Redis 的核心逻辑集中于 initServer 和 aeMain 两个关键函数，理解这些函数是掌握 Redis 网络原理的基础。

       总结 Redis 的网络核心模块，包括启动服务和事件循环处理，对于深入理解网络编程大有裨益。相信通过本文的介绍，您对网络编程的理解将会更加深入。

       快来分享这篇文章给您的技术好友吧！

       最后，分享我撰写的电子书《理解了实现再谈网络性能》，该书正处于出版流程中。电子版下载地址或添加我本人: zhangyanfei，获取《理解了实现再谈网络性能》的链接。

Redis(四)：线程模型

       Redis的线程模型主要包括单线程和多线程两种。单线程模型中，Redis的网络IO和键值对操作由一个主线程处理，而持久化、异步删除等任务则由额外的子线程执行。单线程设计有助于避免执行顺序问题和并发访问控制，且性能主要受限于内存和网络，而非CPU，适合处理键值对读写这类任务。

       后台线程负责处理一些耗时任务，如删除大量数据时，推荐使用异步的unlink命令而非阻塞的del命令。此外，Redis启动时会启动BIO后台线程来执行关闭文件、AOF刷盘和释放内存等任务，采用任务队列的方式提高效率。

       网络模式中，Redis采用Reactor模式，包括单Reactors和多Reactors，以及单进程或多线程的组合。单Reactor单进程方案简单，但不适用于计算密集型场景，而多线程模型如Redis 6.0后的「单Reactors多线程」，可以提高网络IO处理的并行度，但需处理线程间资源竞争问题。

       单线程模型通过IO多路复用技术如select、epoll实现高效并发处理。在Redis 6.0之前，网络I/O和命令处理由单线程负责，而在多线程模型中，虽然网络请求处理并行化，但命令操作仍保持单线程以保证性能。

       最后，线程数并非越多越好，过多的线程可能导致资源竞争和性能下降。Redis建议的线程数通常小于CPU核心数且不超过8个，以保持最佳性能和资源利用率。下一节将探讨Redis的通信机制。

Redis——Epoll网络模型

       Redis 的高效性在于其使用多路复用技术管理大量连接，通过单线程事件循环处理请求，实现每秒数万 QPS 的性能。在深入了解 Redis 的 Epoll 实现之前，需要先对 Epoll 有清晰的认识。上一篇文章已对此进行深入浅出的讲解，涉及 select、poll、epoll 的实现。

       在掌握了 Epoll 的核心原理后，让我们深入 Redis 如何具体利用 Epoll。通过查阅 Redis 5.0.0 版本的源码，我们可以清楚地看到 Redis 如何实现 Epoll。通过本文，我们重点探讨以下三个关键点：

       1. Epoll 是 Linux 内核提供的一种高效事件多路复用机制，核心方法有三个。它通过红黑树、双向链表和事件回调机制实现高效率。

       2. Redis 采用 Epoll 实现了 IO 多路复用，其原理是利用 Epoll 进行事件监听，通过事件循环处理各种请求。

       3. Redis 的事件驱动机制处理网络 IO 和时间事件，采用成熟的 I/O 多路复用模型（如 select、epoll）进行文件事件处理，对模型进行封装。

       事件驱动的核心组件在 src/ae.c 文件中实现，它通过 aeCreateEventLoop、aeMain 和 aeDeleteEventLoop 函数管理事件循环。aeMain 函数是事件循环的主体，调用 aeProcessEvents 处理就绪事件。

       Redis 采用自定义的事件驱动库 ae_event 实现 IO 多路复用，支持 select、epoll、evport 和 kqueue 等技术。在不同的操作系统上，Redis 会选择合适的多路复用技术。

       Redis 的实现细节如下：

       1. initServerConfig 函数初始化服务器配置，确保内部数据结构和参数正确。

       2. initServer 函数创建事件管理器 aeEventLoop。

       3. aeCreateEventLoop 创建事件管理器并初始化关键属性，如事件表、就绪事件数组等。

       4. aeCreateFileEvent 注册文件事件到底层多路复用系统。

       5. aeMain 作为事件循环的主体，无限循环处理文件事件和时间事件。

       6. aeProcessEvents 处理就绪事件，调用底层多路复用实现。

       Redis 的 Epoll 实现展示了其对底层技术的深入理解和灵活应用，通过高效的事件处理机制实现了高性能。

redis7.0源码阅读：Redis中的IO多线程（线程池）

       Redis服务端处理客户端请求时，采用单线程模型执行逻辑操作，然而读取和写入数据的操作则可在IO多线程模型中进行。在Redis中，命令执行发生在单线程环境中，而数据的读取与写入则通过线程池进行。一个命令从客户端接收，解码成具体命令，根据该命令生成结果后编码并回传至客户端。

       Redis配置文件redis.conf中可设置开启IO多线程。通过设置`io-threads-do-reads yes`开启多线程，同时配置`io-threads 2`来创建两个线程，其中一个是主线程，另一个为IO线程。在网络处理文件networking.c中，`stopThreadedIOIfNeeded`函数会判断当前需要执行的命令数是否超过线程数，若少于线程数，则不开启多线程模式，便于调试。

       要进入IO多线程模式，运行redis-server命令，然后在调试界面设置断点在networking.c的`readQueryFromClient`函数中。使用redis-cli输入命令时，可以观察到两个线程在运行，一个为主线程，另一个为IO线程。

       相关视频推荐帮助理解线程池在Redis中的应用，包括手写线程池及线程池在后端开发中的实际应用。学习资源包括C/C++ Linux服务器开发、后台架构师技术等领域，需要相关资料可加入交流群获取免费分享。

       在Redis中，IO线程池实现中，主要包括以下步骤：

       读取任务的处理通过`postponeClientRead`函数，判断是否启用IO多线程模式，将任务加入到待执行任务队列。

       主线程执行`postponeClientRead`函数，将待读客户端任务加入到读取任务队列。在多线程模式下，任务被添加至队列中，由IO线程后续执行。

       多线程读取IO任务`handleClientsWithPendingReadsUsingThreads`通过解析协议进行数据读取，与写入任务的多线程处理机制相似。

       多线程写入IO任务`handleClientsWithPendingWritesUsingThreads`包括判断是否需要启动IO多线程、负载均衡分配任务到不同IO线程、启动IO子线程执行写入操作、等待IO线程完成写入任务等步骤。负载均衡通过将任务队列中的任务均匀分配至不同的线程消费队列中，实现无锁化操作。

       线程调度部分包含开启和关闭IO线程的功能。在`startThreadedIO`中，每个IO线程持有锁，若主线程释放锁，线程开始工作，IO线程标识设置为活跃状态。而在`stopThreadedIO`中，若主线程获取锁，则IO线程等待并停止，IO线程标识设置为非活跃状态。

Redis源码解析：一条Redis命令是如何执行的？

       作者：robinhzhang

       Redis，一个开源内存数据库，凭借其高效能和广泛应用，如缓存、消息队列和会话存储，本文将带你探索其命令执行的底层流程。本文将以源码解析的形式，逐层深入Redis的核心结构和命令执行过程，旨在帮助开发者理解实现细节，提升编程技术和设计意识。

       源码结构概览

       在学习Redis源代码之前，首先要了解其主要的组成部分：redisServer、redisClient、redisDb、redisObject以及aeEventLoop。这些结构体和事件模型构成了Redis的核心架构。

       redisServer：服务端运行的核心结构，包括监听socket、数据存储的redisDb列表和客户端连接信息。

       redisClient：客户端连接状态的存储，包括命令处理缓冲区、回复数据列表和数据库句柄。

       redisDb：键值对的数据存储，采用两个哈希表实现渐进式rehash。

       redisObject：存储对象的通用表示，包含引用计数和LRU时间，用于内存管理。

       aeEventLoop：事件循环，管理文件和时间事件的处理。

       核心流程详解

       Redis的执行流程从main函数开始，首先初始化配置和服务器组件，进入主循环处理事件。命令执行流程涉及redis启动、客户端连接、接收命令和返回结果四个步骤：

       启动阶段：创建socket服务器，注册可读事件，进入主循环。

       连接阶段：客户端连接后，接收并处理命令，创建客户端实例。

       命令阶段：客户端发送命令，服务端解析并调用对应的命令处理函数。

       结果阶段：处理命令后，根据协议格式构建回复并写回客户端。

       渐进式rehash与内存管理

       Redis的内存管理采用引用计数法，通过对象的refcount字段控制内存分配和释放。rehash操作在Redis 2.x版本引入，通过逐步迁移键值对，降低对单线程性能的影响。当负载达到阈值，会进行扩容，这涉及新表的创建和键值对的迁移。

       总结

       本文通过Redis源码分析，揭示了其命令执行的细节，包括启动流程、客户端连接、命令处理和结果返回，以及内存管理策略。这将有助于开发者深入理解Redis的工作原理，提升编程效率和设计决策能力。