皮皮网

1.RocketMQ 5.0: POP 消费模式 原理详解 & 源码解析
2.gRPC入坑记
3.PolarisMesh源码系列--Polaris-Go注册发现流程
4.在Windows搭建gRPC C++开发环境
5.分布式链路追踪 SkyWalking 源码分析 —— DataCarrier 异步处理库
6.C++快速集成gRPC的源码阅读几种方式介绍(内含预编译库下载)

RocketMQ 5.0: POP 消费模式 原理详解 & 源码解析

       RocketMQ 5.0 引入 Pop 消费模式，用于解决 Push 消费模式存在的源码阅读痛点。Pop 消费模式将客户端的源码阅读重平衡逻辑迁移至 Broker 端，使得消息消费过程更加高效，源码阅读避免消息堆积和横向扩展能力受限的源码阅读问题。引入轻量化客户端后，源码阅读复仇源码搭配通过 gRPC 封装 Pop 消费接口，源码阅读实现了多语言支持，源码阅读无需在客户端实现重平衡逻辑。源码阅读

       Pop 消费模式的源码阅读原理在于客户端仅需发送 Pop 请求，由 Broker 端根据请求分配消息队列并返回消息。源码阅读这样可以实现多客户端同时消费同一队列，源码阅读避免单一客户端挂起导致消息堆积，源码阅读同时也消除了频繁重平衡导致的源码阅读消息积压问题。

       Pop 消费流程涉及消息拉取、源码阅读不可见时间管理、消费失败处理和消息重试等关键环节。消息拉取时，系统会为一批消息生成 CheckPoint，并在 Broker 内存中保存，以便与 ACK 消息匹配。消息不可见时间机制确保在规定时间内未被 ACK 的消息将被重试。消费失败时，客户端通过修改消息不可见时间来调整重试策略。当消费用时超过预设时间，Broker 也会将消息放入重试队列。通过定时消息，清仓指标源码Broker 可以提前消费重试队列中的消息，与 ACK 消息匹配，实现高效消息处理。

       在 Broker 端，重平衡逻辑也进行了优化。Pop 模式的重平衡允许多个消费者同时消费同一队列，通过 popShareQueueNum 参数配置额外的负载获取队列次数。Pop 消息处理涉及从队列中 POP 消息、生成 CheckPoint 用于匹配 ACK 消息、以及存储 CheckPoint 与 Ack 消息匹配。Broker 端还通过 PopBufferMergeService 线程实现内存与磁盘中的 CheckPoint 和 Ack 消息匹配，以及消息重试处理。

       源码解析部分涉及 Broker 端的重平衡逻辑、Pop 消息处理、Ack 消息处理、CheckPoint 与 Ack 消息匹配逻辑等关键组件的实现细节，这些细节展示了 RocketMQ 5.0 如何通过优化消费模式和流程设计，提升消息消费的效率和稳定性。

gRPC入坑记

       

        概要

        由于gRPC主要是谷歌开发的，由于一些已知的原因，gRPC跑demo还是不那么顺利的。单独写这一篇，主要是gRPC安装过程中的坑太多了，记录下来让大家少走弯路。

        主要的坑：

        本文讲解gRPC demo的同时，会介绍如何解决这些坑。本文对应的Github地址：blogs.com/fhy/p/.html

        (本文完)

PolarisMesh源码系列--Polaris-Go注册发现流程

       北极星是腾讯开源的一款服务治理平台，其目标在于解决分布式和微服务架构中的服务管理、流量管理、配置管理、故障容错和可观测性问题。与Spring Cloud、Apache Dubbo和Istio等其他流行技术相比，北极星提供了独特的diy气泡源码优势与服务注册发现的实现。

       从功能实现角度看，Spring Cloud、Apache Dubbo、Istio和北极星都实现了服务治理的关键功能，但它们的实现思路有所不同。Spring Cloud在Spring Boot框架基础上扩展，继承了其灵活性，能够方便地集成服务注册发现、服务治理和可观测组件。而北极星则直接从下一代架构基金会制定的服务治理标准出发，构建服务治理的模型，并基于此模型构建控制面和数据面，提供了统一的服务治理框架。

       ServiceMesh采用Sidecar模式解耦业务逻辑和服务治理逻辑，将服务治理能力下沉到基础设施，增强整体架构的灵活性。然而，这种模式在性能上有所损耗，并且对中小团队的灵活性和扩展性提出了挑战。Istio虽然提供了基于虚拟机/物理机的部署方式，但对Kubernetes的依赖较高，非Kubernetes环境的团队可能难以部署。

       北极星Mesh则通过融合和兼容多种技术，提供了一种自顶向下的正向思考过程。它先基于服务治理标准构建模型，然后围绕该模型构建控制面和数据面，听书漫画源码支持与ServiceMesh的集成，为未来发展留有空间。此外，北极星Mesh通过插件机制为框架扩展预留了灵活性。

       本文重点分析了Polaris-Go SDK在服务注册和发现过程中的技术实现和源码阅读。服务注册流程相对简单，线性操作，通过gRPC服务接口实现。服务发现流程则更为复杂，涉及本地缓存与远程服务器信息的懒加载同步，以及处理实例信息、服务信息、路由信息和限流信息等复杂内容。在服务发现过程中，gRPC接口被用于关键点的处理。

       综上所述，北极星服务治理平台通过实现服务治理标准，提供了全面的服务发现和治理方案。其客户端与服务器端的数据同步与交互设计了良好的服务治理模型和通信机制，确保了可靠性和稳定性。同时，通过插件机制，Polaris-Go SDK框架提供了灵活的扩展能力。这一分析仅是基于现有信息，如有错误或遗漏，欢迎指正。nginx代理源码

在Windows搭建gRPC C++开发环境

       在Windows下搭建gRPC C++开发环境，并开发、配置简单的服务端及.net客户端的步骤如下：

       1、下载gRPC源码：

       通过git命令行在预设目录下载gRPC 1..0版本。

       2、生成工程文件：

       使用CMake生成工程文件，需调整选项包括添加ABSL_PROPAGATE_CXX_STD为true，调整zlib依赖版本至2.8.，设置CMAKE_INSTALL_PREFIX以指定安装目录。

       3、编译、安装gRPC：

       使用Visual Studio 编译安装，设置为Release x生成ALL_BUILD和INSTALL项目，确保bin目录路径添加到环境变量Path中。

       4、创建测试工程：

       创建解决方案GRPCTest，包含c++空项目CPPServer与.Net 控制台项目DotNetClient，将protos文件夹及helloworld.proto文件导入。

       5、编译proto文件：

       使用命令行生成c++及c#文件，确保执行路径正确。

       6、生成CPPServer项目：

       将greeter_server.cc文件拷贝至CPPServer目录，并添加相关文件及目录，配置包含及附加库。

       7、生成DotNetClient：

       通过Nuget安装所需包，并将Helloworld相关文件添加到DotNetClient项目中，编辑Program.cs并编译。

       8、测试：

       运行CPPServer.exe与DotNetClient.exe进行测试，验证服务端与客户端通信是否正常。

分布式链路追踪 SkyWalking 源码分析 —— DataCarrier 异步处理库

       本文基于 SkyWalking 3.2.6 正式版，主要分享 SkyWalking Collector Remote 远程通信服务，用于 Collector 集群内部通信。Remote Module 应用于 SkyWalking 架构中，实现跨节点的流式处理。

       本文从接口到实现顺序解析 SkyWalking Collector Remote 的项目结构和组件，包括 RemoteModule、RemoteSenderService、RemoteClientService、RemoteClient、CommonRemoteDataRegisterService、RemoteDataRegisterService、RemoteDataIDGetter、RemoteDataInstanceCreatorGetter、RemoteSerializeService、RemoteDeserializeService。RemoteModule 实现 Module 抽象类，定义服务如 RemoteSenderService、RemoteDataRegisterService，创建 RemoteClient 实现远程通信。CommonRemoteDataRegisterService 用于注册数据类型对应的远程数据创建器和获取数据协议编号。

       接着，本文深入探讨基于 Google gRPC 的远程通信实现，包括 RemoteModuleGRPCProvider、GRPCRemoteSenderService、GRPCRemoteClientService、GRPCRemoteClient、RemoteCommonServiceHandler、GRPCRemoteSerializeService、GRPCRemoteDeserializeService。RemoteModuleGRPCProvider 提供基于 gRPC 的组件服务实现类，实现远程发送服务、客户端选择器和远程客户端服务。GRPCRemoteClient 实现基于 gRPC 的远程客户端，支持异步发送消息。

       最后，本文提及 SkyWalking Collector Remote 也支持基于 Kafka 的远程通信实现，但目前暂未完成。为了进一步学习 SkyWalking 的分布式链路追踪和远程通信机制，读者可以关注公众号芋道源码，获取 Java 源码解析、原理讲解、面试题、学习指南，回复「书籍」领取 Java 从入门到架构的 本书籍，加入技术群讨论 Java、后端、架构相关技术。

C++快速集成gRPC的几种方式介绍(内含预编译库下载)

       集成gRPC到C++的途径多种多样，但每种方法都需要额外的步骤和资源投入。本文将对不同方式的集成进行介绍，并提供预编译库下载链接，帮助开发者简化步骤，更快上手。

       官方提供的gRPC安装方式包括源码编译等，适合深入理解gRPC内部结构的开发者。对于希望快速集成gRPC的初学者，推荐直接使用预编译库。

       推荐使用vcpkg进行预编译库的下载。vcpkg能够简化库的下载与配置过程，极大降低集成难度。若条件允许，自行下载与编译库以加深对gRPC的理解。

       对于Windows用户，推荐下载名为grpc-vcpkg-repo-windows-x.7z的预编译库。在使用cmake构建时，需设置DCMAKE_TOOLCHAIN_FILE环境变量。针对使用Clion的开发者，vcpkg.cmake工具能自动完成大部分配置，快速搭建开发环境。

       对于基于包管理系统的Linux发行版用户，推荐使用系统包管理器安装gRPC，同时可以选择下载预编译库以简化安装过程。

       对于Linux ARM版本用户，推荐下载名为grpc-vcpkg-repo-linux-arm.7z的预编译库。请自行确保编译环境满足库的运行需求。若需要其他特定内核版本或系统环境支持的编译服务，可联系作者微信lnl，费用为一杯咖啡。

C++_GRPC使用讲解-编译，开发环境搭建

       特别强调，grpc对gcc/g++版本有要求，需6.3及以上，低于此版本需升级。首先，确保安装必要的依赖工具。

       1. 安装依赖工具

       如cmake低于3.或gcc/g++低于7.0，请按文档进行更新。cmake推荐安装最新版本（最低3.）。

       卸载旧版CMake后，解压下载的cmake包，bin目录包含cmake家族工具。

       创建软链接，通常选择/opt或/usr路径。

       2. gcc/g++升级

       务必升级到6.3以上，版本7.0以上无需重复。安装7.0版本，确认版本显示为7.5。

       3. 编译grpc

       推荐使用cmake编译，对网络有依赖。如果无法访问外部资源，可使用我提供的1..2版本压缩包编译，否则从源码开始下载。

       下载源码，选择v1..2或其他相应版本。

       编译过程中会自动处理protobuf依赖，无需单独安装。

       编译完成后，测试helloworld服务和客户端。

       4. 辅助工具-scp命令

       scp命令用于服务器间文件传输，提供下载和上传文件/目录的功能，但非课程重点。

       下载：scp username@ip:/path/to/file local/path

       上传：scp local/path username@ip:/path/to/destination

       下载目录：scp -r username@ip:/path/to/directory local/path

       上传目录：scp -r local/path username@ip:/path/to/destination

       获取grpc-v1..2源码包，可通过群组获取。