【来啦跑腿源码】【源码redis】【ffi源码】rpc源码分析

2024-11-24 22:08:32 来源:医学图像 源码 分类:综合

1.TPRC-cpp 发送包流程剖析
2.rpcgenRpcgen的码分部分选项
3.Tars-Java网络编程源码分析
4.开源RPC项目Apache Thrift
5.Dubbo源码:跟着Demo学习基本使用

rpc源码分析

TPRC-cpp 发送包流程剖析

       TRPC官网对客户端发送包的流程有简要描述,但细节不够清晰。码分以下将通过分析Hello World示例中的码分源代码,来详细解析发送流程,码分不做深入分析,码分主要目的码分来啦跑腿源码是梳理流程。

       一、码分官网描述

       二、码分源代码追踪

       客户端代码位于TRPC-CPP/examples/helloworld/test/ fiber_client.cc文件中,码分核心代码如下:

       1、码分解析文件获取配置信息

       对应函数为ParseClientConfig,码分配置信息主要分为三种:

       2、码分RunInTrpcRuntime

       主要完成的码分是日志初始化以及执行FiberRuntime程序,对应代码如下:

       3、码分RunInFiberRuntime

       主要做的码分工作就是初始化框架运行环境InitFrameworkRuntime以及开启协程进行插件初始化以及传入的Run函数执行。

       InitFrameworkRuntime主要代码如下,主要完成的工作是设定运行环境类型(使用Fiber)、内存池创建、时间轮创建并开启、初始化Fiber环境(fiber调度组的初始化并启动协程模型)、配置调度组对应的Reactor。

       RegisterPlugins主要代码如下,主要完成的就是Naming、Tracing、Loging、Codec等等插件的注册、初始化以及开启运行。

       4、请求构建与发送

       status = func();调用main函数中传入的源码redisRun函数,请求构建与发送,代码如下:

       核心在于调用proxy->SayHello进行请求的发送,那么我们就再深入一层

       原来是调用了UnaryInvoke函数,那么continue

       这部分代码是在ServiceProxy中,也就对应的官网的流程,这部分主要将请求写入上下文对象中,并且运行过滤器(这里其实就是文档中所说的过滤器埋点,究其原理其实就是运行已注册再当前埋点的函数),然后调用了UnaryInvokeImp,继续追踪~~~

       这部分代码将所使用的协议写入了上下文对象,然后又调用了ServiceProxy::UnaryInvoke,Come on !

       同样此函数首先执行了过滤器(埋点是CLIENT_PRE_SEND_MSG),然后又调用了UnaryTransportInvoke,在已知传输数据、传输协议的情况下,进行下一步^_^

       使用之前已经注册的codec编码器对请求内容进行编码与请求头封装,进入codec_->ZeroCopyEncode,编码完成后使用transport对象进行发送与接收transport_->SendRecv

       通过目标IP地址以及端口寻找到对应的FiberConnectorGroup组,通过调用组的SendRecv,进行发送

       获取connection对象(可深入追踪,分为短链接和长连接连接池复用),获取成功调用SendReqMsg进行发送

       首先进行了用户过滤器判定,有的话进行用户过滤器调用,后面进行IoMessage信息封装,调用Send进行信息发送

       状态判定居多,核心在于FlushWritingBuffer函数

       同样进行了处理,核心在于FlushTo

       其他复杂的处理暂时不关注,这里发送的核心函数是io->Writev

       到此,调用系统调用将信息写入Fd,ffi源码即发出完成。

       整个过程确实比较长,一层有一层的嵌套封装,进而实现解耦,这里其实并不仅仅是发送,也有接收,最开始的UnaryInvoke>(context, request, response);函数已经将response以指针的形式传递进取,后续发送数据并收到对方发来的数据是,进行层层赋值,最终得到了我们接收到的返回信息。

       发送信息层层函数递进,接收信息层层函数退出。

       大概就是这样,下面去看下tcp连接池的设计~~~~。

rpcgenRpcgen的部分选项

       RPCgen 是一个用于生成远程过程调用(RPC)相关的源代码的工具。它提供了多种选项,以便用户根据自己的需求自定义生成的代码。以下是一些主要选项及其功能的简要介绍:

       -a 选项用于生成所有源程序,包括客户端和服务器端的源代码,这使得用户可以完整地构建整个RPC系统。

       -C 选项指定了生成的代码遵循 ANSI C 标准,这对于确保代码在不同编译器之间的兼容性非常有用。

       -l 选项生成客户端 stubs,即客户端调用的代理代码,用于与服务器端进行交互。

       -m 选项生成服务器 stubs,但不生成 main 函数,用户可以自行添加 main 函数以完成程序启动。emumd源码

       -s 选项结合 -C 和 -s tcp 参数,生成服务器 stubs 和 main 函数,同时使用 TCP 协议,使得代码更加完整。

       -h 选项生成头文件,这些文件包含了定义和声明,对于构建过程至关重要。

       -Sc 选项生成骨架客户端程序,用户需要手动添加额外的代码以完成客户端的实现。

       -Ss 选项生成服务器程序,同样,用户需要手动添加代码以完成服务器端的实现。

       使用 Rpcgen -C file.x 命令,可以生成 file_xdr.c、file.h、Makefile.file、file_svc.c 和 file_clnt.c 这五个文件。

       若使用 Rpcgen -C -a file.x 命令,除了生成上述五个文件之外,还会额外生成 file_server.c 和 file_client.c 这两个文件,从而提供更加全面的客户端和服务器端源代码。

       这些选项的使用使得 RPCgen 成为构建复杂 RPC 系统的有力工具,用户可以根据自己的需求灵活配置生成的代码结构。

扩展资料

       rpcgen可以自动生成RPC服务器程序的大多数代码,它的输入为一个规格说明文件,它的输出为一个C语言的源程序。规格文件(*.x)包含常量、全局数据类型以及远程过程的phpjs源码声明。Rpcgen产生的代码包含了实现客户机和服务器程序所需要的大部分源代码。他包括参数整理、发送RPC报文、参数和结果的外部数据表示以及本地数据表示的转换等。不过在由rpcgen生成的源文件中,没有过程的具体实现,所以程序员必须要手工编辑这些文件,实现这些过程。

Tars-Java网络编程源码分析

       Tars框架基本介绍

       Tars是腾讯开源的高性能RPC框架,支持多种语言,包括C++、Java、PHP、Nodejs、Go等。它提供了一整套解决方案,帮助开发者快速构建稳定可靠的分布式应用,并实现服务治理。

       Tars部署服务节点超过一千个,经过线上每日一百多亿消息推送量的考验。文章将从Java NIO网络编程原理和Tars使用NIO进行网络编程的细节两方面进行深入探讨。

       Java NIO原理介绍

       Java NIO提供了新的IO处理方式,它是面向缓冲区而不是字节流,且是非阻塞的,支持IO多路复用。

       Channel类型包括SocketChannel和ServerSocketChannel。ServerSocketChannel接受新连接,accept()方法会返回新连接的SocketChannel。Buffer类型用于数据读写,分配、读写、操作等。

       Selector用于监听多个通道的事件,单个线程可以监听多个数据通道。

       Tars NIO网络编程

       Tars采用多reactor多线程模型,核心类之间的关系明确。Java NIO服务端开发流程包括创建ServerSocketChannel、Selector、注册事件、循环处理IO事件等。

       Tars客户端发起请求流程包括创建通信器、工厂方法创建代理、初始化ServantClient、获取SelectorManager等。

       Tars服务端启动步骤包括初始化selectorManager、开启监听的ServerSocketChannel、选择reactor线程处理事件等。

       Reactor线程启动流程涉及多路复用器轮询检查事件、处理注册队列、获取已选键集中就绪的channel、更新Session、分发IO事件处理、处理注销队列等。

       IO事件分发处理涉及TCP和UDPAccepter处理不同事件,以及session中网络读写的详细处理过程。

       总结

       文章详细介绍了Java NIO编程原理和Tars-Java 1.7.2版本网络编程模块源码实现。最新的Tars-Java master分支已将网络编程改用Netty,学习NIO原理对掌握网络编程至关重要。

       了解更多关于Tars框架的介绍,请访问tarscloud.org。本文源码分析地址在github.com/TarsCloud/Ta...

开源RPC项目Apache Thrift

       Apache Thrift是一个用于开发跨平台、跨语言服务的软件框架。它提供了一个代码生成引擎,构建的服务可在多种语言间无缝高效运行,支持如C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml, 和 Delphi等语言。Thrift的精髓在于其代码生成能力,使得服务开发完成后,可自动转换生成对应语言的源代码,便于多种语言间的调用。

       安装和使用Thrift非常简单,对于使用Mac系统的用户,可以通过命令行使用`brew install thrift`完成安装。创建Thrift文件是使用Thrift的基本方式,定义服务接口和数据类型。执行命令后,Thrift生成的源代码能够被多种语言的客户端和服务器直接使用。例如,生成的Java代码中,一个简单的Thrift文件可以自动转换为包含数百行代码的类文件,如`UserProfile.java`,包含UserProfile结构的完整实现。

       Thrift提供了丰富的序列化和反序列化功能,这在RPC(远程过程调用)和网络通信中尤为重要。Thrift定义了一套自定义的协议和结构,以支持跨语言服务的通信。这些结构和协议的生成是基于语言无关的设计,确保了Thrift的灵活性和兼容性。Thrift的服务接口由TBase继承,提供基础方法,TStruct对应结构体,TField用于描述字段,而TTransport和TProtocol则分别负责处理输入输出和协议处理。

       Thrift中的序列化实现是其关键特性之一,通过TProtocol类及其子类,实现了对Thrift类型和Java类型的序列化和反序列化。这使得Thrift能够跨语言传输数据,无需考虑底层数据格式的差异。在Thrift中,序列化和反序列化过程由Scheme接口及其实现(如StandardScheme和TupleScheme)来负责。SchemeFactory接口则用于获取适当的序列化方案。

       Thrift的使用不局限于Java语言,Python、C#等语言同样支持Thrift服务的开发和调用。以Python为例,Thrift生成的代码需要依赖第三方包,但Thrift的通用接口(如TBase)确保了与语言无关的交互方式。Thrift的Schema接口定义了序列化和反序列化的基本逻辑,通过不同实现(如StandardScheme和TupleScheme)提供不同的优化策略,如在读取时先确定字段列表以减少读取字节数。

       Thrift在实际应用中,如Apache Hive的MetaStore和Server2服务中得到了广泛使用。在Hive中,Thrift接口通过特定的实现(如ThriftBinaryCLIService)来支持服务调用。通过Thrift接口,Hive能够提供对外的REST服务或RPC服务,使外部应用程序能够通过标准协议(如HTTP或TCP)与Hive进行交互。

       理解Thrift的关键在于其对代码生成的支持和对序列化、反序列化的高效处理,使得跨语言、跨平台的服务开发和调用变得简单而高效。Thrift不仅提供了强大的序列化能力,还为服务提供了一套统一的协议和结构定义,促进了不同语言服务的互操作性。

Dubbo源码:跟着Demo学习基本使用

       Dubbo 是一款由阿里开源的高性能轻量级RPC框架,因其在各大企业如阿里、京东、小米、携程等的广泛应用而备受瞩目。本文将通过一个基础Demo,带你了解Dubbo的基本使用步骤。

       首先,你需要设置一个ZooKeeper服务器作为服务注册中心。ZooKeeper是Dubbo生产环境中的常见选择。下载并解压zookeeper-3.4..tar.gz包,然后修改conf/zoo.cfg配置,启动ZooKeeper服务。

       接下来,定义业务接口,即Dubbo Provider和Consumer之间的约定,如dubbo-demo-interface模块中的DemoService接口。它包含sayHello()和sayHelloAsync()方法。

       在dubbo-demo-xml模块中,提供了基于Spring XML的Provider和Consumer实现。在Provider端的dubbo-provider.xml中,配置DemoServiceImpl为Spring Bean,并暴露到ZooKeeper。在Consumer端的dubbo-consumer.xml中,配置ZooKeeper地址,并使用dubbo:reference引入DemoService,以便远程调用其提供的服务。

       启动Consumer端的Application,通过ClassPathXmlApplicationContext加载配置文件,即可实现服务的调用。如果你有任何问题或需求,欢迎留言互动,共同探讨。

       本文摘自公众号“勾勾的Java宇宙”,关注的朋友们可以分享你的学习需求和建议。

本文地址:http://5o.net.cn/html/84c124598670.html 欢迎转发