1.Dubbo调用超时那些事儿
2.Dubbo源码:跟着Demo学习基本使用
3.Java教程:dubbo源码解析-网络通信
4.干货 | Dubbo 接口测试技术,码跟测试开发进阶必备(附源码)
5.Dubbo源码解析:网络通信
Dubbo调用超时那些事儿
其实之前很早就看过Dubbo源码中关于超时这部分的码跟处理逻辑,但是码跟没有记录下来,最近在某脉上看到有人问了这个问题,码跟想着再回顾一下。码跟开始从dubbo的码跟源码是自己的有什么意义请求开始,看看dubbo(2.6.6)在超时这块是码跟怎么处理的:
com.alibaba.dubbo.remoting.exchange.support.header.HeaderExchangeChannel#request(java.lang.Object, int)@Overridepublic ResponseFuture request(Object request, int timeout) throws RemotingException { if (closed) { throw new RemotingException(this.getLocalAddress(), null, "Failed to send request " + request + ", cause: The channel " + this + " is closed!");}// create request.Request req = new Request();req.setVersion(Version.getProtocolVersion());req.setTwoWay(true);req.setData(request);DefaultFuture future = new DefaultFuture(channel, req, timeout);try { channel.send(req);} catch (RemotingException e) { future.cancel();throw e;}return future;}DefaultFuture从返回值ResponseFuture类型可以看出,这是码跟一个异步方法(不等同于Dubbo的异步调用)。那么调用超时的码跟关键可以从ResponseFuture来看:
public interface ResponseFuture { Object get() throws RemotingException;Object get(int timeoutInMillis) throws RemotingException;void setCallback(ResponseCallback callback);boolean isDone();}可以看到这是一个接口,从request方法可以得知实现类是码跟DefaultFuture,从构造函数入手:
public DefaultFuture(Channel channel,码跟 Request request, int timeout) { this.channel = channel;this.request = request;this.id = request.getId();this.timeout = timeout > 0 ? timeout : channel.getUrl().getPositiveParameter(Constants.TIMEOUT_KEY, Constants.DEFAULT_TIMEOUT);// put into waiting map.FUTURES.put(id, this);CHANNELS.put(id, channel);}可以得知每一个DefaultFuture都有一个id,并且等于requestId,码跟timeout是码跟从url中获取的配置,没有时默认ms。码跟
从代码的码跟注释可以看到FUTURES这个map应该就是关键,是一个waiting map。
DefaultFuture中还有一个方法:
public static void received(Channel channel, Response response) { try { DefaultFuture future = FUTURES.remove(response.getId());if (future != null) { future.doReceived(response);} else { logger.warn("The timeout response finally returned at "+ (new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS").format(new Date()))+ ", response " + response+ (channel == null ? "" : ", channel: " + channel.getLocalAddress()+ " -> " + channel.getRemoteAddress()));}} finally { CHANNELS.remove(response.getId());}}可以看到调用的地方为:
com.alibaba.dubbo.remoting.exchange.support.header.HeaderExchangeHandler#received
@Overridepublic void received(Channel channel, Object message) throws RemotingException { //省略一些代码} else if (message instanceof Response) { handleResponse(channel, (Response) message);//省略一些代码}}com.alibaba.dubbo.remoting.exchange.support.header.HeaderExchangeHandler#handleResponse
static void handleResponse(Channel channel, Response response) throws RemotingException { if (response != null && !response.isHeartbeat()) { DefaultFuture.received(channel, response);}}回到DefaultFuture.received,可以看到通过Response id从FUTURES中拿了一个DefaultFuture出来,然后调用了doReceived方法,也就是说Response id和Request id 相同。结下来看看doReceived做了什么:
private void doReceived(Response res) { lock.lock();try { response = res;if (done != null) { done.signal();}} finally { lock.unlock();}if (callback != null) { invokeCallback(callback);}}首先是加锁,然后通过唤醒了阻塞在Condition上的线程。看看什么地方会阻塞在done这个条件上:
@Overridepublic Object get(int timeout) throws RemotingException { if (timeout <= 0) { timeout = Constants.DEFAULT_TIMEOUT;}if (!isDone()) { long start = System.currentTimeMillis();lock.lock();try { while (!isDone()) { done.await(timeout, TimeUnit.MILLISECONDS);if (isDone() || System.currentTimeMillis() - start > timeout) { break;}}} catch (InterruptedException e) { throw new RuntimeException(e);} finally { lock.unlock();}if (!isDone()) { throw new TimeoutException(sent > 0, channel, getTimeoutMessage(false));}}return returnFromResponse();}是get方法,get方法确实在request请求后被调用:
(Result) currentClient.request(inv, timeout).get()可以看到get方法的大致逻辑为,先获取锁,秀可可源码然后循环判断isDone,并阻塞等到条件,当条件超时,如果任务完成,或者超过timeout结束循环,接着判断isDone,如果超时抛出TimeoutException。并且通过sent(request请求时间)是否>0()来判断是clientSide还是serverSide超时。
isDone逻辑如下:
@Overridepublic boolean isDone() { return response != null;}如果是正常Response,也有可能是超时的现象,可以看到get方法最后调用了一个函数:
public interface ResponseFuture { Object get() throws RemotingException;Object get(int timeoutInMillis) throws RemotingException;void setCallback(ResponseCallback callback);boolean isDone();}0TIMEOUT SIDESERVER_TIMEOUT(服务端超时): 这个就是正常的我们消费端请求一个RPC接口,服务端由于性能等一些原因处理时间超过了timeout配置时间。
CLIENT_TIMEOUT:我们可以看到是通过sent(上面有说sent>0)这个来判断是否clientTimeout,那么这个sent什么时候改变呢?就在发送请求的地方:
public interface ResponseFuture { Object get() throws RemotingException;Object get(int timeoutInMillis) throws RemotingException;void setCallback(ResponseCallback callback);boolean isDone();}1也就是说handler.sent一旦调用成功返回,那么就不算clientSide Timeout了。那么CLIENT_TIMEOUT大概率就是由于client端网络,系统等原因超时。
原文:/post/Dubbo源码:跟着Demo学习基本使用
Dubbo 是一款由阿里开源的高性能轻量级RPC框架,因其在各大企业如阿里、京东、小米、携程等的广泛应用而备受瞩目。本文将通过一个基础Demo,带你了解Dubbo的opendaylight源码解读基本使用步骤。
首先,你需要设置一个ZooKeeper服务器作为服务注册中心。ZooKeeper是Dubbo生产环境中的常见选择。下载并解压zookeeper-3.4..tar.gz包,然后修改conf/zoo.cfg配置,启动ZooKeeper服务。
接下来,定义业务接口,即Dubbo Provider和Consumer之间的约定,如dubbo-demo-interface模块中的DemoService接口。它包含sayHello()和sayHelloAsync()方法。
在dubbo-demo-xml模块中,提供了基于Spring XML的Provider和Consumer实现。在Provider端的dubbo-provider.xml中,配置DemoServiceImpl为Spring Bean,并暴露到ZooKeeper。在Consumer端的dubbo-consumer.xml中,配置ZooKeeper地址,并使用dubbo:reference引入DemoService,以便远程调用其提供的服务。
启动Consumer端的Application,通过ClassPathXmlApplicationContext加载配置文件,即可实现服务的调用。如果你有任何问题或需求,hessian 4.0.38 源码欢迎留言互动,共同探讨。
本文摘自公众号“勾勾的Java宇宙”,关注的朋友们可以分享你的学习需求和建议。
Java教程:dubbo源码解析-网络通信
在之前的内容中,我们探讨了消费者端服务发现与提供者端服务暴露的相关内容,同时了解到消费者端通过内置的负载均衡算法获取合适的调用invoker进行远程调用。接下来,我们聚焦于远程调用过程,即网络通信的细节。
网络通信位于Remoting模块中,支持多种通信协议,包括但不限于:dubbo协议、rmi协议、hessian协议、ty进行网络通讯,NettyClient.doOpen()方法中可以看到Netty的相关类。序列化接口包括但不限于:Serialization接口、Hessian2Serialization接口、Kryo接口、FST接口等。
序列化方式如Kryo和FST,性能往往优于hessian2,能够显著提高序列化性能。lighthttpd源码分析这些高效Java序列化方式的引入,可以优化Dubbo的序列化过程。
在配置Dubbo RPC时,引入Kryo和FST非常简单,只需在RPC的XML配置中添加相应的属性即可。
关于服务消费方发送请求,Dubbo框架定义了私有的RPC协议,消息头和消息体分别用于存储元信息和具体调用消息。消息头包括魔数、数据包类型、消息体长度等。消息体包含调用消息,如方法名称、参数列表等。请求编码和解码过程涉及编解码器的使用,编码过程包括消息头的写入、序列化数据的存储以及长度的写入。解码过程则涉及消息头的读取、序列化数据的解析以及调用方法名、参数等信息的提取。
提供方接收请求后,服务调用过程包含请求解码、调用服务以及返回结果。解码过程在NettyHandler中完成,通过ChannelEventRunnable和DecodeHandler进一步处理请求。服务调用完成后,通过Invoker的invoke方法调用服务逻辑。响应数据的编码与请求数据编码过程类似,涉及数据包的构造与发送。
服务消费方接收调用结果后,首先进行响应数据解码,获得Response对象,并传递给下一个处理器NettyHandler。处理后,响应数据被派发到线程池中,此过程与服务提供方接收请求的过程类似。
在异步通信场景中,Dubbo在通信层面为异步操作,通信线程不会等待结果返回。默认情况下,RPC调用被视为同步操作。Dubbo通过CompletableFuture实现了异步转同步操作,通过设置异步返回结果并使用CompletableFuture的get()方法等待完成。
对于异步多线程数据一致性问题,Dubbo使用编号将响应对象与Future对象关联,确保每个响应对象被正确传递到相应的Future对象。通过在创建Future时传入Request对象,可以获取调用编号并建立映射关系。线程池中的线程根据Response对象中的调用编号找到对应的Future对象,将响应结果设置到Future对象中,供用户线程获取。
为了检测Client端与Server端的连通性,Dubbo采用双向心跳机制。HeaderExchangeClient初始化时,开启两个定时任务:发送心跳请求和处理重连与断连。心跳检测定时任务HeartbeatTimerTask确保连接空闲时向对端发送心跳包,而ReconnectTimerTask则负责检测连接状态,当判定为超时后,客户端选择重连,服务端采取断开连接的措施。
干货 | Dubbo 接口测试技术,测试开发进阶必备(附源码)
Dubbo接口测试是霍格沃兹测试学院的特色课程,全网深度领先。Dubbo是一个由阿里巴巴开源的RPC解决方案,因其理念与微服务高度契合,近年来受到广泛关注,用户包括京东、当当、去哪儿等大公司。 Dubbo支持RPC场景,其架构设计简洁明了。官方提供了一个易于使用的Demo来展示Dubbo协议的使用,操作简单且功能强大。 下面介绍几种常用的Dubbo接口测试方法: 1. 基于telnet的简单调试接口:Dubbo服务支持简单的telnet交互,可用于快速验证接口的可用性。 2. 传统的基于XML配置的测试方法:通过创建XML配置文件,并将其放置在resources目录下,可以进行测试。 3. 基于API的测试方法:除了XML配置,官方还提供了一种直接通过API进行配置的方式,这种测试方法更加灵活。 4. 泛化调用:在没有API接口或模型类元的情况下,泛化接口调用方式非常有用。这通常用于集成框架,如创建通用服务测试框架,可通过GenericService调用所有服务实现。尽管泛化方法可能需要依赖研发提供的Dubbo接口的jar包,但它也存在一些缺点,如仍然需要jar包或文档来分析接口调用参数信息。 5. 使用泛化方法时,可能只需借助如asm之类的字节码分析框架,即可自动生成接口测试用例模板,减少依赖。 注意以下技术关注点:一线名企大厂内推通道
史上最全软件测试资料文档下载
如何从一个只会点鼠标的手工测试变成测试开发
请关注霍格沃兹测试学院官方机构号:测吧 @测吧 推荐阅读:测试开发是什么?为什么现在那么多公司都要招聘测试开发?
软件测试的岗位会越来越少吗?
软件测试真的干到就干不动了吗?
Dubbo源码解析:网络通信
在之前的章节中,我们探讨了消费者如何通过内置的负载均衡找到服务提供者以及服务暴露的原理。本节重点关注的是消费者如何通过网络与提供者进行远程调用的详细过程,涉及Dubbo框架的网络通信机制。
网络通信主要在Dubbo的Remoting模块中实现,Dubbo支持多种协议,包括自定义的Dubbo协议、RMI、Hessian、HTTP、WebService、Thrift、REST、gRPC、Memcached和Redis等,每种协议有其特点。例如,Dubbo协议利用NIO异步通信,适合处理大量并发小数据量的场景,而RMI采用阻塞式短连接,适合Java RMI应用。
序列化在通信中起着至关重要的作用,Dubbo支持多种序列化方式,如Hessian2、Java、Fastjson等,其中Hessian2是默认选择。近年来,高效序列化技术如Kryo和FST不断涌现,它们的性能优于Hessian2,可通过配置引入以优化性能。
数据在网络传输中需要解决粘包拆包问题,Dubbo通过定义私有RPC协议,消息头包含魔数、类型和长度等信息,以确保数据的正确接收。在消费者发送请求时,首先会生成一个封装了方法和参数的Request对象,经过编码后通过Netty发送。提供方则通过Netty接收请求,解码后执行服务逻辑并返回Response对象。
双向通信中,服务提供方和消费方都通过心跳机制来检查连接状态,客户端和服务端都设有定时任务,确保数据的及时交互。在异步调用中,Dubbo通过CompletableFuture实现从异步到同步的转换,并处理并发调用时的数据一致性问题。