`
kavy
  • 浏览: 891146 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Alibaba Dubbo框架同步调用原理分析

 
阅读更多
由于Dubbo底层采用Socket进行通信,自己对通信理理论也不是很清楚,所以顺便把通信的知识也学习一下。

n  通信理论
计算机与外界的信息交换称为通信。基本的通信方法有并行通信和串行通信两种。

1.一组信息(通常是字节)的各位数据被同时传送的通信方法称为并行通信。并行通信依靠并行I/O接口实现。并行通信速度快,但传输线根数多,只适用于近距离(相距数公尺)的通信。
2.一组信息的各位数据被逐位顺序传送的通信方式称为串行通信。串行通信可通过串行接口来实现。串行通信速度慢,但传输线少,适宜长距离通信。
串行通信按信息传送方向分为以下3种:

1)   单工
只能一个方向传输数据


【原创】Alibaba Dubbo框架同步调用原理分析-1 - sun - 学无止境
2)   半双工
信息能双向传输,但不能同时双向传输


【原创】Alibaba Dubbo框架同步调用原理分析-1 - sun - 学无止境
3)   全双工
能双向传输并且可以同时双向传输


【原创】Alibaba Dubbo框架同步调用原理分析-1 - sun - 学无止境
n  Socket
Socket 是一种应用接口, TCP/IP 是网络传输协议,虽然接口相同, 但是不同的协议会有不同的服务性质。创建Socket 连接时,可以指定使用的传输层协议,Socket 可以支持不同的传输层协议(TCP 或UDP ),当使用TCP 协议进行连接时,该Socket 连接就是一个TCP 连接。Soket 跟TCP/IP 并没有必然的联系。Socket 编程接口在设计的时候,就希望也能适应其他的网络协议。所以,socket 的出现只是可以更方便的使用TCP/IP 协议栈而已。

引自:http://hi.baidu.com/lewutian/blog/item/b28e27fd446d641d09244d08.html

上一个通信理论其实是想说Socket(TCP)通信是全双工的方式

n  Dubbo远程同步调用原理分析
从Dubbo开源文档上了解到一个调用过程如下图

http://code.alibabatech.com/wiki/display/dubbo/User+Guide#UserGuide-APIReference

另外文档里有说明:Dubbo缺省协议采用单一长连接和NIO异步通讯,适合于小数据量大并发的服务调用,以及服务消费者机器数远大于服务提供者机器数的情况。


【原创】Alibaba Dubbo框架同步调用原理分析-1 - sun - 学无止境
Dubbo缺省协议,使用基于mina1.1.7+hessian3.2.1的tbremoting交互。

连接个数:单连接
连接方式:长连接
传输协议:TCP
传输方式:NIO异步传输
序列化:Hessian二进制序列化
适用范围:传入传出参数数据包较小(建议小于100K),消费者比提供者个数多,单一消费者无法压满提供者,尽量不要用dubbo协议传输大文件或超大字符串。
适用场景:常规远程服务方法调用

通常,一个典型的同步远程调用应该是这样的:
【原创】Alibaba Dubbo框架同步调用原理分析-1 - sun - 学无止境
1, 客户端线程调用远程接口,向服务端发送请求,同时当前线程应该处于“暂停“状态,即线程不能向后执行了,必需要拿到服务端给自己的结果后才能向后执行
2, 服务端接到客户端请求后,处理请求,将结果给客户端
3, 客户端收到结果,然后当前线程继续往后执行

Dubbo里使用到了Socket(采用apache mina框架做底层调用)来建立长连接,发送、接收数据,底层使用apache mina框架的IoSession进行发送消息。

查看Dubbo文档及源代码可知,Dubbo底层使用Socket发送消息的形式进行数据传递,结合了mina框架,使用IoSession.write()方法,这个方法调用后对于整个远程调用(从发出请求到接收到结果)来说是一个异步的,即对于当前线程来说,将请求发送出来,线程就可以往后执行了,至于服务端的结果,是服务端处理完成后,再以消息的形式发送给客户端的。于是这里出现了2个问题:
当前线程怎么让它“暂停”,等结果回来后,再向后执行?
正如前面所说,Socket通信是一个全双工的方式,如果有多个线程同时进行远程方法调用,这时建立在client server之间的socket连接上会有很多双方发送的消息传递,前后顺序也可能是乱七八糟的,server处理完结果后,将结果消息发送给client,client收到很多消息,怎么知道哪个消息结果是原先哪个线程调用的?
分析源代码,基本原理如下:
client一个线程调用远程接口,生成一个唯一的ID(比如一段随机字符串,UUID等),Dubbo是使用AtomicLong从0开始累计数字的
将打包的方法调用信息(如调用的接口名称,方法名称,参数值列表等),和处理结果的回调对象callback,全部封装在一起,组成一个对象object
向专门存放调用信息的全局ConcurrentHashMap里面put(ID, object)
将ID和打包的方法调用信息封装成一对象connRequest,使用IoSession.write(connRequest)异步发送出去
当前线程再使用callback的get()方法试图获取远程返回的结果,在get()内部,则使用synchronized获取回调对象callback的锁, 再先检测是否已经获取到结果,如果没有,然后调用callback的wait()方法,释放callback上的锁,让当前线程处于等待状态。
服务端接收到请求并处理后,将结果(此结果中包含了前面的ID,即回传)发送给客户端,客户端socket连接上专门监听消息的线程收到消息,分析结果,取到ID,再从前面的ConcurrentHashMap里面get(ID),从而找到callback,将方法调用结果设置到callback对象里。
监听线程接着使用synchronized获取回调对象callback的锁(因为前面调用过wait(),那个线程已释放callback的锁了),再notifyAll(),唤醒前面处于等待状态的线程继续执行(callback的get()方法继续执行就能拿到调用结果了),至此,整个过程结束。
这里还需要画一个大图来描述,后面再补了
需要注意的是,这里的callback对象是每次调用产生一个新的,不能共享,否则会有问题;另外ID必需至少保证在一个Socket连接里面是唯一的。
现在,前面两个问题已经有答案了,
当前线程怎么让它“暂停”,等结果回来后,再向后执行?
     答:先生成一个对象obj,在一个全局map里put(ID,obj)存放起来,再用synchronized获取obj锁,再调用obj.wait()让当前线程处于等待状态,然后另一消息监听线程等到服务端结果来了后,再map.get(ID)找到obj,再用synchronized获取obj锁,再调用obj.notifyAll()唤醒前面处于等待状态的线程。
正如前面所说,Socket通信是一个全双工的方式,如果有多个线程同时进行远程方法调用,这时建立在client server之间的socket连接上会有很多双方发送的消息传递,前后顺序也可能是乱七八糟的,server处理完结果后,将结果消息发送给client,client收到很多消息,怎么知道哪个消息结果是原先哪个线程调用的?
     答:使用一个ID,让其唯一,然后传递给服务端,再服务端又回传回来,这样就知道结果是原先哪个线程的了。


关键代码:

com.taobao.remoting.impl.DefaultClient.java
//同步调用远程接口
public Object invokeWithSync(Object appRequest, RequestControl control) throws RemotingException, InterruptedException {
        byte protocol = getProtocol(control);
        if (!TRConstants.isValidProtocol(protocol)) {
            throw new RemotingException("Invalid serialization protocol [" + protocol + "] on invokeWithSync.");
        }
        ResponseFuture future = invokeWithFuture(appRequest, control);
        return future.get();  //获取结果时让当前线程等待,ResponseFuture其实就是前面说的callback
}
public ResponseFuture invokeWithFuture(Object appRequest, RequestControl control) {
         byte protocol = getProtocol(control);
         long timeout = getTimeout(control);
         ConnectionRequest request = new ConnectionRequest(appRequest);
         request.setSerializeProtocol(protocol);
         Callback2FutureAdapter adapter = new Callback2FutureAdapter(request);
         connection.sendRequestWithCallback(request, adapter, timeout);
         return adapter;
}


Callback2FutureAdapter implements ResponseFuture
public Object get() throws RemotingException, InterruptedException {
synchronized (this) {  // 旋锁
    while (!isDone) {  // 是否有结果了
wait(); //没结果是释放锁,让当前线程处于等待状态
    }
}
if (errorCode == TRConstants.RESULT_TIMEOUT) {
    throw new TimeoutException("Wait response timeout, request["
    + connectionRequest.getAppRequest() + "].");
}
else if (errorCode > 0) {
    throw new RemotingException(errorMsg);
}
else {
    return appResp;
}
}
客户端收到服务端结果后,回调时相关方法,即设置isDone = true并notifyAll()
public void handleResponse(Object _appResponse) {
         appResp = _appResponse; //将远程调用结果设置到callback中来
         setDone();
}
public void onRemotingException(int _errorType, String _errorMsg) {
         errorCode = _errorType;
         errorMsg = _errorMsg;
         setDone();
}
private void setDone() {
         isDone = true;
         synchronized (this) { //获取锁,因为前面wait()已经释放了callback的锁了
             notifyAll(); // 唤醒处于等待的线程
         }
}


com.taobao.remoting.impl.DefaultConnection.java

// 用来存放请求和回调的MAP
private final ConcurrentHashMap<Long, Object[]> requestResidents;

//发送消息出去
void sendRequestWithCallback(ConnectionRequest connRequest, ResponseCallback callback, long timeoutMs) {
         long requestId = connRequest.getId();
         long waitBegin = System.currentTimeMillis();
         long waitEnd = waitBegin + timeoutMs;
         Object[] queue = new Object[4];
         int idx = 0;
         queue[idx++] = waitEnd;
         queue[idx++] = waitBegin;   //用于记录日志
         queue[idx++] = connRequest; //用于记录日志
         queue[idx++] = callback;
         requestResidents.put(requestId, queue); // 记录响应队列
         write(connRequest);

         // 埋点记录等待响应的Map的大小
         StatLog.addStat("TBRemoting-ResponseQueues", "size", requestResidents.size(),
                   1L);
}
public void write(final Object connectionMsg) {
//mina里的IoSession.write()发送消息
         WriteFuture writeFuture = ioSession.write(connectionMsg);
         // 注册FutureListener,当请求发送失败后,能够立即做出响应
         writeFuture.addListener(new MsgWrittenListener(this, connectionMsg));
}

/**
* 在得到响应后,删除对应的请求队列,并执行回调
* 调用者:MINA线程
*/
public void putResponse(final ConnectionResponse connResp) {
         final long requestId = connResp.getRequestId();
         Object[] queue = requestResidents.remove(requestId);
         if (null == queue) {
             Object appResp = connResp.getAppResponse();
             String appRespClazz = (null == appResp) ? "null" : appResp.getClass().getName();
             StringBuilder sb = new StringBuilder();
             sb.append("Not found response receiver for requestId=[").append(requestId).append("],");
             sb.append("from [").append(connResp.getHost()).append("],");
             sb.append("response type [").append(appRespClazz).append("].");
             LOGGER.warn(sb.toString());
             return;
         }
         int idx = 0;
         idx++;
         long waitBegin = (Long) queue[idx++];
         ConnectionRequest connRequest = (ConnectionRequest) queue[idx++];
         ResponseCallback callback = (ResponseCallback) queue[idx++];
         // ** 把回调任务交给业务提供的线程池执行 **
         Executor callbackExecutor = callback.getExecutor();
         callbackExecutor.execute(new CallbackExecutorTask(connResp, callback));

         long duration = System.currentTimeMillis() - waitBegin; // 实际读响应时间
         logIfResponseError(connResp, duration, connRequest.getAppRequest());
}


CallbackExecutorTask
static private class CallbackExecutorTask implements Runnable {
         final ConnectionResponse resp;
         final ResponseCallback callback;
         final Thread createThread;

         CallbackExecutorTask(ConnectionResponse _resp, ResponseCallback _cb) {
             resp = _resp;
             callback = _cb;
             createThread = Thread.currentThread();
         }

         public void run() {
             // 预防这种情况:业务提供的Executor,让调用者线程来执行任务
             if (createThread == Thread.currentThread()
                       && callback.getExecutor() != DIYExecutor.getInstance()) {
                   StringBuilder sb = new StringBuilder();
                   sb.append("The network callback task [" + resp.getRequestId() + "] cancelled, cause:");
                   sb.append("Can not callback task on the network io thhread.");
                   LOGGER.warn(sb.toString());
                   return;
             }

             if (TRConstants.RESULT_SUCCESS == resp.getResult()) {
                   callback.handleResponse(resp.getAppResponse()); //设置调用结果
             }
             else {
                   callback.onRemotingException(resp.getResult(), resp
                            .getErrorMsg());  //处理调用异常
             }
         }
}


另外:

1, 服务端在处理客户端的消息,然后再处理时,使用了线程池来并行处理,不用一个一个消息的处理
同样,客户端接收到服务端的消息,也是使用线程池来处理消息,再回调
分享到:
评论

相关推荐

    dubbo客户端

    Dubbo客户端是阿里巴巴开源的一款高性能、轻量级的Java服务治理框架,主要用于构建分布式服务系统。这个入门实例将帮助我们理解如何使用Dubbo客户端来创建和消费服务。在这个压缩包中,我们很可能会找到一系列配置...

    自己手动实现dubbo源码

    Dubbo是由阿里巴巴开源的高性能Java RPC框架,它提供服务治理、负载均衡、容错处理等功能,广泛应用于微服务架构中。 首先,从提供的压缩包文件名我们可以看出,包含三个Maven工程: 1. `dubbo-provider_test`:这...

    dubbo的源码分析

    Dubbo是阿里巴巴开源的一款高性能、轻量级的Java服务治理框架,它主要负责服务的注册、发现、调用以及负载均衡等任务。深入分析Dubbo的源码可以帮助开发者更好地理解和利用这一强大的工具,以实现更高效的企业级应用...

    dubbo示例源码及相关文档

    Dubbo,一款由阿里巴巴开源的高性能、轻量级的Java服务框架,它致力于提供一个高效、灵活的RPC(远程过程调用)解决方案,使得服务间通信变得简单。在这个“dubbo示例源码及相关文档”中,我们将探讨Dubbo的基本操作...

    Dubbo服务框架面试专题及答案整理文档.zip

    Dubbo服务框架是阿里巴巴开源的一款高性能、轻量级的服务治理框架,它主要应用于分布式环境中的服务调用。这个“Dubbo服务框架面试专题及答案整理文档”包含了关于Dubbo的各种面试常见问题及其解答,旨在帮助求职者...

    Apache Dubbo的java实现 RPC和微服务框架

    Apache Dubbo是一款高性能、轻量级的开源Java RPC框架,由阿里巴巴公司开发并捐献给Apache基金会,成为顶级项目。Dubbo的核心目标是提供一个面向接口的远程调用方案,通过透明化的远程过程调用,使得服务就像调用...

    pafa5 dubbo admin

    Dubbo是阿里巴巴开源的一款高性能、轻量级的Java服务治理框架,用于构建分布式微服务系统。在大型企业级应用中,服务治理是至关重要的组成部分,它涉及到服务的注册、发现、调用、负载均衡、熔断、降级等众多功能。 ...

    dubbo入门示例源码

    Dubbo 是阿里巴巴开源的一款高性能、轻量级的 Java RPC 框架,它在服务治理、负载均衡、容错机制等方面具有出色的能力。本示例是针对初学者设计的,旨在帮助新手快速理解 Dubbo 的基本工作原理和使用方法。 在入门...

    dubbo-用户指南

    Dubbo由阿里巴巴开源,旨在解决大型分布式系统中的服务治理问题,提高系统的可扩展性和灵活性。本指南旨在帮助开发者深入理解Dubbo的核心概念和技术,以便更好地在实际项目中应用。 一、Dubbo简介 Dubbo是一个基于...

    基于dubbo实现的rpc框架RPC

    Dubbo,作为阿里巴巴开源的一款高性能、轻量级的Java RPC框架,已经成为了企业级应用的首选之一。本篇文章将深入探讨基于Dubbo实现的RPC框架,以及其在JAVA开发中的应用。 首先,我们了解RPC的基本原理。RPC框架的...

    Dubbo基础教程及源码.zip

    Dubbo是中国阿里巴巴公司开源的一款高性能、轻量级的Java服务治理框架,它主要为企业级应用提供分布式服务调用解决方案。本教程将带你深入理解Dubbo的核心概念和功能,并通过源码分析来帮助你更好地掌握其工作原理。...

    Dubbo入门到精通架构高级课程(视频+课件+源码)

    【Dubbo入门到精通架构高级课程】是一门深入解析Dubbo框架的全面教程,旨在帮助初学者和进阶者理解并掌握这个强大的Java分布式服务框架。该课程包含了视频讲解、课件资料以及配套的源码,确保学习者能理论与实践相...

    dubbo源码视频教程

    Dubbo是中国阿里巴巴公司开源的一款高性能、轻量级的Java服务治理框架,它提供了服务注册、服务发现、负载均衡、容错机制等核心功能,广泛应用于微服务架构中。 本教程通过视频的形式,将复杂的技术知识以直观易懂...

    dubbo示例demo

    Dubbo是阿里巴巴开源的一款高性能、轻量级的服务治理框架,它主要应用于服务化时代的微服务架构中,实现了服务的发布、查找、调用等功能。 【描述】"dubbo 学习样例,详解命令注释"意味着这个示例项目不仅包含了...

    Dubbo核心原理讲解&源码精读

    - **源码下载**:从GitHub上Fork阿里巴巴的Dubbo仓库。 - **编译运行**:通过Maven进行项目的构建和打包。 - **调试设置**:使用IntelliJ IDEA配置断点和调试参数。 **2. 核心类解析** - **Registry**:负责...

    dubbo文档DPF

    Dubbo是一款由阿里巴巴开源的高性能、轻量级的服务框架,它专注于服务治理,提供了服务注册、服务发现、负载均衡、容错、调用链跟踪等一系列服务治理功能。DPF版的Dubbo用户指南是针对DPF平台的特定版本,旨在帮助...

    dubbo全套源码和jar包2.5.3.rar

    Dubbo是中国阿里巴巴开源的一款高性能、轻量级的Java服务治理框架,它主要专注于服务调用、负载均衡、服务发现、流量控制以及容错等核心功能。这个压缩包“dubbo全套源码和jar包2.5.3.rar”包含的是Dubbo 2.5.3版本...

    dubbo学习笔记

    **Dubbo** 是阿里巴巴开源的一款高性能、轻量级的微服务框架,主要提供服务治理、服务发布与发现、负载均衡等功能。它能够帮助开发者轻松构建大型分布式系统和服务应用网络。 #### 二、Dubbo的工作原理 ##### 服务...

    【Java面试资料】-阿里巴巴分布式面试题目详解

    在IT行业中,尤其是Java开发领域,面试准备是至关重要的,特别是在面对阿里巴巴这样的顶级互联网公司时。这份名为"【Java面试资料】-阿里巴巴分布式面试题目详解"的压缩包文件,显然是为那些希望进入阿里巴巴或者...

    zookeeper与dubbo的介绍

    Zookeeper是Apache的一个开源项目,主要用于分布式协调服务,而Dubbo是中国阿里巴巴开源的一款高性能、轻量级的Java RPC框架。 Zookeeper的主要功能包括命名服务、配置管理、集群同步、分布式锁等,它提供了一种...

Global site tag (gtag.js) - Google Analytics