`
jimmee
  • 浏览: 538805 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hadoop_rpc调用之client(2)

 
阅读更多
主要的几个类说明:
  • 1. Call,表示一次rpc的调用请求
  • 2. Connection,表示一个client与server之间的连接,一个连接一个线程启动
  • 3. ConnectionId:连接的标记(包括server地址,协议,其他一些连接的配置项信息)
  • 4. ParallelCall:实现并行调用的请求
  • 5. ParallelResults:并行调用的执行结果

执行逻辑:
1
  • . 当要执行一个调用时,将call放到connectin的map中;同时将请求发送到connection的输出流中,之后返回,并不一直持有connection并等待结果,所以是异步的处理过程;
  • 2. connection自身线程不停从server读取请求返回,服务器返回的结果中包含请求的id,因此根据id从map中找到对应的call,从而设置call的调用结果;

可以看到,client的端的调用是很简单。
可以简单的来看一下代码:
public Writable call(Writable param, ConnectionId remoteId),此方法是调用入口,代码分析:
/**
* 创建一个call,并得到连接,之后在连接中保存call,之后向连接的输出流写入请求
* 并返回, 底层使用的是oio(即blocking io),采用什么样的io与异步消息机制没有
* 必然联系.
**/
Call call = new Call(param);
Connection connection = getConnection(remoteId, call);
connection.sendParam(call);  
// 接口是同步的,异步变同步的操作再这里
synchronized (call) {
      while (!call.done) {
        try {
          call.wait();                           // wait for the result
        } catch (InterruptedException ie) {
          // save the fact that we were interrupted
          interrupted = true;
        }
      }
    ……
}


对应的,可以看到Connection类的receiveResponse方法里处理从server里读到的结果:
    
   int id = in.readInt();                    // try to read an id
        Call call = calls.get(id);
        Writable value = ReflectionUtils.newInstance(valueClass, conf);
        value.readFields(in);                 // read value
        call.setValue(value);
        calls.remove(id);

Call调用setValue方式,会执行notify操作.

备注:
  • 1. 一个Client会对应多个Connection,并且会对这些Connection进行缓存;
  • 2. 一个Connection对应一个线程,这主要是内网中调用,节点之间的连接量应该不会太多(我想太多时,估计一个连接一个线程时就有问题了)
  • 3. 当出现异常时,直接关闭连接,并处理没有返回结果的call
  • 4. Connection中保存Call的调用,使用的是一个HashTable,没有进行数量限制,若服务器阻塞后,Call会积累,感觉这个时候是有问题的。

分享到:
评论

相关推荐

    Hadoop_RPC详细分析.doc

    Hadoop RPC(Remote Procedure Call,远程过程调用)是 Hadoop 项目中的一个重要组件,用于实现分布式系统中的通信和数据交换。下面是对 Hadoop RPC 的详细分析。 RPCInterface Hadoop RPC 的核心是 RPCInterface...

    hadoop rpc实例

    在这个实例中,我们将深入探讨Hadoop RPC的工作原理、客户端(`hadoop_rcp_client`)与服务器端(`hadoop_rpc_server`)的角色以及它们之间的交互过程。 ### Hadoop RPC概述 Hadoop RPC是Hadoop框架中用于进程间...

    学习hadoop_源代码,RPC_部分

    其中,Hadoop 的远程过程调用(RPC)机制是其核心组件之一,用于实现不同节点之间的高效通信。本文将详细介绍 Hadoop RPC 的基本概念、工作原理以及其实现细节。 #### 二、Hadoop RPC 基本介绍 ##### 2.1 RPC 概念...

    java操作hadoop的RPC,源码

    Java操作Hadoop的RPC(Remote Procedure Call)是分布式计算领域中的关键技术,它允许在不同的进程或机器之间进行远程调用,如同本地调用一样。Hadoop作为一个开源的大数据处理框架,其RPC机制是实现各个组件如...

    Hadoop的RPC通信程序

    ### Hadoop的RPC通信程序详解 #### 一、引言 在分布式系统中,远程过程调用(Remote Procedure Call, RPC)是一种重要的通信机制,它允许一台计算机上的程序调用另一台计算机上的子程序,而无需程序员了解底层网络...

    Hadoop client server通讯分析

    Hadoop中的通信主要通过RPC实现,这是一种远程调用协议,使得客户端可以像调用本地方法一样调用远程服务器上的方法。Hadoop的RPC基于Java的Protocol Buffers,提供高效、灵活的序列化和反序列化能力,确保跨网络的...

    Hadoop自己的Rpc框架使用Demo

    在分布式计算领域,Hadoop RPC(Remote Procedure Call)框架是一个至关重要的组件,它允许不同的进程之间进行通信,尤其是在大规模数据处理的场景下。Hadoop RPC是Hadoop生态系统中的基础服务,使得不同模块如HDFS...

    细细品味Hadoop_Hadoop集群(第11期)_HBase简介及安装.pdf

    客户端通过 RPC(远程过程调用)机制与 HMaster 和 HRegionServer 进行通信。 2. **HMaster**:HMaster 负责整个 HBase 集群的管理和协调工作,包括管理 HRegionServer、处理负载均衡、管理元数据等。HMaster 并不...

    Apache RPC调用实例

    **Apache RPC调用实例** Apache远程过程调用(Remote Procedure Call, RPC)是一种通信协议,允许网络上的一个程序调用另一个远程系统上的程序,并且看起来就像调用本地函数一样。在分布式系统中,RPC框架扮演着至...

    Hadoop源码分析(client部分)

    3. **Hadoop RPC通信机制**:Hadoop内部大量使用了RPC(Remote Procedure Call)机制来进行不同进程间的通信。这种机制允许在一台机器上运行的程序调用另一台机器上程序的功能,就像调用本地函数一样简单。 当用户...

    hadooprpc机制&&将avro引入hadooprpc机制初探

    接收Call调用负责接收来自RPCClient的调用请求,编码成Call对象后放入到Call队列中。这一过程由Listener线程完成。具体步骤:处理Call调用负责处理Call队列中的每个调用请求,由Handler线程完成:交互过程如下图所示...

    hadoop源码阅读总结

    客户端采用代理模式实现RPC调用,主要步骤如下: 1. **代理对象创建**: - 调用`RPC.getProxy`方法创建代理对象。 - 实际返回的对象实现了所需接口,并重写了接口中的方法。 2. **远程调用过程**: - 调用代理...

    Hadoop之HDFS源代码分析 pdf

    在Hadoop的RPC实现方法中,Client类、Server类、RPC类以及HDFS通信协议组是核心。这些组件共同协作实现远程过程调用,使得HDFS中的各个组件能够相互交流和协作。通过这些组件,HDFS能够处理客户端请求,并在集群内部...

    RPC应用的java实现

    Java中还有其他RPC实现,比如Hadoop的Hadoop RPC,它主要用于Hadoop生态系统中的进程间通信,以及Google的gRPC,它基于HTTP/2协议,支持protobuf进行高效的数据序列化,提供了更好的性能和扩展性。 总的来说,RPC是...

    大数据处理方法和技术实验一-RPC和反射机制应用.docx

    1. **实现本地Hadoop RPC调用** - 创建两个项目:一个是服务器端,提供一个可调用的方法;另一个是客户端,用于调用服务器端提供的方法。 - 服务器端: - 设计并实现一个服务接口及其实现类,提供一个特定的功能...

    Hadoop分布式文件系统架构

    这些RPC调用涉及到各种操作,如文件的打开、关闭、重命名等。 #### 二、HDFS源码的理解和分析 ##### 2.1 集群系统工作状态 HDFS集群的正常运行依赖于NameNode和DataNode之间的通信。NameNode负责管理文件系统的...

    RPC学习文档

    **远程过程调用(Remote Procedure Call,简称RPC)**是一种通信协议,它允许在一台计算机上运行的程序调用另一台计算机上的子程序,而程序员无需显式了解底层网络细节。RPC广泛应用于分布式系统中,简化了不同节点...

    Hadoop源代码分析(四一)

    DFSClient是Hadoop分布式文件系统(HDFS)中的核心组件之一,负责客户端与NameNode之间的交互。在前一部分已经详细分析了DFSClient内部类的相关实现细节,现在我们将关注剩余的关键部分。 #### 二、DFSClient成员...

Global site tag (gtag.js) - Google Analytics