Hadoop中的RPC机制

以JobClient向JobTracker提交作业为例：
JobClient远程调用JobTracker的submitJob方法;

 //JobClient.java
 public RunningJob submitJob(JobConf job) throws FileNotFoundException,  InvalidJobConfException, IOException {
    //...
    // Now, actually submit the job (using the submit name)
    //
    JobStatus status = jobSubmitClient.submitJob(jobId);
    //...
    }

 

其实jobSubmitClient是通过java.lang.reflect.Proxy动态代理产生的JobSubmissionProtocol接口的实例实现的

关于Proxy参见利用JAVA的动态属性之反射原理实现一个简单AOP容器 - AOP的实现原理分析 

Java动态代理功能
首先，我们简单介绍一下Java动态代理功能。JAVA的动态代理功能主要通过java.lang.reflect.Proxy类与java.lang.reflect.InvocationHandler接口完成，这里正是通过它们实现一个简单的AOP容器的。其实，像JBoss AOP等其他动态AOP框架也都是通过Proxy和InvocationHandler来实现的。

 
这个实例的submitJob方法会调用RPC.Invoker的invoke方法，然后RPC的client会调用call方法要远程调用的方法名和参数发送到RPC服务器。

在RPC服务器端，绑定了JobTracker

//JobTracker.java
JobTracker(JobConf conf) throws IOException, InterruptedException {
//...........
    this.interTrackerServer = RPC.getServer(this, addr.getHostName(), addr.getPort(), handlerCount, false, conf);
    this.interTrackerServer.start();
//..............  
    }

 Server内置的Listener(线程)处理Connection队列，调用Connetion处理数据生成Call并加入callQueue队列，Handler(线程)处理Call队列，并调用RPC.Server的call方法返回结果