Hadoop学习十一：Hadoop-Hdfs RPC总结

一.本文初衷

      我曾经写过一篇文章容器学习一：HashMap源码分析，后来有网友对我说，全文不介绍HashMap怎么使用，只介绍了源码，有点孤立。到昨天又有网友对我说，看了你的分析RPC的三篇文章，并没有理解RPC到底是个什么玩意，给我留下的影响只有Java反射。这个就是我写本文的原因：源码是进去，本文再跳出来做一个全局的描述。

 

二.RPC概念

•  RPC(Remote Procedure Call Protocol)：远程过程调用协议。其作用是通过网络向远程请求服务。
• RPC采用客户机/服务器模式。客户机把请求发送给服务器，服务器获取请求的参数，在本地执行这个请求，最后将结果返回给客户机。站在客户机的角度，这条请求就是在远程（服务器）被执行了。
• Hdfs就是自己实现了一套RPC，使用了Java反射和NIO。
• Java RMI(Remote Method Call)：远程方法调用，实际上和RPC是一个意思。

三.Hdfs RPC角色 

•  RPC Client：由org.apache.hadoop.ipc.Client实现。用于向server发生请求，并获取请求返回结果。
• RPC Server：由org.apache.hadoop.ipc.Server和org.apache.hadoop.ipc.RPC.Server共同实现。ipc.Server用于获取请求，提供执行请求的抽象方法，返回请求结果；RPC.Server用来真正执行请求。
• RPC服务类：由org.apache.hadoop.ipc.RPC实现。主要实现两个服务：getProxy获得远程代理对象；getServer获得RPC Server。

 

四.Hdfs RPC实现 

1. Server s = RPC.getServer(...);s.start();RPC服务器端启动，各线程准备就绪。
2. VersionedProtocol v = RPC.getProxy(...);实际上得到一个Java代理类，Invoker实现了InvocationHandler，重写了invoke()方法。
3. v.method(...)时，触发invoke()方法，invoke()内部执行client.call()。
4. client.call()内部取得RPC client到RPC server的Connection，随后用connection发生请求sendParam。等待结果返回。
5. RPC Server Listener线程接受到请求。
6. Reader线程读取请求，把请求封装成Server Call对象。放入callQueue。
7. Handler线程从callQueue取call，在本机上执行method.invoke()方法，把执行结果赋值给call对象的response属性。如果目前只有一个call对象，立即返回；否则放入responseQueue。
8. Responder线程从responseQueue取call，把call的response发送给RPC Client。
9. RPC Client收到结果，这个就是远程命令的结果。如果你是一个远程创建文件夹的请求，那这个结果返回成功或失败或文件夹信息等；如果你是获得远程机器上DatanodeReport的请求，那这个结果返回的就是远程机器上的DatanodeInfo[]。

 

五.自己模仿写了一个RPC 

写道

http://cloud-file-system.googlecode.com/svn/trunk/SourceCode/CFS_Test/src/com/zzy/rpc/
http://cloud-file-system.googlecode.com/svn/trunk/SourceCode/CFS_Test/src/com/zzy/rpctest/

• 只实现功能。没考虑代码质量。
• Client和Server端都用NIO实现。
• 如果有谁想学习的，我会把它单独抽出来。

 

 

评论

1 楼 ljz0898 2013-09-10  

太经典了。