`
agileai
  • 浏览: 60301 次
  • 性别: Icon_minigender_1
  • 来自: 沈阳
社区版块
存档分类
最新评论

你应该知道的 RPC 原理

RPC 
阅读更多

作者:伯乐在线 - meituanalibaba   网址:http://blog.jobbole.com/92290/ 

    在校期间大家都写过不少程序,比如写个hello world服务类,然后本地调用下,如下所示。这些程序的特点是服务消费方和服务提供方是本地调用关系。 

    而一旦踏入公司尤其是大型互联网公司就会发现,公司的系统都由成千上万大大小小的服务组成,各服务部署在不同的机器上,由不同的团队负责。这时就会遇到两个问题:1)要搭建一个新服务,免不了需要依赖他人的服务,而现在他人的服务都在远端,怎么调用?2)其它团队要使用我们的服务,我们的服务该怎么发布以便他人调用?下文我们将对这两个问题展开探讨。

1如何调用他人的远程服务? 

    由于各服务部署在不同机器,服务间的调用免不了网络通信过程,服务消费方每调用一个服务都要写一坨网络通信相关的代码,不仅复杂而且极易出错。 

    如果有一种方式能让我们像调用本地服务一样调用远程服务,而让调用者对网络通信这些细节透明,那么将大大提高生产力,比如服务消费方在执行helloWorldService.sayHello(“test”)时,实质上调用的是远端的服务。这种方式其实就是RPCRemote Procedure Call Protocol),在各大互联网公司中被广泛使用,如阿里巴巴的hsfdubbo(开源)、Facebookthrift(开源)、Google grpc(开源)、Twitterfinagle等。

    要让网络通信细节对使用者透明,我们自然需要对通信细节进行封装,我们先看下一个RPC调用的流程:

 

1)服务消费方(client)调用以本地调用方式调用服务;

2client stub接收到调用后负责将方法、参数等组装成能够进行网络传输的消息体;

3client stub找到服务地址,并将消息发送到服务端;

4server stub收到消息后进行解码;

5server stub根据解码结果调用本地的服务;

6)本地服务执行并将结果返回给server stub

7server stub将返回结果打包成消息并发送至消费方;

8client stub接收到消息,并进行解码;

9)服务消费方得到最终结果。 

    RPC的目标就是要2~8这些步骤都封装起来,让用户对这些细节透明。

1.1怎么做到透明化远程服务调用?

    怎么封装通信细节才能让用户像以本地调用方式调用远程服务呢?对java来说就是使用代理!java代理有两种方式:1 jdk 动态代理;2)字节码生成。尽管字节码生成方式实现的代理更为强大和高效,但代码不易维护,大部分公司实现RPC框架时还是选择动态代理方式。 

    下面简单介绍下动态代理怎么实现我们的需求。我们需要实现RPCProxyClient代理类,代理类的invoke方法中封装了与远端服务通信的细节,消费方首先从RPCProxyClient获得服务提供方的接口,当执行helloWorldService.sayHello(“test”)方法时就会调用invoke方法。

1.2怎么对消息进行编码和解码? 

1.2.1确定消息数据结构

    上节讲了invoke里需要封装通信细节,而通信的第一步就是要确定客户端和服务端相互通信的消息结构。客户端的请求消息结构一般需要包括以下内容:

1)接口名称

在我们的例子里接口名是“HelloWorldService”,如果不传,服务端就不知道调用哪个接口了;

2)方法名

一个接口内可能有很多方法,如果不传方法名服务端也就不知道调用哪个方法; 

3)参数类型&参数值 

参数类型有很多,比如有boolintlongdoublestringmaplist,甚至如structclass);

以及相应的参数值;

4)超时时间

5requestID,标识唯一请求id,在下面一节会详细描述requestID的用处。

同理服务端返回的消息结构一般包括以下内容。

1)返回值

2)状态code

3requestID

1.2.2序列化

    一旦确定了消息的数据结构后,下一步就是要考虑序列化与反序列化了。 

    什么是序列化?序列化就是将数据结构或对象转换成二进制串的过程,也就是编码的过程。

    什么是反序列化?将在序列化过程中所生成的二进制串转换成数据结构或者对象的过程。

    为什么需要序列化?转换为二进制串后才好进行网络传输嘛!为什么需要反序列化?将二进制转换为对象才好进行后续处理!     

    现如今序列化的方案越来越多,每种序列化方案都有优点和缺点,它们在设计之初有自己独特的应用场景,那到底选择哪种呢?从RPC的角度上看,主要看三点:1)通用性,比如是否能支持Map等复杂的数据结构;2)性能,包括时间复杂度和空间复杂度,由于RPC框架将会被公司几乎所有服务使用,如果序列化上能节约一点时间,对整个公司的收益都将非常可观,同理如果序列化上能节约一点内存,网络带宽也能省下不少;3)可扩展性,对互联网公司而言,业务变化快,如果序列化协议具有良好的可扩展性,支持自动增加新的业务字段,删除老的字段,而不影响老的服务,这将大大提供系统的健壮性。

    目前国内各大互联网公司广泛使用ProtobufThriftAvro等成熟的序列化解决方案来搭建RPC框架,这些都是久经考验的解决方案。 

1.3通信

    消息数据结构被序列化为二进制串后,下一步就要进行网络通信了。目前有两种IO通信模型:1BIO2NIO。一般RPC框架需要支持这两种IO模型,原理可参考:《一个故事讲清楚NIO》。     

    如何实现RPCIO通信框架?1)使用java nio方式自研,这种方式较为复杂,而且很有可能出现隐藏bug,见过一些互联网公司使用这种方式;2)基于minamina在早几年比较火热,不过这些年版本更新缓慢;3)基于netty,现在很多RPC框架都直接基于netty这一IO通信框架,比如阿里巴巴的HSFdubboTwitterfinagle等。

1.4消息里为什么要带有requestID 

    如果使用netty的话,一般会用channel.writeAndFlush()方法来发送消息二进制串,这个方法调用后对于整个远程调用(从发出请求到接收到结果)来说是一个异步的,即对于当前线程来说,将请求发送出来后,线程就可以往后执行了,至于服务端的结果,是服务端处理完成后,再以消息的形式发送给客户端的。于是这里出现以下两个问题:

1)怎么让当前线程暂停,等结果回来后,再向后执行?

2)如果有多个线程同时进行远程方法调用,这时建立在client server之间的socket连接上会有很多双方发送的消息传递,前后顺序也可能是随机的,server处理完结果后,将结果消息发送给clientclient收到很多消息,怎么知道哪个消息结果是原先哪个线程调用的?

如下图所示,线程A和线程B同时向client socket发送请求requestArequestBsocket先后将requestBrequestA发送至server,而server可能将responseA先返回,尽管requestA请求到达时间更晚。我们需要一种机制保证responseA丢给ThreadAresponseB丢给ThreadB

 

 

怎么解决呢?

1client线程每次通过socket调用一次远程接口前,生成一个唯一的ID,即requestIDrequestID必需保证在一个Socket连接里面是唯一的),一般常常使用AtomicLong0开始累计数字生成唯一ID 

2)将处理结果的回调对象callback,存放到全局ConcurrentHashMap里面put(requestID, callback) 

3)当线程调用channel.writeAndFlush()发送消息后,紧接着执行callbackget()方法试图获取远程返回的结果。在get()内部,则使用synchronized获取回调对象callback的锁,再先检测是否已经获取到结果,如果没有,然后调用callbackwait()方法,释放callback上的锁,让当前线程处于等待状态。

4)服务端接收到请求并处理后,将response结果(此结果中包含了前面的requestID)发送给客户端,客户端socket连接上专门监听消息的线程收到消息,分析结果,取到requestID,再从前面的ConcurrentHashMap里面get(requestID),从而找到callback对象,再用synchronized获取callback上的锁,将方法调用结果设置到callback对象里,再调用callback.notifyAll()唤醒前面处于等待状态的线程。 

2如何发布自己的服务? 

    如何让别人使用我们的服务呢?有同学说很简单嘛,告诉使用者服务的IP以及端口就可以了啊。确实是这样,这里问题的关键在于是自动告知还是人肉告知。 

    人肉告知的方式:如果你发现你的服务一台机器不够,要再添加一台,这个时候就要告诉调用者我现在有两个ip了,你们要轮询调用来实现负载均衡;调用者咬咬牙改了,结果某天一台机器挂了,调用者发现服务有一半不可用,他又只能手动修改代码来删除挂掉那台机器的ip。现实生产环境当然不会使用人肉方式。

    有没有一种方法能实现自动告知,即机器的增添、剔除对调用方透明,调用者不再需要写死服务提供方地址?当然可以,现如今zookeeper被广泛用于实现服务自动注册与发现功能!     

    简单来讲,zookeeper可以充当一个服务注册表(Service Registry),让多个服务提供者形成一个集群,让服务消费者通过服务注册表获取具体的服务访问地址(ip+端口)去访问具体的服务提供者。如下图所示:

 

    具体来说,zookeeper就是个分布式文件系统,每当一个服务提供者部署后都要将自己的服务注册到zookeeper的某一路径上: /{service}/{version}/{ip:port}, 比如我们的HelloWorldService部署到两台机器,那么zookeeper上就会创建两条目录:分别为/HelloWorldService/1.0.0/100.19.20.01:16888 /HelloWorldService/1.0.0/100.19.20.02:16888

        zookeeper提供了心跳检测功能,它会定时向各个服务提供者发送一个请求(实际上建立的是一个 Socket 长连接),如果长期没有响应,服务中心就认为该服务提供者已经挂了,并将其剔除,比如100.19.20.02这台机器如果宕机了,那么zookeeper上的路径就会只剩/HelloWorldService/1.0.0/100.19.20.01:16888 

    服务消费者会去监听相应路径(/HelloWorldService/1.0.0),一旦路径上的数据有任务变化(增加或减少),zookeeper都会通知服务消费方服务提供者地址列表已经发生改变,从而进行更新。

    更为重要的是zookeeper与生俱来的容错容灾能力(比如leader选举),可以确保服务注册表的高可用性。

3小结 

        RPC几乎是每一个从学校进入互联网公司的同学都要首先学习的框架,之前面试过一个在大型互联网公司工作过两年的同学,对RPC还是停留在使用层面,这是不应该的。本文也仅是对RPC的一个比较粗糙的描述,希望对大家有所帮助,错误之处也请指出修正。

分享到:
评论
1 楼 三片仙人掌 2015-10-28  
动态代理那块有问题吧。RPCProxyClient.getProxy() 这儿传入的参数应该是HelloWorldService的实现类的对象啊

相关推荐

    rpc原理的简单实现

    ### RPC原理 1. **请求发起**:客户端通过本地方法调用,向RPC框架发起一个远程调用请求。 2. **参数序列化**:RPC框架将客户端的调用参数进行序列化,转换成网络传输的数据格式,通常是二进制或JSON。 3. **建立...

    RPC框架的实现原理,及RPC架构组件详解.pdf

    详细讲解RPC

    手写rpc rpc简单源码 rpc源码学习 rpc过程了解 rpc通信原理

    1. **客户端(Client)**:发起RPC调用的一方,它通常需要知道服务接口和方法,但不需要关心服务是如何实现的。 2. **服务端(Server)**:提供服务的一方,它实现了客户端需要调用的接口和方法。 3. **服务注册与...

    RPC底层通讯原理

    总结来说,RPC底层通讯原理中Netty线程模型的源码分析,涉及到Netty框架的线程模型设计、事件驱动机制以及数据处理流程,这些都是构建高性能RPC系统的关键技术点。通过对这些内容的深入学习和理解,开发者能够更好地...

    dubbo_ demo、角色_ RPC_原理 _RMI .zip

    总的来说,掌握Dubbo和RPC原理对于成为一位优秀的架构师至关重要。这不仅有助于设计和实施高效、可扩展的分布式系统,还能提高团队协作和项目维护的效率。通过深入学习和实践,你可以更好地驾驭这些工具,为企业的...

    android RPC原理总结及源码

    本篇文章将深入探讨Android中的RPC原理,特别是通过AIDL(Android Interface Definition Language)实现的远程服务调用。 首先,RPC的基本思想是解耦调用者和被调用者,使得它们可以位于不同的进程甚至不同的机器上...

    Netty核心原理剖析与RPC实践pd手抄

    Netty核心原理剖析与RPC实践手抄版本,基本复刻了全部内容,如有丢失请私聊

    Dubbo RPC框架原理解析和源码

    Dubbo是一款由阿里巴巴开源的高性能Java RPC框架,它在分布式系统中起到了服务调用的核心作用。RPC(Remote Procedure Call)允许一个程序调用另一个在不同网络计算机上的程序,就像调用本地函数一样简单。Dubbo的...

    rpc服务端与客户端原理及原理图

    "RPC服务端与客户端原理及原理图" RPC(Remote Procedure Call,远程过程调用)是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC 协议假定某些传输协议的存在,如 TCP 或 UDP,为...

    手写RPC底层实现原理

    在这个“手写RPC底层实现原理”的主题中,我们将深入探讨RPC的工作流程、关键组件以及如何通过Socket进行通信。 一、RPC基本概念 RPC使得分布式系统中的服务可以透明地调用,无需关心调用方与被调用方的实际位置。...

    Netty4.1实战-手写RPC框架.pdf

    RPC是一种远程调用的通信协议,例如dubbo、thrift等,我们在互联网高并发应用开发时候都会使用到类似的服务。本专题主要通过三个章节实现一个rpc通信的基础功能,来学习RPC服务中间件是如何开发和使用。章节内以源码...

    oncrpc.rar_RPC. VC++_oncrpc windows_windows RPC_ycnian的博客

    首先,让我们深入理解RPC的工作原理。RPC协议定义了一个调用过程,使得客户端能够透明地调用远程服务器上的函数或方法。整个过程包括以下步骤: 1. 客户端发送一个包含请求参数的RPC消息到服务器。 2. 服务器接收到...

    ONCRPC.rar_ONCRPC_code rpc_onc_onc rpc

    通过理解ONC RPC的工作原理和这些代码实现,开发者能够创建跨平台的分布式应用程序,利用网络上的各种资源,实现高效、可靠的通信。同时,由于ONC RPC的开源特性,它也被广泛应用于各种操作系统和项目中,增加了其在...

    .net实现的rpc远程调用原理

    本文将深入探讨.NET下RPC远程调用的原理,包括信道远程对象、注册、激活以及代理获取。 1. **信道远程对象**:在.NET中,RPC调用是通过信道来实现的。信道可以看作是客户端与服务器之间的通信管道,它封装了底层的...

    RPC通信原理分析111211

    RPC通信原理分析111211

    RPC框架原理介绍.docx

    RPC 框架原理介绍 RPC 框架是远程过程调用(Remote Procedure Call)的缩写,通过网络通信调用不同的服务,共同支撑一个软件系统,微服务实现的基石技术。使用 RPC 可以解耦系统,方便维护,同时增加系统处理请求的...

    dubbo——rpc的原理和netty1

    RPC(Remote Procedure Call)是一种进程间通信机制,允许在分布式环境中像调用本地函数一样调用远程计算机上的函数或方法。...理解这两个技术的原理,对于优化和开发分布式应用程序具有重要的实践意义。

    LabVIEW XML-RPC

    - 使用示例程序学习和理解XML-RPC的工作原理,然后根据实际需求进行自定义开发。 - 定期检查和更新XML-RPC库,以利用最新的功能和修复的已知问题。 总之,LabVIEW XML-RPC提供了强大的工具,使得LabVIEW开发者...

    084-RPC实战与核心原理

    RPC(Remote Procedure Call)是远程过程调用,它允许一个程序在执行时调用另一个位于不同计算机上的程序,使得分布式系统间的通信变得简单。...通过学习,你将成为一名能够在分布式环境中熟练运用RPC技术的开发人员。

Global site tag (gtag.js) - Google Analytics