Dubbo 在 K8s 下的思考

### 序言

Dubbo在2011开源之后，一直是国内最受欢迎的RPC框架，之后spring boot和Spring Cloud的面世，助推了微服务的火热程度。计算机的世界变化很快，自从容器和K8s登上舞台之后，给原有的RPC领域带来了很大的挑战。这个文章主要讲述RPC领域遇到的问题，以及RPC怎么去拥抱K8s怀抱的一些思考。

K8S介绍
=====

kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了应用部署，规划，更新，维护的一种机制。kubernetes简称K8s。


在Kubernetes中，最小的管理元素不是一个个独立的容器，而是Pod。Pod的生命周期需要注意以下几点：

*   容器和应用可能随时被杀死
*   Pod Ip和主机名可能变化 (除非使用StatefulSet进行定制)
*   写到本地的磁盘的文件可能消失，如果想不失效，需要用存储卷

应用，容器，Pod的关系

*   应用部署在容器中，一般情况下一个应用只部署在一个容器中
*   一个Pod下可以包含一个或多个容器，一般情况下一个Pod只建议部署一个容器。下列场景除外：
   
    *   side car
    *   一个容器的运行以来与本地另外一个容器。如一个容器下应用负责下载数据，另外一个容器下应用向外提供服务

Service

如果一些Pods 提供了一些功能供其它的Pod使用，在kubernete集群中是如何实现让这些前台能够持续的追踪到这些后台的？答案是：Service。

Kubernete Service 是一个定义了一组[**Pod**](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fwww.kubernetes.org.cn%2Ftags%2FPod)的策略的抽象，这些被服务标记的Pod一般都是通过label Selector决定的。Service抽象了对Pod的访问。

默认的Service，通过一个集群Ip获取A Record。但是有时需要返回所有满足条件的Pod Ip列表，这时候可以直接使用 **Headless Services**。

参考：[Https://kubernetes.io/](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fkubernetes.io%2F)

推荐书籍：kubernetes in action

RPC介绍和分析
========

随着微服务的普及，应用之间的通信有了足够多的成熟方案。Dubbo在2011年开源之后，被大量的中小型公司采用；在Spring Boot推出之后，Spring逐渐焕发出第二春，随即Spring Cloud面世，逐渐占领市场，在中国市场中，和Dubbo分庭抗争；gRPC是google推出的基于Http2的端到端的通信工具，逐渐地在K8s市场上占据统治地位，如etcd，istio等都采用gRPC作为通信工具；Service Mesh从开始概念上就火热，现在逐渐走向成熟，Istio + Envoy(其他sidecar)逐渐开始走上舞台。

应用开发者视角

从功能层面来说，对开发者有感知的功能有：服务实现，服务暴露(注解或配置)，服务调用(注解或配置)，服务治理等。

从选型角度会关注以下几点：易用性(开发易用性和开箱即用)，性能，功能，扩展性等。

框架开发者视角

关键流程：服务暴露，服务注册，服务发现，服务调用，服务治理。

关键知识点：序列化，网络通信，服务路由，负载均衡，服务限流，熔断，降级等服务治理。

主流技术实现
------

#### DUBBO/HSF


Dubbo提供了**面向接口**的远程方法调用。应用开发者定义接口，编写服务并暴露；Client端通过接口进行调用。

Dubbo注册服务的维度是**接口维度**，每个接口会在注册中心写入一条数据。

Dubbo支持条件路由，脚本路由，Tag路由等。这些**路由规则都是强依赖于IP地址**。

备注：Dubbo和HSF的大部分机制都是相似的，所以下面都以Dubbo作为方案进行讨论。

#### SpringCloud

Spring Cloud通过Rest形式进行网络调用。应用开发者可以自己编写暴露Rest服务，如springmvc。

Spring Cloud里的**服务注册是应用维度**(Eureka)，Client端和Server端通过约定的方式进行通信。

Spring Cloud提供了一套标准API，而其中Netflix是其中的佼佼者，对这套API进行了实现，对大部分开发者来说，可以回直接依赖和使用Netflix，所以可以说是Netflix提供成了Spring Cloud的核心。但是作为商业公司对开源投入往往会多变，如Eureka已经体制维护。

#### gRPC

gRPC 是一个 基于 HTTP/2 协议设计的 RPC 框架，它采用了 Protobuf 作为 IDL。gRPC作为端到端的通信方案，可以解决现在的多语言问题。

gRPC本身不提供服务注册，服务治理的功能。但现在可以看到gRPC有趋势往这方面扩展的野心。

#### K8s

K8s体系里暂时没有公允的通信框架，一般推荐gRPC作为RPC框架。

K8s体系下，默认情况下，Pod的Ip是变化的，所以Pod和Pod之间需要通信的话，有几种方式:

*   Service+DNS：新建一个Service，可以通过标签选择到一组Pod列表，这个service对应一个不变的集群Ip；Client端通过DNS方式或者直接访问集群Ip。这个集群Ip，约等于实现了负载均衡 (Iptable方式)。
*   headless service：headless service和上面的service的区别是，它不提供集群Ip，通过主机名的形式获取一组Ip列表，Client端自己决定访问哪个Pod。

#### Istio + Envoy


Istio的控制层会向K8s的api server请求并监听Pod信息，service信息等信息。这样Istio中就有了完整的K8s集群中的Pod，service等的完整信息。如果K8s集群中有信息变更，istio中也可以得到通知并更新对应的信息。

Envoy作为Proxy一个最常见的实现，以Envoy作为例子简单介绍。Envoy 通过查询文件或管理服务器来动态发现资源。对应的发现服务及其相应的 API 被称作 _xDS_。协议内容包括LDS，RDS，CDS等等。

参考资料：

[servicemesh介绍](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fwww.infoq.cn%2Farticle%2Fpattern-service-mesh)

[Istio路由规则](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fistio.io%2Fdocs%2Ftasks%2Ftraffic-management%2Frequest-routing%2F)

备注：上述知识是通过查阅资料(Istio官网)，以及和集团service mesh同学沟通获得。如有问题，欢迎指正。

### 总结


遇到的问题和挑战
========

### Spring Cloud和Dubbo的共生

基础理论可以[参考](https://yq.aliyun.com/articles/585461).

Dubbo默认是基于TCP通信，Spring Cloud大部分基于Rest请求。在阿里云实施商业化过程中，发现大量公司需要Spring Cloud应用和Dubbo进行通信，社区主要依靠Dubbo上增加一层网关来解决。

是否有方案进行统一服务注册发现，以及服务调用呢？

### Dubbo在K8s场景下的挑战

K8s下Pod的IP是变化的 (默认)，dubbo的服务治理高度依赖IP。

K8s的服务注册通过Pod定义完成，服务发现其实是寻找Pod的过程。Pod和应用有一定的对应关系，和dubbo里的接口维度的服务注册发现模型不是很匹配。

### Dubbo在Service mesh场景下的生存空间

Dubbo需要进行支持裁剪，Dubbo的大部分功能都可以交由sidecar(proxy)来完成。

如果公司已经在部署了RPC框架，这时候如果需要实施Service Mesh，有什么好的过渡方案吗？

问题梳理
====

### 服务定义

服务怎么定义呢？需要从应用开发者角度看待怎么定义服务。

服务在功能维度对应某一功能，如查询已买订单详情。在Dubbo中，对应某个接口下的方法；在Spring Cloud和gRPC对应一个Http请求。如果从面向函数编程角度，一个服务就是一个function。在Java语言中，class是一切编程的基础，所以将某些服务按照一定的维度进行聚合，放到某个接口中，就成了一个接口包含了很多的服务。

从Dubbo角度来解释下：Dubbo是面向接口编程的远程通信，所以Dubbo是面向服务集的编程，你如果想调用某个服务，必须通过接口的方式引入，然后调用接口中的某个服务。Dubbo Ops中提供的服务查询功能，其实不是查询单个服务，而是通过查询接口(服务集)之后获得具体的方法(服务)。

而在Spring Cloud的世界里，服务提供方会将自己的应用信息(Ip+port)注册成应用下的一个实例，服务消费方和服务提供方按照约定的形式进行Rest请求。每个请求对应的也是一个服务。

和K8s里的service的区别

K8s里的service其实是对应到一组Pod+port列表，和DNS联系紧密；用通俗易懂的方式表达：维护了Pod集合的关系映射。和上面讲的服务是属于不同场景下的两个概念。

按照这个方式定义服务，服务治理的粒度其实也是按照服务粒度，可以针对每个服务设置超时时间，设置路由规则等等。但是服务注册的粒度和服务有什么关系呢？

### 服务注册粒度

一个应用下包含了很多接口，一个接口下包含了很多服务(Dubbo)；或者一个应用包含了很多的服务(Spring Cloud)。分析下应用维度注册和接口维度注册的优缺点。_会有一篇独立的文章来阐述应用维度注册的方案_。

接口维度注册

优点：

*   服务查询按照接口维度查询非常方便，实现难度低
*   应用拆分或者合并的时候，Client端(消费者)无需关心，做到了让用户无感

缺点：

*   和K8s等主流平台的模型对应关系不匹配
*   注册的数据量非常大，有一定的性能风险

应用维度

优点：

*   和K8s，Spring Cloud等模型对应关系一致
*   性能上可以得到很大缓解

缺点：

*   应用拆分或者合并的时候，Client端需要感知 (如果想做到不感知,需要框架开发者维护一份接口和应用映射关系的存储)
*   如果想对用户保持Dubbo原有的接口维度的查询，需要较多的工作量来保证。
*   对用户透明度有所减少，需要在OPS上提供其他一些工具。如供应用开发者可以查看具体某个Ip是否提供了某个服务等等。

Dubbo 和 Spring Cloud
====================

目标：Dubbo和Spring Cloud的服务发现进行统一；Dubbo和Spring Cloud可以互相调用。

### 服务发现统一

Dubbo改造成应用维度的服务注册。（具体不展开，后面文章说明）

### 打通调用

Dubbo实现中，支持将以Rest协议进行暴露，并且让Spring Cloud识别。@桃谷

Dubbo + K8S
===========

在K8s已经阐述过，下面的内容也是假设一个应用部署在一个容器里，一个容器部署在一个Pod里。

接下来方案的讨论，互相之间其实是有关联的，如服务治理可能会影响到服务注册发现，服务查询也不能依赖于服务注册的内容。整个设计的过程是不断优化的过程。下面所说的内容，以Dubbo来举例说明。

### 服务治理

Dubbo原有体系里的服务治理是强依赖于IP，当配置了一套服务治理规则的时候，最后都是基于一个或多个Ip地址。

到K8s体系下之后，要考虑的是Pod的Ip不是固定的。所以当前的路由规则不能满足条件，而且会产生很多规则垃圾数据。K8s体系下，通过service查找Pod，是基于label selector； 通过deployment管理Pod，其实也是基于Pod label selector。所以Pod label selector是在K8s习题中比较通用的解决方案。

以路由规则为例，需要支持一种新的路由规则：label路由。通过一定条件匹配之后，将结果定位到以label selector查询到的Pod列表里，而非原来的Ip列表。

要支持label路由，Client端需要获取到Client端自己的Pod label信息，还需要获取到server Pod列表中每个Pod的label信息。

应用获取当前Pod的信息方式

1.  Pod定义环境变量，应用获取

Dubbo提供对环境变量读取的支持，Pod中需要按照Dubbo定义的环境变量设置具体的Pod信息。

1.  通过Downward Api传递Pod信息

Dubbo需要提供对Downward的目录读取，Pod中需要定制downward的对应配置。

1.  通过Api server获取数据

最强大的方式，但是应用需要强依赖于Api server。

应用获取其他Pod的信息方式

1.  通过调用其他Pod的服务获取

依赖于应用能获取自身的Pod信息，同时将自身的Pod信息暴露成服务(rest或dubbo协议)

Client端通过调用对用的Pod获取到对应Pod的完整信息。

1.  通过api server获取数据

很强大，但增加了对api server的依赖。

### 服务注册和发现

K8s体系下，RPC服务发现有几种方式:

*   注册机制：将Ip写入注册中心，用心跳保持连接；当心跳停止，从注册中心删除。
*   利用Service+DNS：新建一个Service，可以通过标签选择到一组Pod列表，这个service对应一个不变的集群Ip；Client端通过DNS方式或者直接访问集群Ip。这个集群Ip，约等于实现了负载均衡 (Iptable方式)。
*   利用headless service(DNS)：headless service和上面的service的区别是，它不提供集群Ip，通过主机名的形式获取一组Ip列表，Client端自己决定访问哪个Pod。
*   api server： Client端直接请求Api server，获取到Pod的列表，Client自己决定访问Pod的逻辑。同时获取的时候增加watch，api server会将Pod的变化信息同步Client。

通过拿到Server端的Ip或者host，Client端就可以发起Http或者其他协议的请求。

下面介绍符合Dubbo的可行方案：

#### 1\. Dubbo + Zookeeper Pod cluster (HSF+CS cluster)

这是最简单的方式，Dubbo本身不需要做任何改造。

带来的问题是增加了ZooKeeper的维护，同时这个方案很不云原生，和K8s的体系没有任何关系。

脑暴

上面方案是将ZooKeeper作为注册中心，那么是否可以将K8s里service作为注册中心呢？dubbo里每个接口去建立一个service，每个应用实例启动过程中去更新Endpoint信息，建立Service-> Endpoint-> Ip列表的关系。

这种方案中K8s service的定义被改造了，而且定义了过多的service，service的维护管理是个难题。

基于K8s的场景

在传统的RPC领域，服务分成服务注册和服务发现。在K8s领域Pod和应用是一对一的关系，K8s本身就提供了Pod查找的能力，所以一定程度上服务注册其实可以不存在，而只需要服务发现。但是这个其实需要一个前提：

> dubbo需要将服务注册发现的粒度改造成应用维度。
>
> 在运维层面，将app=xxx (应用名)写入到Pod的label中。

#### 2\. Dubbo + K8s DNS

如果K8s service提供了cluster Ip，那么Dubbo只负责调用该集群Ip，路由和负载均衡的逻辑则交给了K8s的proxy来完成。此方案削减了Dubbo的核心能力。

接下来讨论headless service提供的能力。

通过请求`<service>.<ns>.svc.<zone>. IN A` 的方式发起请求获取Ip列表，但是需要轮询方式不断获取更新的Ip列表。[参考](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fgithub.com%2Fkubernetes%2Fdns%2Fblob%2Fmaster%2Fdocs%2Fspecification.md%2324---records-for-a-headless-service)

服务治理相关的功能，需要在上述服务治理部分中独立支持。

#### 3\. Dubbo + Api Server


Pod的容器中部署的dubbo应用，**服务注册流程可以直接删除，服务发现功能通过和Api Server进行交互**，获取Pod和service信息，同时watch Pod和service的变更。通过这种方式之后，服务治理相关的信息也可以通过Api Server直接获取。

#### 4\. Dubbo + Istio + Envoy

Dubbo可以直接使用指定Ip+端口的方式调用同一个Pod下Envoy (也可能是同一个node的Envoy)。Dubbo将路由规则，负载均衡，熔断等功能交给Istio和Envoy。Envoy需要支持Dubbo协议的转发。

所以Dubbo需要完成两个事情：本地IP直连(现有功能)， 多余功能裁剪(暂未实现)。

#### 5\. Dubbo + Istio


Dubbo 应用不再依赖 Envoy 作为 sidecar ，而是直接和 Istio 进行交互，把 Istio 作为注册中心，作为服务治理的配置中心。

Dubbo 需要提供类似的 xDS 协议，在pilot将service的instance转换成dubbo的协议格式。

Dubbo 还需要去适配 istio 的一些功能，如健康检查，安全相关的逻辑。具体实现可以参考 Envoy 的实现。

#### 6\. Dubbo和 Istio 在 K8s 体系下共存

这个可选择的方案较多，我提供两种思路，供大家思考：

所有的服务注册通过K8s的机制完成，所有的服务发现通过 Headless service 完成。sidecar 在创建过程中，需要对原有的 K8s service 进行 update 。

Nacos 作为 Dubbo 的注册中心，并且需要将 K8s 中的数据进行部分中转。Dubbo 应用，将服务注册以应用维度注册到 Nacos ，Istio Pilot 需要识别 Nacos 数据；Istio 的运行机制基本不变，需要将 K8s service instance 的数据写入到 nacos ，供 Dubbo 调用。

#### 7\. 云上和云下环境共存 & 云上多集群环境

Istio 提供了跨集群和云上云下的解决方案， kubeFed 作为 K8s 的跨集群解决方案也能起到一定作用。

这个课题的复杂度更加高，心中有了一些答案，期望大家通过上文也有一定的思考。

### 服务查询

抛出三种方式，供大家思考。

#### Dubbo原有方式

[Dubbo原有的服务查询](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fgithub.com%2Fapache%2Fdubbo-admin)是针对接口的查询，每个接口会有版本号和组别。接口名+版本号+组别确定唯一的服务集合，这个服务集下有对应的服务提供者和服务消费者(接口级依赖)，服务提供者是一组Ip+port列表，服务消费者也是一组Ip+port列表。


当做了改造成应用级别的服务注册或者直接使用K8s自带的Pod发现机制的话，需要做一些改造，这部分改造，和前面提到的一样，放到其他文章里单独说明。

#### 只支持应用查询

和Spring Cloud类似，支持应用维度的查询。查询到具体应用之后，应用详情下包含了Ip+port列表，每个Ip+port其实就是一个应用的实例。点击开每个应用实例，可以查看每个应用的详细信息，详细信息包含了该实例提供了哪些服务。

#### 接口+应用查询均衡

在原来只支持应用查询的基础上，增加一步：支持查询某个接口对应的应用列表，而大部分接口只属于一个应用。

再点击应用列表下具体的应用之后，会跳到应用详情。

总结
==

上述讨论的是开源的方案，所以相对历史包袱比较少。对一些大公司想从原有的RPC方案切换到云原生的支持，需要考虑更多兼容性和性能，需要付出更大的代价。

云原生的趋势已经势不可挡，在RPC领域究竟哪种方案最终能够胜出，现在还言之过早。我相信Service Mesh 和传统的RPC (Dubbo/ gRPC) 都会有自己的一席之地，一切让时间给我们答案吧。

作者简介：曹胜利，Apache Dubbo PMC，关注RPC领域。在阿里内部负责Dubbo开源和ClassLoader隔离器Pandora Boot。

 

[原文链接](https://yq.aliyun.com/articles/722550?utm_content=g_1000083394)

本文为云栖社区原创内容，未经允许不得转载。