Kubernetes (一) SpringCloud 组件进行服务发现

系统环境：

Kubernetes 版本：1.14.0
SpringCloud Kubernetes 版本：1.0.2.RELEASE
示例部署文件 Github 地址：https://mirrors.infvie.org/blog-example/springcloud/springcloud-kubernetes/springcloud-kubernetes-discovery-demo

一、介绍

1.1、组件简介

这里主要介绍的是如何在 Kubernetes 中使用 SpringCloud 框架开发 Java 应用，在这个过程中主要使用的组件就是 SpringCloud Kubernetes 来完成服务发现、动态配置，利用 Feign 来进行服务间的通信等。

这里先简单介绍下 SpringCloud Kubernetes，它主要是提供了使用 Kubernetes 本地服务的 Spring Cloud 通用接口实现。目标是促进 Spring Cloud 和运行在 Kubernetes 中的 Spring Boot 应用程序的集成。

SpringCloud Kubernetes 能在 Kubernetes 中完成服务发现和配置监听功能主要依赖 Fabric8 提供的 Kubernetes Client 组件，该组件是 Kubernetes Java API 的第三方客户端，它的主要功能是远程操作 Kubernetes API 完成在 Kubernetes 环境下的一系列操作。

1.2、功能简介

主要提供以下几种功能：

在 Kubernetes 中实现服务发现、服务名称解析功能。
在 Kubernetes 中读取 ConfigMaps 和 Secrets 的配置，当 ConfigMap 或 Secret 更改时重新加载应用程序属性。
在 Kubernetes 可去掉 Kubernetes 自带的服务负载均衡，实现与 Ribbon 结合,通过 Ribbon 完成负载均衡。

1.3、服务发现简介

在原生的 SpringCloud 中，我们服务发现大多数是通过将服务注册到注册中心(如 Eureka)后通后，各个服务通过连接注册中心，从注册中心定时获取服务列表及服务地址的这种方式完成服务发现。

在 Kubernetes 中所有的 Service、Pod 等信息都会存入 Etcd 中记录，相当于 Ectd 扮演了一个注册中心的角色，并且在 Kubernetes 中能通过 CoreDNS 完成通过 服务名称 + 端口号 方式让各个服务间能相互通信，由此可知我们要是能获一个服务的服务名和端口号就能完成服务间的通信工作，所以重点就在如何获取这两个值。

SpringCloud Kubernetes 这个组件的服务发现目的就是获取上面所述的 Kubernetes 中一个或者多个 Namespace 下的所有 服务列表，且在过滤列表时候设置过滤的 端口号 ，这样获取到服务列表后就能让依赖它们的 SpringBoot 或者其它框架的应用完成服务发现工作，让服务能够通过 http://ServiceName:Port 这种方式进行访问。

1.4、综上个人感慨

综上所述，应用 SpringCloud Kubernetes 作用就是通过它获取 Kubernetes 下的服务列表进行服务发现。故而在这种情况下，没必要在继续坚持在 Kubernetes 上再启动一个 Eureka，然后为了 Eureka 高可用设置为有状态模式 StatefulSet，感觉这有点…..多此一举。

二、环境配置

2.1、配置说明

使用 SrpingCloud Kubernetes 相关组件的服务，在本地测试的时候并不需将程序构建成 Docker 镜像，然后在 Kubernetes 中部署它，因为 SpringCloud Kubernetes 组件依赖于 Fabric8 Kubernetes Java 客户端，可以通过使用 http 协议与 Kubernetes API 进行通信，通过控制 API 来完成一些列操作，所以我们只需要配置 本地环境变量，让其能够有权限调用 Kubernetes API 即可，这样也方便在本地进行程序的调试工作。

2.2、配置操作

这里我们需要平时使用 Kubectl 工具时使用的凭证文件 config 将其放在系统的用户目录中，如果是 Linux 环境且能操作 Kubectl 命令，在该系统中直接用 SpringCloud Kubernetes 组件即可，不过考虑大多数人开发环境是 Windows 系统，本人也是，所以需要将这个 config 复制出来，放到系统的用户目录的 .kube 下面，这里记录下这个操作过程。

由于在用户目录下无法直接创建带”.”的文件夹，所以这里打开 cmd 命令行窗口工具，进入个人用户目录，然后创建”.kube”文件夹，之后将 config 文件复制到该文件夹下即可。

使用管理员身份打开 Windows 的 cmd 命令行窗口

Microsoft Windows [版本 10.0.17763.1]

(c) 2018 Microsoft Corporation。 保留所有权利。

c:\Users\infvie>

使用”cd”命令进入用户目录

$ cd /users/infvie

使用”mkdir”命令创建”.kube”文件夹

$ mkdir .kube

将 linux 中的 config 文件拷贝到上面创建的”.kube”目录下

三、SpringCloud Kubernetes 服务发现示例项目

3.1、Maven 引入相关变量

在”pom.xml”文件中引入 SpringBoot 与 SpringCloud Kubernetes 相关 Jar。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.6.RELEASE</version>
        <relativePath/>
    </parent>

    <groupId>club.infvie</groupId>
    <artifactId>springcloud-k8s-discovery-demo</artifactId>
    <version>0.0.1</version>
    <name>springcloud-k8s-discovery-demo</name>
    <description>SpringCloud Kubernetes Discovery Demo</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <!--SpringBoot Web-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!--SpringBoot Actuator-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <!--SpringCloud Kubernetes Discovery-->
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-kubernetes</artifactId>
            <version>1.0.2.RELEASE</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

3.2、创建一个 Controller 类获取服务列表

这里创建一个 /service 与 /instance 两个接口，用于获取连接 Kubernetes 集群配置文件用户所拥有权限的 Namespace 下的所有 Service 列表和服务实例。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.cloud.client.discovery.DiscoveryClient;
import org.springframework.web.bind.annotation.*;
import java.util.List;

@RestController
public class ServiceController {

    @Autowired
    private DiscoveryClient discoveryClient;

    @GetMapping("/service")
    public List<String> getServiceList(){
        return discoveryClient.getServices();
    }

    @GetMapping("/instance")
    public Object getInstance(@RequestParam("name") String name){
        return discoveryClient.getInstances(name);
    }

}

3.3、创建 application 配置文件

创建 application.yaml 配置文件，设置一些 SpringBoot 基本参数和开启服务发现

spring:
  application:
    name: springcloud-kubernetes-discovery-demo
  cloud:
    kubernetes:
      discovery:
        enabled: true   #开启服务发现

server:
  port: 8080

management:
  server:
    port: 8081
  endpoints:
    web:
      exposure:
        include: "*"

3.4、创建启动类并启用服务发现注解

创建一个 SpringBoot 项目的启动类，且引入服务发现注解 @EnableDiscoveryClient。

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;

@SpringBootApplication
@EnableDiscoveryClient
public class Application {

    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }

}

3.5、测试接口

上面示例中定义了两个接口分别为：

服务列表发现接口：/service
服务实例信息接口：/instance

这里先访问调用 “/service” 接口获取 Kubernetes 中的服务列表，输入地址：http://localhost:8080/service 可以看到服务列表如下所示：

[
    "jenkins",
    "service-customer",
    "service-provider",
    "sonatype-nexus",
    "springboot-admin-k8s",
    "springboot-helloworld",
    "springboot-prometheus-demo",
    "springcloud-k8s-config",
    "swagger-kubernetes"
]

然后再测试 “/instance” 接口，参数 name 输入一个上面服务列表中获取的服务名，这里输入地址：http://localhost:8080/instance?name=springboot-helloworld 可以获得这个服务信息如下所示：

[
    {
        "instanceId": "9950be16-95d3-11e9-a040-000c29d98697",
        "serviceId": "springboot-helloworld",
        "secure": false,
        "metadata": {
            "app": "springboot-helloworld",
            "port.server": "8080",
            "admin": "enabled",
            "group": "A",
            "port.management": "8081"
        },
        "scheme": "http://",
        "host": "10.20.2.89",
        "port": 8081,
        "uri": "http://10.20.2.89:8081"
    }
]

由上可知通过 spring-cloud-starter-kubernetes 组件能够发现服务所在当前 Namespace 下的所有 Service 列表，且能够通过 Service名称 获取服务的基本信息。

四、服务发现可配参数

下面将介绍下 SpringCloud Kubernetes 服务发现组件有哪些基本参数可用进行配置。

4.1、可配置参数表

在 SpringCloud Kubernetes 官方 Github 和对应说明文档中并没有发现”服务发现”模块的配置参数，所以无奈本人只好自己查看 SpringCloud Kubernetes 的源码，分析它可配置的参数并且用 Debug 模式对这些参数进行效验，总结出下面这些配置参数和用法。

参数名称	类型	默认值	参数描述
spring.cloud.kubernetes.discovery.enabled	Boolean	true	是否启用服务发现
spring.cloud.kubernetes.discovery.filter	String	“”	从 Kubernetes 获取 Service 列表的过滤条件，通过Spring EL表达式来写
spring.cloud.kubernetes.discovery.serviceLabels	Map	“”	指定特定 Label 的 Service 通过筛选,为空则不根据 Label 进行筛选
spring.cloud.kubernetes.discovery.primaryPortName	String	“”	指定允许通过筛选的 Service 端口名称,为空则默认添加全部端口
spring.cloud.kubernetes.discovery.knownSecurePorts	Set	443,8443	指定 Kubernetes 的安全端口列表
spring.cloud.kubernetes.discovery.metadata.addLabels	Boolean	true	是否获取服务实例后，在 Label 前面添加前缀
spring.cloud.kubernetes.discovery.metadata.labelsPrefix	String	“”	设置获取服务实例后往其 Label 添加前缀的值
spring.cloud.kubernetes.discovery.metadata.addAnnotations	Boole版权声明：本文遵循 CC 4.0 BY-SA 版权协议，若要转载请务必附上原文出处链接及本声明，谢谢合作！an	true	是否获取服务实例后，在 Annotations 前面添加前缀
spring.cloud.kubernetes.discovery.metadata.annotationsPrefix	String	“”	设置获取服务实例后往其 Annotations 添加前缀的值
spring.cloud.kubernetes.discovery.metadata.addPorts	Boolean	true	是否获取服务实例后，在 Ports 前面添加前缀
spring.cloud.kubernetes.discovery.metadata.portsPrefix	String	“”	设置获取服务实例后往其 Ports 添加前缀的值

4.2、配置参数说明及示例

(1)、开启服务发现

参数：spring.cloud.kubernetes.discovery.enabled
可配参数：false、true
参数描述：是否开启 SpringCloud Kubernetes 服务发现。
例子：

开启服务发现：

spring:
  cloud:
    kubernetes:
      discovery:
        enabled: true

关闭服务发现：

spring:
  cloud:
    kubernetes:
      discovery:
        enabled: false

(2)、配置标签过滤服务

参数：spring.cloud.kubernetes.discovery.serviceLabels
可配参数：k8s Service 的 metadata 中的 Label 属性。
参数描述：可以通过设置该参数，根据该参数的 Label 键值对来过滤 Kubernetes 服务发现列表，如果服务不带设置的标签就将服务过滤掉。
例子：

例如 Kubernetes 中有两个 Service 对象，内容如下：

Service A：

kind: Service
apiVersion: v1
metadata:
  name: service-A
  namespace: infviecloud
  labels:
    app: service-A
    group: A
spec:
  type: ClusterIP
  ports:
    - name: server
      port: 8080
      targetPort: 8080
  selector:
    app: service-A

Service B：

kind: Service
apiVersion: v1
metadata:
  name: service-B
  namespace: infviecloud
  labels:
    app: service-B
    group: B
spec:
  type: ClusterIP
  ports:
    - name: server 
      port: 8080
      targetPort: 8080
  selector:
    app: service-B

在 SpringCloud Kubernetes 服务发现例子中配置serviceLabels参数来完成只发现带”group:A”标签的服务，然后进行效果验证：

配置：

spring:
  cloud:
    kubernetes:
      discovery:
        enabled: true
        serviceLabels:
          group: A          #只发现带 group:A 的标签的服务

运行程序得出结论：服务发现列表中只有 Service A，说明只服务发现带”group:A”标签的服务。

(3)、配置端口过滤服务

参数：spring.cloud.kubernetes.discovery.primaryPortName
可配参数：k8s Service 的 Ports 的 name 属性。
参数描述：如果该 Service 只有一个端口则直接设置该端口为服务发现端口。如果存在多个端口则利用配置的端口名和 Service 的端口名称进行匹配，如果匹配上就设置该端口为服务发现端口，如果都没有匹配上，则过滤掉此服务。
例子：

Service A：

kind: Service
apiVersion: v1
metadata:
  name: service-A
  namespace: infviecloud
  labels:
    app: service-A
spec:
  type: ClusterIP
  ports:
    - name: server      #只设置一个端口
      port: 8080
      targetPort: 8080
  selector:
    app: service-A

Service B：

kind: Service
apiVersion: v1
metadata:
  name: service-B
  namespace: infviecloud
  labels:
    app: service-B
spec:
  type: ClusterIP
  ports:
    - name: server      #端口1
      port: 8080
      targetPort: 8080
    - name: management  #端口2
      port: 8081
      targetPort: 8081
  selector:
    app: service-B

在 SpringCloud Kubernetes 服务发现例子中设置三个配置，然后进行效果验证：

配置1：设置过滤端口名为 server。
配置2：设置过滤端口名为 management。
配置3：设置过滤端口名为两个 Service 中都不存在的端口名。

配置1：

spring:
  cloud:
    kubernetes:
      discovery:
        enabled: true
        primaryPortName: server     #Service A、Service B 都存在的端口名

配置2：

spring:
  cloud:
    kubernetes:
      discovery:
        enabled: true
        primaryPortName: management  #Service B 存在的端口名

配置3：

spring:
  cloud:
    kubernetes:
      discovery:
        enabled: true
        primaryPortName: none        #两个service都不存在的端口名

然后进行效果验证，得到下面结论：

配置1：发现 Service A (端口名：server) 与 Service B (端口名：server) 服务实例。
配置2：发现 Service A (端口名：server) 与 Service B (端口名：management) 服务实例。
配置3：发现 Service A (端口名：server) 服务实例。

由此可知，当服务只存在一个端口时候，直接设置为服务发现端口，如果存在多个端口，则和设置参数中输入的端口名进行匹配来筛选服务发现端口，如果都未匹配上则过滤该服务。一般此配置参数和上一个的过滤标签参数配合使用。

(4)、通过 SpringEL 表达式过滤服务

参数：spring.cloud.kubernetes.discovery.filter
可配参数：SpringEL 中 Boolean 类型的表达式，表达式中的值只能为 Kubernetes Service 对象中存在的参数。
参数描述：可以通过在参数中写一段 SpringEL Boolean 类型的表达式来过滤服务，如果发现的服务实例中对象参数中的值在 SpringEL 表达式中为 true，则将该服务加入服务发现类别，为 false 则过滤掉该服务。
例子：

这里展示一个 Kubernetes 中的 Service，然后写 SpringEL 表达式来验证该服务是否能加入服务发现列表。

kind: Service
apiVersion: v1
metadata:
  name: service-A
  namespace: infviecloud
  labels:
    app: service-A
spec:
  type: ClusterIP
  ports:
    - name: server
      port: 8080
      targetPort: 8080
  selector:
    app: service-A

在 SpringCloud Kubernetes 服务发现例子中设置几个不同的 SpringEL 表达式配置进行验证：

配置1：发现服务名不为 service-A 的所有服务
配置2：发现服务中包含一个或两个端口的所有服务
配置3：发现服务类型为 NodePort 的所有服务