写点什么

Spring Boot 应用在 kubernetes 的 sidecar 设计与实战

作者:程序员欣宸
  • 2022 年 7 月 03 日
  • 本文字数:8096 字

    阅读完需:约 27 分钟

Spring Boot应用在kubernetes的sidecar设计与实战

欢迎访问我的 GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos


  • 基于 Spring Boot 框架的应用如何在 kubernetes 环境部署,是沿用 Docker 容器的做法还是另有其他?接下来咱们从理论到设计再到实战,一起来感受传统后台应用在容器环境的微妙变化;

Spring Boot 应用

  • 基于 Spring Boot 框架的应用,通常会构建成 XXX.jar 文件,执行 java -jar XXX.jar 来运行该应用;

Docker 下的 Spring Boot 应用镜像

  • Docker 环境下,通常用 Maven 的 docker-maven-plugin 插件将应用打包成镜像,例如以 java:8u111-jdk 作为基础镜像再加入 jar 文件,这样容器启动的时候执行 java -jar XXX.jar 就能将应用运行起来了;

传统思路

  • Spring Boot 应用镜像在 kubernetes 声明为 Pod,即可正常运行;

  • 但是,这是合适的做法么?去 K8S 官网需要一些理论上的指导吧;

寻找官方的理论依据

  • 官方文档地址:https://kubernetes.io/docs/concepts/workloads/pods/pod-overview/

  • 其中对 Pod 中多个容器的关系描述如下:



  • 上图红框中提到一个容器基于共享资源对外提供服务,另一个"sidecar"容器负责更新这些共享资源;

  • 在 Kubernetes 中文社区的文档中也对此作了阐述,地址是:http://docs.kubernetes.org.cn/312.html



  • 在提到 Pod 中的 sidecar 模式时,官方文档用到"relatively advanced"来形容,进一步证实了当下该模式的正确性,如下图:



  • 具体的实现模型如下图:


Spring Boot 应用的 sidecar 设计

  • 根据 kubernetes 官方文档的指导,再结合 SpringBoot 应用的特点,我设计出的 sidecar 部署方式如下:



  • 该应用的业务服务被封装在一个 Pod 定义中,该 Pod 由两个容器组成;

  • 绿色容器是来自 OpenJDK 官方镜像:openjdk:8u181-jre-alpine3.8,用 docker history 命令查看体积,几十兆不算大:


[root@localhost work]# docker history openjdk:8u181-jre-alpine3.8IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT2e01f547f003        12 days ago         /bin/sh -c set -x  && apk add --no-cache  ...   78.6 MB             <missing>           12 days ago         /bin/sh -c #(nop)  ENV JAVA_ALPINE_VERSION...   0 B                 <missing>           12 days ago         /bin/sh -c #(nop)  ENV JAVA_VERSION=8u181       0 B                 <missing>           7 weeks ago         /bin/sh -c #(nop)  ENV PATH=/usr/local/sbi...   0 B                 <missing>           7 weeks ago         /bin/sh -c #(nop)  ENV JAVA_HOME=/usr/lib/...   0 B                 <missing>           7 weeks ago         /bin/sh -c {   echo '#!/bin/sh';   echo 's...   87 B                <missing>           7 weeks ago         /bin/sh -c #(nop)  ENV LANG=C.UTF-8             0 B                 <missing>           7 weeks ago         /bin/sh -c #(nop)  CMD ["/bin/sh"]              0 B                 <missing>           7 weeks ago         /bin/sh -c #(nop) ADD file:25c10b1d1b41d46...   4.41 MB
复制代码


  • 之所以要用 jre-alpine 版本,是因为 8u181-jdk 版本相比之下大了很多,如下所示:


[root@localhost work]# docker history openjdk:8u181-jdkIMAGE               CREATED             CREATED BY                                      SIZE                COMMENT954739b8bdfb        7 days ago          /bin/sh -c /var/lib/dpkg/info/ca-certifica...   355 kB              <missing>           7 days ago          /bin/sh -c set -ex;   if [ ! -d /usr/share...   348 MB              <missing>           7 days ago          /bin/sh -c #(nop)  ENV CA_CERTIFICATES_JAV...   0 B                 <missing>           7 days ago          /bin/sh -c #(nop)  ENV JAVA_DEBIAN_VERSION...   0 B                 <missing>           3 weeks ago         /bin/sh -c #(nop)  ENV JAVA_VERSION=8u181       0 B                 <missing>           3 weeks ago         /bin/sh -c #(nop)  ENV JAVA_HOME=/docker-j...   0 B                 <missing>           3 weeks ago         /bin/sh -c ln -svT "/usr/lib/jvm/java-8-op...   33 B                <missing>           3 weeks ago         /bin/sh -c {   echo '#!/bin/sh';   echo 's...   87 B                <missing>           3 weeks ago         /bin/sh -c #(nop)  ENV LANG=C.UTF-8             0 B                 <missing>           3 weeks ago         /bin/sh -c apt-get update && apt-get insta...   2.21 MB             <missing>           3 weeks ago         /bin/sh -c apt-get update && apt-get insta...   142 MB              <missing>           3 weeks ago         /bin/sh -c set -ex;  if ! command -v gpg >...   7.8 MB              <missing>           3 weeks ago         /bin/sh -c apt-get update && apt-get insta...   23.2 MB             <missing>           3 weeks ago         /bin/sh -c #(nop)  CMD ["bash"]                 0 B                 <missing>           3 weeks ago         /bin/sh -c #(nop) ADD file:b3598c18dc39584...   101 MB  
复制代码


  • 红色容器的镜像是用 Spring Boot 应用构建出来的,稍后再详细整个过程;

  • 在 kubernetes 环境,这两个容器会挂载同一个 Volume,红色容器将 jar 放在此处,绿色容器使用此处的 jar;

  • 红色容器用来提供 jar,没有进程需要保持运行状态,很适合设置为 Init Container 类型;

  • 绿色容器的 java 进程是长久运行的;

  • 以上就是整体设计思路,接下来咱们就来实战吧,分三步完成:

实战步骤列举

  • 本次实战分为以下几部分组成:

  • 开发 Spring Boot 应用;

  • 制作 Docker 镜像,做两个版本,以便验证升级;

  • 编写 yaml 文件;

  • 在 kubernetes 环境部署,验证;

  • 升级版本,验证;

环境和版本信息

  1. 编译构建的 jdk 和运行的 jre 都用 1.8 版本;

  2. maven:3.3.3;

  3. spring boot:2.1.0.RELEASE;

  4. docker:1.13.1;

  5. kubernetes:1.12.2;


  • 本次实战一共有四台 CentOS7 机器,基本信息如下:


  • kubernetes 环境由 localhost、node1、node2 三台机器组成,maven 负责编译构建、生成镜像、上传到镜像仓库等操作;

开发 Spring Boot 应用

  • 这是个简单的 Spring Boot 应用,对外提供一个 http 接口,返回一个字符串;

  • 您可以选择直接从 GitHub 下载这个工程的源码,地址和链接信息如下表所示:



  • 这个 git 项目中有多个文件夹,本章源码在 springbootsidecardemo 这个文件夹下,如下图红框所示:



  • 您也可以随本文一起来开发这个应用:

  • 应用名为 springbootsidecardemo,是用 maven 构建的,JDK 使用 1.8,Spring Boot 版本 2.1.0.RELEASE;

  • 应用的 pom.xml 如下,为了构建 Docker 镜像使用了 docker-maven-plugin 插件,该插件具体的配置请参照下面的注释:


<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    <modelVersion>4.0.0</modelVersion>
<groupId>com.bolingcavalry</groupId> <artifactId>springbootsidecardemo</artifactId> <version>0.0.1</version> <packaging>jar</packaging>
<name>springbootsidecardemo</name> <description>Demo project for Spring Boot sidecard demo in K8S</description>
<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.0.RELEASE</version> <relativePath/> <!-- lookup parent from repository --> </parent>
<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding> <java.version>1.8</java.version> </properties>
<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency>
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies>
<build> <finalName>app</finalName> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin>
<!--新增的docker maven插件--> <plugin> <groupId>com.spotify</groupId> <artifactId>docker-maven-plugin</artifactId> <version>0.4.12</version> <!--docker镜像相关的配置信息--> <configuration> <!--镜像名,这里用工程名--> <imageName>bolingcavalry/${project.artifactId}</imageName> <!--TAG,这里用工程版本号--> <imageTags> <imageTag>${project.version}</imageTag> </imageTags> <!--镜像的FROM,使用busybox--> <baseImage>busybox</baseImage> <!--构建镜像的配置信息--> <resources> <resource> <targetPath>/</targetPath> <directory>${project.build.directory}</directory> <include>app.jar</include> </resource> </resources> </configuration> </plugin> </plugins> </build></project>
复制代码


  • 上面的配置有一处需要注意,就是基础镜像的选择(就是 baseImage 节点中的内容),我用了 busybox,用它是因为够小,来看 docker 镜像仓库中的描述,地址是 https://hub.docker.com/_/busybox/:



  • 看到这里,可能会有朋友问"为什么不用 scratch?它比 busybox 更小",scratch 虽小,但不带基本的 shell 命令,例如 cp 命令,而后容器启动时要用 cp 命令对文件做复制操作,因此只能选择 busybox 了;

  • Controller 类的代码也很简单:


package com.bolingcavalry.springbootsidecardemo.controller;
import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;
import java.util.Date;
/** * @Description: 一个最普通的Controller,hello接口返回一个字符串并带上当前时间 * @author: willzhao E-mail: zq2599@gmail.com * @date: 2018/11/6 14:15 */@RestControllerpublic class HelloController {
@RequestMapping(value = "/hello") public String hello(){ return "Hello version 1.0 " + new Date(); }}
复制代码

制作应用的 Docker 镜像

  • 请确保您当前环境的 maven 和 Docker 都已经 OK 了;

  • 在应用的 pom.xml 所在目录执行如下命令即可构建 Docker 镜像:


mvn clean package -U -DskipTests docker:build
复制代码


  • 构建成功的控制台输出如下:


[INFO] Building image bolingcavalry/springbootsidecardemo[INFO] Building image bolingcavalry/springbootsidecardemoStep 1/2 : FROM busybox ---> 59788edf1f3eStep 2/2 : ADD /app.jar // ---> 8105c9ac033bRemoving intermediate container fdc62513abf6Successfully built 8105c9ac033b[INFO] Built bolingcavalry/springbootsidecardemo[INFO] Tagging bolingcavalry/springbootsidecardemo with 0.0.1[INFO] ------------------------------------------------------------------------[INFO] BUILD SUCCESS[INFO] ------------------------------------------------------------------------[INFO] Total time: 5.354 s[INFO] Finished at: 2018-11-06T05:07:08-08:00[INFO] Final Memory: 42M/225M[INFO] ------------------------------------------------------------------------
复制代码


  • 构建成功后用 docker history 命令查看镜像,如下,三个 layer 组成:


root@maven:~# docker history bolingcavalry/springbootsidecardemo:0.0.1IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT8105c9ac033b        46 minutes ago      /bin/sh -c #(nop) ADD file:909ca8e9c8898cd...   16.6 MB             59788edf1f3e        4 weeks ago         /bin/sh -c #(nop)  CMD ["sh"]                   0 B                 <missing>           4 weeks ago         /bin/sh -c #(nop) ADD file:63eebd629a5f755...   1.15 MB
复制代码


  • 去工程的 target 目录下看看构建的 app.jar 文件,如下所示,也是 16 兆,所以这个镜像已经被做到最小了,相对于以前那种 JAVA 环境+jar 文件的镜像,这个镜像更易于下载和上传:


root@maven:/usr/local/work/github/blog_demos/springbootsidecardemo/target# ls -altotal 16276drwxr-xr-x 9 root root     4096 Nov  6 05:08 .drwxr-xr-x 5 root root     4096 Nov  6 05:29 ..-rw-r--r-- 1 root root 16621351 Nov  6 05:08 app.jar-rw-r--r-- 1 root root     4432 Nov  6 05:08 app.jar.originaldrwxr-xr-x 3 root root     4096 Nov  6 05:08 classesdrwxr-xr-x 2 root root     4096 Nov  6 05:08 dockerdrwxr-xr-x 3 root root     4096 Nov  6 05:08 generated-sourcesdrwxr-xr-x 3 root root     4096 Nov  6 05:08 generated-test-sourcesdrwxr-xr-x 2 root root     4096 Nov  6 05:08 maven-archiverdrwxr-xr-x 3 root root     4096 Nov  6 05:08 maven-statusdrwxr-xr-x 3 root root     4096 Nov  6 05:08 test-classes
复制代码


  • 执行 docker push 命令,将镜像推送到镜像仓库中,我这里是推送到了 hub.docker.com,您可以根据实际情况来执行,例如私有仓库、阿里云等都可以,当然了,如果当前机器就是 K8S 的机器就不用推送了,毕竟此镜像就是在 K8S 环境用的;

  • 如果觉得推送到仓库太慢,或者从仓库下载太慢,也可以使用文件导入导出的方式,具体操作如下:


#将镜像导出为tar文件docker save 2e01f547f003 > 1.tar
###将tar文件还原为镜像docker load < 1.tar
###还原后的镜像的名称和tag都不对,要用tag命令来设置docker tag 8105c9ac033b bolingcavalry/springbootsidecardemo:0.0.1
复制代码

制作应用升级版的 Docker 镜像

  • 为了验证 K8S 下的应用升级,做好 tag 为 0.0.1 的镜像之后,我们改动应用代码,把 pom.xml 中的版本改成 0.0.2,然后再做个镜像,这样稍后在 K8S 就能验证 Pod 升级了;

  • 修改 HelloController.java 的源码,hello 方法返回的字符串,之前是 Hello version 1.0,现在改成 Hello version 2.0

  • 修改 pom.xml 中的 version 节点,之前是 0.0.1,现在改成 0.0.2,由于我们已配置了镜像 tag 就是工程版本,因此新构建的镜像 tag 会是 0.0.2;

  • 再次执行 maven 命令构建,然后推送到镜像仓库;

  • 此时我们有两个镜像了:


root@maven:~# docker images | grep sidecarbolingcavalry/springbootsidecardemo                                 0.0.2        f6ba01c33388        11 hours ago        17.8 MBbolingcavalry/springbootsidecardemo                                 0.0.1        8105c9ac033b        11 hours ago        17.8 MB
复制代码


  • 现在镜像已经 OK,该准备部署到 kubernetes 环境了;

编写 yaml 文件

  • 在可以执行 kubectl 命令的机器上编写配置文件,Pod 的配置 javaweb-deploy.yaml 文件内容如下:


apiVersion: extensions/v1beta1kind: Deploymentmetadata:  name: javawebspec:  replicas: 1  template:    metadata:     labels:      name: javaweb    spec:     initContainers:     - image: bolingcavalry/springbootsidecardemo:0.0.1       name: appjar       command: ["cp", "/app.jar", "/app"]       volumeMounts:       - mountPath: /app         name: app-volume     containers:     - image: openjdk:8u181-jre-alpine3.8       name: openjdk8u181       command: ["java","-jar","/webapp/app.jar"]       volumeMounts:       - mountPath: /webapp         name: app-volume       ports:       - containerPort: 8080     volumes:     - name: app-volume       emptyDir: {}
复制代码


  • 从上述配置中,有两处需要注意:

  • 第一,应用镜像被设置为 initConteiners 类型的容器,被设置执行 cp 命令将自己的 app.jar 文件复制到共享的 Volume;

  • 第二,一直运行用于提供服务的容器,来自 openjdk 镜像的 java 进程,该进程加载的 jar 文件就是共享的 Volume 中的 app.jar;

  • 为了能在浏览器上访问该应用,再部署个 service,其配置文件 javaweb-svc.yaml 的内容如下:


apiVersion: v1kind: Servicemetadata:  name: javawebspec:  type: NodePort  ports:       - port: 8080         nodePort: 30008  selector:    name: javaweb
复制代码


  • 启动 pod 和 service,在前面的 yaml 文件所在目录执行命令如下:


kubectl create -f javaweb-deploy.yaml \&& kubectl create -f javaweb-svc.yaml
复制代码


  • service 的类型是 NodePort,因此可以通过 Node 节点的 IP 地址访问服务,我这边 Node 地址为 192.168.119.159,因此访问地址就是:http://192.168.119.159:30008/hello ,在浏览器访问返回如下内容:



  • 符合预期,证明主容器加 sidecar 容器的组合方式是可以正常工作的,接下来试试升级;

升级版本

  • 接下来模拟生产环境的应用升级,前面准好了两个版本的应用镜像:0.0.1 和 0.0.2,现在 K8S 环境运行的是 0.0.1,咱们将其升级为 0.0.2:

  • 修改 javaweb-deploy.yaml 文件中镜像的 tag,从 0.0.1 改成 0.0.2,如下图红框所示:



  • 在 javaweb-deploy.yaml 文件所在目录执行如下命令即可完成升级:


kubectl apply -f javaweb-deploy.yaml
复制代码


  • 在浏览器访问 http://192.168.119.159:30008/hello,返回如下内容,可见的确是修改后的应用逻辑:



  • 升级成功,符合预期;

小结

  • sidecar 模式下,仅需更新应用 jar 打包的镜像,这个镜像可以做到极小;

  • 提供 java 进程的镜像是固定的,在 K8S 环境下,一个 Node 上实际运行着多种 pod,如果他们的 java 进程都由一个镜像提供,其好处是不言而喻的;

  • Spring Boot 应用的运行,是由 java 进程与应用 jar 文件组成的,很适合 sidecar 模式,通过容器解耦,通过 pod 对外服务;

  • 至此,Spring Boot 应用在 kubernetes 的 sidecar 设计与实战就全部完成了,希望此文能助您将应用以 sidecar 模式部署在 kubernetes,如果您发现我对官网的指导内容理解有误或有偏差,欢迎您的热心指正,谢谢!

参考文档

欢迎关注 InfoQ:程序员欣宸

学习路上,你不孤单,欣宸原创一路相伴...

发布于: 2022 年 07 月 03 日阅读数: 45
用户头像

搜索"程序员欣宸",一起畅游Java宇宙 2018.04.19 加入

前腾讯、前阿里员工,从事Java后台工作,对Docker和Kubernetes充满热爱,所有文章均为作者原创,个人Github:https://github.com/zq2599/blog_demos

评论

发布
暂无评论
Spring Boot应用在kubernetes的sidecar设计与实战_Java_程序员欣宸_InfoQ写作社区