写点什么

OpenKruise v0

作者:Java高工P7
  • 2021 年 11 月 11 日
  • 本文字数:2420 字

    阅读完需:约 8 分钟

  • 目前 kruise 提供的官方镜像支持 Linux 的 amd64(x86)、arm64、arm/v7 架构,如果你的集群中存在非以上架构的节点,暂时是无法正常运行 kruise-daemon 的,有这类需求的同学可以提issue 说明你的需求。

  • 如果你存在上述情况,或者你不希望在某些节点上安装 kruise-daemon,可以在 helm 安装的时候通过 daemon.affinity 参数来指定 kruise-daemon 部署的亲和性规则。


2. 规模化镜像预热能力




在 Kubernetes 生态中,过去并没有一个成熟的镜像预热开源解决方案,可能更多的是一些公司在内部会落地一些适配于本地场景的预热,这其中也包括阿里巴巴。不过从 v0.8.0 开始,我们将阿里巴巴所做的镜像预热能力完全通用化输出到 OpenKruise 中,并且阿里内部的镜像预热也完全统一到这套开源的实现上来了。


OpenKruise 镜像预热的具体实现原理,我们会在后续的专项文章中做详细介绍,这里只以一个最简单的例子演示下如何做一个镜像的预热:


apiVersion: apps.kruise.io/v1alpha1


kind: ImagePullJob


metadata:


name: job-nginx


spec:


image: nginx:1.9.1 # [required] 完整的镜像名 name:tag


parallelism: 10 # [optional] 最大并发拉取的节点梳理, 默认为 1


selector: # [optional] 指定节点的 名字列表 或 标签选择器 (只能设置其中一种),不设置表示全部节点


names:


  • node-1

  • node-2


matchLabels:


node-type: xxx


completionPolicy:


type: Always # [optional] 默认为 Always


activeDeadlineSeconds: 1200 # [optional] 无默认值, 只对 Alway 类型生效


ttlSecondsAfterFinished: 300 # [optional] 无默认值, 只对 Alway 类型生效


pullPolicy: # [optional] 每个节点上拉镜像的侧脸,默认 backoffLimit=3, timeoutSeconds=600


backoffLimit: 3


timeoutSeconds: 300


ImagePullJob 有两种 completionPolicy 类型:


  • Always 表示这个 job 是一次性预热,不管成功、失败都会结束

  • activeDeadlineSeconds:整个 job 的 deadline 结束时间

  • ttlSecondsAfterFinished:结束后超过这个时间,自动清理删除 job

  • Never 表示这个 job?是长期运行、不会结束,并且会每天都会在匹配的节点上重新预热一次指定的镜像


详细信息参考官网文档:https://openkruise.io/zh-cn/docs/imagepulljob.html


3. SidecarSet 全新重构实现




SidecarSet 是一个用于管理 sidecar 容器的控制器。在用户创建了 SidecarSet 之后,Kruise 能为后续创建的符合规定条件的 Pod 中自动注入用户定义的 sidecar 容器,以及对已注入的 sidecar 容器做原地升级同时不影响业务容器的运行。


在过去版本中,SidecarSet 的局限性较多,比如用户无法声明只对某个 namespace 生效、sidecar 原地升级时灰度能力较弱等。在 v0.8.0 中,我们全新重构了 SidecarSet 的 controller 和 webhook,并且在 CRD 定义上新增了一些更多能力的策略字段。举一些例子:


  1. spec.namespace:指定只管理具体某个命名空间的 sidecar 注入和升级

  2. 多种注入策略:

  3. podInjectPolicy:指定 sidecar 容器


【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】
浏览器打开:qq.cn.hn/FTf 免费领取
复制代码


注入到 Pod 原 containers 列表的前面还是后面


  1. shareVolumePolicy:与 Pod 中原容器共享卷策略

  2. transferEnv:从原 Pod 中哪些容器里共享哪些环境变量

  3. 多种原地升级策略:

  4. maxUnavailable:升级过程中最大不可用数量

  5. partition:保留旧版本的数量(灰度/分批发布)

  6. selector:只升级符合 selector 条件 Pod 中的 sidecar(金丝雀发布)

  7. scatter:按标签打散发布


详细信息参考官网文档:https://openkruise.io/zh-cn/docs/sidecarset.html


4. 新的 feature-gate 机制




过去 OpenKruise 中的 CRD 以及 controller/webhook 开关,主要配置在 CUSTOM_RESOURCE_ENABLE 环境变量中,而其他一些可配置开关则集中在命令行参数中,带来的问题一来是较为分散,二来一些关联多个 CRD 的功能开关其实很难用 CRD 开关来控制。


因此,目前新增的 feature-gate 机制已经代替了 CUSTOM_RESOURCE_ENABLE 环境变量,聚焦于功能层面。


在 v0.8.0 提供了 PodWebhook、KruiseDaemon 两个开关,前者关闭后 kruise 不会对 pod creation 做 webhook 拦截,但同时也会关闭 SidecarSet 功能,后者关闭后不会部署 kruise-daemon 组件,但同时也会关闭镜像预热功能。后续版本中个,我们会逐渐把过去的开关参数统一到 feature-gate 中。


5. 其余一些变化点




其余部分优化:


  • CloneSet、Advanced StatefulSet 部分逻辑优化。

  • 在官方 DockerHub 之外新增阿里云托管镜像,国内用户可以选择使用阿里云镜像源来安装/升级 Kruise。

  • 调用 apiserver 的 user-agent 细化到控制器。

  • clientset 中为支持 scale 子资源的 CRD 新增 GetScale/UpdateScale 方法。


总结


=======================================================================


OpenKruise v0.8.0 新版本,可以说是 Kubernetes 社区中首个提供开源的规模化镜像预热功能的产品了。而在今年后续的版本里,我们还计划提供利用镜像预热来加速应用发布、应用安全防护、Controller 灰度/分片管控等能力,预计在年中将推出 v1.0 大版本。


OpenKruise 是一个成熟的 CNCF 沙箱项目,除了在阿里巴巴内大规模应用之外,在行业内也有着广泛的用户案例:


  • 基于原地升级、灰度发布等需求,携程在生产环境使用 CloneSet、AdvancedStatefulSet 来分别管理无状态、有状态应用,单集群 Kruise workload 数量达到万级别。

  • OPPO 公司不仅大规模使用了 OpenKruise,还在下游配合其定制化的 Kubernetes 进一步加强了原地升级,广泛应用在多个业务的后端运行服务中,通过原地更新覆盖了 87% 左右的升级部署需求。

  • 此外,国内的用户还有斗鱼 TV、有赞、苏宁、比心、Boss 直聘、申通、小红书、火花思维、VIPKID、掌门教育、杭银消费、万翼科技、多点 Dmall、佐疆科技、享住智慧、艾佳生活、永辉科技中心、跟谁学、Deepexi,国外的用户有 Lyft、Bringg、Arkane Systems、Spectro Cloud 等。

用户头像

Java高工P7

关注

还未添加个人签名 2021.11.08 加入

还未添加个人简介

评论

发布
暂无评论
OpenKruise v0