写点什么

Karmada v1.10 发布,新增多集群声明式负载重平衡

  • 2024-06-19
    广东
  • 本文字数:2477 字

    阅读完需:约 8 分钟

Karmada v1.10发布,新增多集群声明式负载重平衡

本文分享自华为云社区《Karmada v1.10 - 多集群声明式负载重平衡》,作者:云容器大未来。


Karmada 是开放的多云多集群容器编排引擎,旨在帮助用户在多云环境下部署和运维业务应用。凭借兼容 Kubernetes 原生 API 的能力,Karmada 可以平滑迁移单集群工作负载,并且仍可保持与 Kubernetes 周边生态工具链协同。


在最新发布的 v1.10 版本中,Karmada 新增了工作负载重平衡功能:在某些场景下,资源副本的当前分布状态可能不是最优,但调度器为了减少对系统的冲击会尽可能保持调度结果的惰性,不会轻易改变调度结果;此时,用户可以通过新引入的 WorkloadRebalancer API 针对指定的资源手动触发全新的重调度,以在集群间建立最优的副本状态分布。



本版本其他新增特性:


  • 解除资源模板名称长度不能超过 63 个字符的限制

  • 生产环境中的可用性和可靠性增强

新特性概览

Workload Rebalance


一般情况下,工作负载类资源一旦被调度,其调度结果通常会保持惰性,不会轻易改变副本分布状态。即使通过修改资源模板中的副本数或 PropagationPolicy 的 Placement 来触发重新调度,系统也只会在必要时进行最小化的调整,以最大程度地减少对系统的影响。


然而,在某些情况下,用户可能希望能够主动触发全新的重调度,完全忽略过去的分配结果,并在集群之间建立全新的副本分布状态,例如:


  • 在主备集群模式下,由于主集群故障,应用被迁移至备集群,主集群恢复后,应用希望重新迁移至主集群。

  • 在应用级别故障迁移场景下,由于集群资源不足,应用从多个集群缩减到单个集群,相应集群资源充足后,应用希望重新分发到多集群以确保高可用性。

  • 对于聚合调度策略,由于资源限制,副本最初分布在多个集群中,当单个集群足以容纳所有副本后,应用希望重新聚合到单集群。


因此,本版本引入了工作负载重平衡功能,如果当前副本分布状态不是最优,用户可以按需触发全新的重调度。


例如,用户想触发 Deployment/foo 的重调度,只需声明下述 WorkloadRebalancer 资源:


apiVersion: apps.karmada.io/v1alpha1kind: WorkloadRebalancermetadata:  name: foo-rebalancerspec:  workloads:    - apiVersion: apps/v1      kind: Deployment      name: foo      namespace: default
复制代码


然后,调度器将对该 Deployment 进行重调度。


1)如果成功,您将看到以下结果:


apiVersion: apps.karmada.io/v1alpha1kind: WorkloadRebalancermetadata:  name: foo-rebalancer  generation: 1  creationTimestamp: "2024-05-22T11:16:10Z"spec:  ...status:  finishTime: "2024-05-22T11:16:10Z"  observedGeneration: 1  observedWorkloads:    - result: Successful      workload:        apiVersion: apps/v1        kind: Deployment        name: foo        namespace: default
复制代码


2)如果失败,例如 Deployment/foo 的 ResourceBinding 不存在,您将得到以下结果:


apiVersion: apps.karmada.io/v1alpha1kind: WorkloadRebalancermetadata:  name: foo-rebalancer  generation: 1  creationTimestamp: "2024-05-22T11:16:10Z"spec:  ...status:  finishTime: "2024-05-22T11:16:10Z"  observedGeneration: 1  observedWorkloads:    - reason: ReferencedBindingNotFound      result: Failed      workload:        apiVersion: apps/v1        kind: Deployment        name: foo        namespace: default
复制代码


有关此功能的详细描述,请参见用户指南:https://karmada.io/zh/docs/next/userguide/scheduling/workload-rebalancer

解除资源模板命名长度的限制


由于历史设计原因,资源模板的名称被用作 label 的值,从而加速资源的检索。由于 Kubernetes 限制标签 value 值不能超过 63 个字符,导致用户无法将名称长度超过 63 个字符的资源分发至成员集群中去,间接限制了资源模板名称的长度,严重阻碍了用户将工作负载从旧集群迁移到 Karmada。


Karmada 社区从 v1.8 版本起着手消除这一限制,并在 v1.8 和 v1.9 版本中做了充足的准备工作,以确保使用旧版本 Karmada 的用户可以平滑升级到当前新版本,而不用感知这一变化。


更多详情请参见 [Umbrella] 在资源中使用 permanent-id 替换 namespace/name

标签:https://github.com/karmada-io/karmada/issues/4711

生产环境中的可用性和可靠性增强


本版本融合了大量生产级用户的反馈,进行了大量功能性增强以及安全性提升,包括:


1)功能增强:


  • 支持分发 kubernetes.io/service-account-token type的 Secret 资源

  • 优化 PropagationPolicy 降低优先级时的优先级抢占逻辑

  • 显著减少 karmada-metrics-adapter 组件的内存使用

  • 优化了 karmada-webhook 的启动逻辑,消除了偶现的异常报错


2)安全增强:


  • 将 google.golang.org/protobuf 从 1.31.0 升级到 1.33.0,以解决 CVE-2024-24786 漏洞问题

  • 将 Karmada 证书的 RSA 密钥长度从 2048 升级到 3072,提高秘钥安全性

  • 将 text/template 库替换为 html/template,增加 HTML 编码等安全保护功能

  • 创建文件时由默认授予 0666 权限改为指定授予 0640 权限,提高文件安全性

  • 采取必要措施以消除安全扫描工具的误报,如在使用 karmadactl 删除 token 时调整日志打印内容和消除 gosec 警告 G107 等


3)生态集成:


  • 为 OpenKruise 中的 CloneSet 资源展示 status.labelSelector,以支持该资源的 HPA 扩缩容特性

  • 在 karmadactl 添加成员集群时,新增支持 OIDC 认证模式


相信这些努力将使 Karmada 为用户带来更好的体验!

致谢贡献者


Karmada v1.10 版本包含了来自 32 位贡献者的 356 次代码提交,在此对各位贡献者表示由衷的感谢:


贡献者 GitHub ID:


参考链接


[1]Release Notes:

https://github.com/karmada-io/karmada/releases/tag/v1.10.0


[2]WorkloadRebalancer 指南:

https://karmada.io/zh/docs/userguide/scheduling/workload-rebalancer


[3]WorkloadRebalancer 示例教程:

https://karmada.io/zh/docs/tutorials/workload-rebalancer


[4]Karmada 1.10 升级文档:

https://karmada.io/docs/administrator/upgrading/v1.9-v1.10


点击关注,第一时间了解华为云新鲜技术~

发布于: 2024-06-19阅读数: 16
用户头像

提供全面深入的云计算技术干货 2020-07-14 加入

生于云,长于云,让开发者成为决定性力量

评论

发布
暂无评论
Karmada v1.10发布,新增多集群声明式负载重平衡_开源_华为云开发者联盟_InfoQ写作社区