写点什么

Cloud Bursting 解决方案,Serverless 容器降本增效极致体验

  • 2023-10-12
    广东
  • 本文字数:3203 字

    阅读完需:约 11 分钟

Cloud Bursting解决方案,Serverless容器降本增效极致体验

本文分享自华为云社区《DTSE Tech Talk | 第42期:Cloud Bursting解决方案,Serverless容器降本增效极致体验》,作者:华为云社区精选。


线下 IDC 自建 K8s 集群容量无法满足业务峰值诉求?IDC 基础设施扩容流程慢,一次性投入大,管理维护成本高?在《云原生 Bursting,如何助力企业降本增效》的主题直播中,华为云云原生 DTSE 技术布道师刘雨青,聚焦华为云 Serverless 容器服务 CCI 提供的云原生 Cloud Bursting 解决方案,结合典型场景案例及实操演示,帮助企业和用户快速构建降本增效方案。

什么是 Cloud Bursting


Cloud Bursting(云爆发)是一种在本地基础设施到达峰值容量时使用云计算资源的配置方法。当企业内部数据中心的计算资源不足时,他们会将额外的工作负载突增到外部第三方云服务。Cloud Bursting 是一种方便而经济高效的方式,可为具有不同需求模式和周期性需求峰值的工作负载提供支持。



通过 Cloud Bursting,云消费者可以执行以下操作:


  • 高效使用本地资源

  • 减少对本地基础设施的进一步投资

  • 享受公有云带来的规模和灵活性

  • 避免因业务激增而导致业务关键型应用程序服务中断


Cloud Bursting 在云原生场景下新实现


Gartner 预测,2025 年,基于云原生平台的数字化业务比例将达到 95%。云原生技术持续发展且市场占比不断提高, Serverless 容器成为云原生 2.0 时代企业上云新的选择。


Serverless 即通过容器来运行一个应用,且基于 Serverless 架构,我们无需为基础设施维护做管理,当前 Serverless 容器的采用规模也在逐渐增高,使用公有云 Serverless 容器服务可以有效降低运维成本和减少资源浪费。


华为云 Serverless 容器服务 CCI ( Cloud Container Instance)是基于 Serverless 架构的容器服务。它具有极致弹性、随取随用、安全隔离、大规模多元算力、低成本等一系列特点。CCI 服务是作为云原生 Cloud Bursting 场景下的资源提供者。云原生 Bursting 解决方案主要有三种接入方式——客户 IDC 接入、华为云容器集群接入、Console/API 接入。

客户 IDC 接入


客户 IDC 场景下,即用户在自己的线下 IDC 中,拥有自建的 K8s 集群或者已使用类似华为云 CCE 敏捷版服务,它托管了一套 K8s 集群,通过安装 CCI 提供的弹性套件,将自己的 IDC 业务弹性到云上的 CCI。

华为云容器集群接入


用户通过华为云提供的 CCE/ CCE Turbo,可以一键式创建 K8s 集群,但用户还需要自行管理 Node 节点。安装弹性套件后,用户可以将 CCE 内的高峰业务,弹性到 CCI,做一个灵活的配合——用户可以将常用业务运行在集群上,高峰场景业务将它弹性到 CCI。


Console/API 接入


正常的接口调用,用户通过 Console/API 接入,进行业务下发。这种场景比较使用一些当前内部未使用 K8s 服务的企业,但内部具备自有的调度平台,虚机和容器同时使用,这种状态下,我们建议其可以采用这种方式。


云原生 Bursting 关键能力解析

云原生 Bursting 重要插件 Virtual Kubelet


Virtual Kubelet 是基于社区 Virtual Kubelet 开源项目开发的插件,作为一种虚拟的 Kubelet 用来连接 Kubernetes 集群和其他平台的 API,主要场景是将 K8s 集群内业务弹性扩展到 Serverless 容器平台(如 CCI 等)。


社区 VK 基础能力:


  • 管理 VK-Node 的生命周期

  • 管理调度到 VK-Node Pod 的生命周期

  • 提供节点级 API(Pod Exec、Logs 等)


CCI 增强型 VK 扩展能力:


  • Pod 间网络互通、Service 互通

  • 支持挂载存储

  • 智能校验、智能调度、智能屏蔽弹性资源池

  • 云上日志、监控打通

  • 环境一致性优化(DNS 解析、Hostname、同步 Event 等)

  • 大规模、可靠性增强


灵活的的调度控制策略


提供容器组(Pod)级别弹性控制能力


工作负载中添加 virtual-kubelet.io/burst-to-cci 标签,进行弹性控制,支持如下配置能力:


  • auto:根据用户集群内调度器实际打分结果自动决定是否弹性至 CCI,其中在 TaintToleration 算法上会优先选择调度到 CCE 节点

  • localPrefer:集群资源不足时,将 Pod 部署到 CCI

  • enforce:强制调度至 CCI

  • off:不调度至 CCI



使用 Scheduler Profile 对象管理弹性数量和缩容优先级


容器镜像线下线上统一管理


提供统一的镜像管理能力,简化 Bursting 过程镜像管理。


  • 默认对接华为云 SWR 仓库,支持 SWR 企业仓库

  • 提供工具一键式同步存量镜像到华为云 SWR / SWR 企业仓库

  • 提供工具支持新增镜像的增量、定时同步华为云

  • 支持直接访问自建 harbor、云厂商企业仓库

  • 支持通过镜像快照能力提升容器镜像下载性能,单镜像 5s 内下载

  • Bursting 弹性套件支持弹性过程中地址替换,业务配置零改造


基于 Bursting 套件,定义正则表达,替换 pod yaml 中镜像地址到华为云 SWR。弹性过程业务无感,无需处理配置差异


自动匹配华为云仓库认证凭据,无需业务适配


全局的一致体验


提供全局业务统一入口


  • Pod、ConfigMap、Service 和 Secret 等资源统一从原 K8s 集群下发

  • Pod 依赖项增量同步,避免全量同步造成的带宽压力

  • 支持 K8s 集群容器实例与弹性至 CCI 实例通过 Service 灵活互访


提供统一运维管理


  • CCI Pod 提供普罗标准监控接口,支持对接客户普罗监控平台

  • CCI Pod 内置 fluent-bit 插件,支持上传业务日志至 kafka

  • Virtual Kubelet 根据用户 Pod 变化上报 event 等信息回传用户集群


云原生 Bursting 客户案例

基于 Serverless 容器打造 Cloud Bursting 灵活上云新体验


Q 公司是全球最大的中文在线旅行网站,为消费者提供机票、酒店、会场、度假产品的实时搜索,并提供旅游产品团购以及其他旅游信息服务,为旅游行业合作伙伴提供在线技术、移动技术解决方案。


客户核心诉求


受前期疫情等影响,客户减少 IDC 的硬件资源投资,改用云上资源,以降本增效。客户业务已经容器化,并在线下 IDC 中使用 Kubernetes 进行容器编排,希望减少或避免应用改造。


方案价值


打通 IDC 和华为云容器 CCI,实现 IDC 资源在公有云上弹性伸缩,云上资源按需使用,按秒计费,成本节省 30+%。云上实例秒级弹性扩缩容,构筑基础设施层支撑上层业务流量变化的动态响应能力和稳定性。通过华为云提供的 Virtual Kubelet 组件完成从 IDC 的 K8S 集群到云上 Serverless 容器对接,无需客户二次开发,云上/IDC 体验一致。


基于云原生 Bursting 打造开放、高效的云原生大数据平台


Z 公司拥有 2.3 亿职场人用户,累计合作企业数达 616 万家。依托强大的数据实力,颠覆传统招聘模式,建设开放职岗生态系统,重塑人力资源市场招聘服务标准。凭借大数据和 AI 技术打造开放的人力资本生态,让人才和机会更精准高效的建立连接,为生态内的合作伙伴创造更多价值。


客户核心诉求 


  • 春招秋招及日常活动,算力流量上浮几倍,无法提前预测,需实时弹性

  • 未来计划与业务应用、算法业务等统一资源池和技术栈,混合部署;Yarn 调度无法按部门按业务统计费用,预算申请与资源分配难。

  • 原有大数据集群 CPU、内存及硬盘等资源使用率低,但资源仍不足,节点弹性颗粒度大,资源浪费严重。


方案价值


  • 降本增效:改造后资源按需使用,CCE Turbo 少量节点部署控制面,所有业务均弹性 CCI,较之前的成本减低 20%。利用云上高性能弹性资源,报表任务执行周期缩短一半,实时计算性能提高数倍。

  • 统一平台:将 Flink on K8s 实践和经验拓展到 Spark 领域,构建出高效低成本云原生大数据平台,为更多人才和机会提供更高效连接,为企业提供更高价值的数据服务。

  • 极致弹性助力头部社交公司轻松应对突发流量洪峰


W 公司是互联网行业的重点和标杆,日活 2.55 亿、月活 5.93 亿,突发业务峰值流量高(如各种明星事件、春晚等),需要借助公有云实现快速弹性扩容能力。


客户核心诉求


  • IDC 资源不足,应对突发事件难以支撑流量洪峰;

  • 流量预警后,弹性伸缩效率低下,未及时扩容导致业务中断后难以快速恢复,直到流量洪峰退去;

  • 远高于日常流量需求,高规格部署,资源成本造成巨大浪费。


方案价值


日峰伸缩,每日业务高峰触发扩容,按需申请资源,按需计费,节省资源成本 30%+;热点事件平稳运行,规模虚机+容器实例扩容运行业务,30 秒扩容 2.4 万核,帮助 W 公司应对 50+次热点事件突发流量。


更多华为云 Serverless 容器服务 CCI 以及量身定制 Cloud Bursting 解决方案,欢迎访问华为云官网:



点击关注,第一时间了解华为云新鲜技术~

发布于: 刚刚阅读数: 3
用户头像

提供全面深入的云计算技术干货 2020-07-14 加入

生于云,长于云,让开发者成为决定性力量

评论

发布
暂无评论
Cloud Bursting解决方案,Serverless容器降本增效极致体验_云原生_华为云开发者联盟_InfoQ写作社区