本文分享自华为云社区《ELB Ingress网关助力云原生应用轻松管理流量》，作者：云容器大未来。

背景

通常情况下，K8s 集群的容器网络平面和外部网络是隔离的，外部网络无法直接访问到集群内部的容器业务，如何为容器提供并管理统一的外部流量入口?社区提供的常见方式是使用 Nodeport Service，Loadbalancer Service，Ingress 等 K8s 资源对象来暴露集群内部的容器原生应用。Service 对象提供了四层负载均衡能力，Ingress 对象则提供了面向应用层访问（HTTP/HTTPS 等）的七层负载均衡能力。

而随着云原生架构在企业内的普遍落地，容器作为云原生微服务应用的载体，需要面对更多挑战，如面对微服务的复杂组网，业务请求在云服务之间转发往往需要做源地址转换而导致流量分发损耗；游戏类、电商抢购类等业务在短时间内会进行频繁扩缩容，必须应对高并发的网络流量；网关入口流量应对互联网的安全攻击，如灰产、异常流量，需提供流量安全防护能力；此外，支持更加复杂的路由规则配置、多种应用层协议（HTTP、HTTPS、GRPC 等）、应用蓝绿发布、流量可观测性等七层高级转发能力也逐渐成为了云原生应用的普遍诉求。Ingress Nginx，Ingress Kong，Traefik 等开源社区方案虽然提供了丰富的七层流量治理功能， 但对于关键生产业务上云，企业在选择 Ingress 方案时,除了考虑功能性,还需要充分权衡安全性、可维护性和可靠性等方面的需求，以找到最佳平衡点。专业的云服务提供商提供托管的 Ingress 解决方案，能够较好的应对这些挑战。

华为云CCE服务提供了基于应用型负载均衡 ELB（Elastic Load Balance）的全托管免运维的企业级 Ingress 流量治理，让用户轻松应对云原生应用流量管理。

ELB Ingress 介绍

在 K8s 集群中，容器网络平面通常是独立于集群主机网络的一个隔离的网络平面，工作负载在滚动升级或者重新调度后容器的地址会有变化，这就带来一个问题：如何实现某组 Pod 的服务发现，并提供固定的外部访问入口？Service 和 Ingress 对象就是 K8s 中实现集群内外应用统一访问入口的一种机制。

K8s 社区对集群外部的流量暴露提供了三种方式：Nodeport Service、Loadbalancer Service、Ingress，前两者 Service 对象主要提供集群四层流量入口，Ingres 对象提供七层流量治理能力。两者相互配合，共同实现 K8s 集群应用的对外访问机制。如下图一所示，客户端通过 Ingress 管理的负载均衡器，访问 Ingress 申明的路由，由负载均衡器将流量经过后端 Service 导入至后端容器。

图一：Ingress 示例

ELB Ingress 是华为云 CCE 服务提供的七层流量治理功能，基于社区标准 Ingress API 实现，提供高可用、高性能、高安全、多协议的全托管免运维负载均衡能力。同时具备弹性能力，在流量突发时支持快速扩展计算资源，支持千万级并发连接，百万级新建连接，是云原生应用流量治理的理想选择。

ELB Ingress 工作原理

ELB Ingress 部署于 CCE 集群的 master 节点上，与 ELB 实例对接，可将 Ingress 申明的容器后端地址、转发策略、路由等信息配置至 ELB 实例，并且支持动态更新。

图二是基于 Nodeport 中转的 ELB Ingress 工作流图，CCE Standard 集群使用该方案的原理如下：

• 用户为集群创建 Ingress 资源，在 Ingress 中配置流量访问规则，如负载均衡器实例、URL 路由、SSL 证书等监听信息，以及访问的后端 Service 等，控制器通过标签选择器选中工作负载，将工作负载所在节点和 Nodeport 端口挂载至负载均衡器实例的后端；

• Ingress Controller 监听到 Ingress 资源发生变化时，会根据其中定义的流量访问规则，在 ELB 侧重新配置监听器以及后端服务器路由;

• 用户通过 ELB 访问应用程序，流量根据 ELB 中配置的转发策略转发到对应的 Node 节点，再经过 Nodeport 二次转发访问到关联的工作负载(Nodeport 转发机制参见 k8s 官方文档说明)。

图二: Nodeport 中转的 ELB Ingress 流程图

该方案中流量经过节点、IPTables/IPVS 规则多次转发，网络性能存在损耗。在大流量场景下，网络转发效率、网络连通速度的挑战尤为突出。为此，我们推出了基于 CCE Turbo 集群的网络加速方案：容器直接使用 VPC 网络实现直通容器的 ELB Ingress，将原有的“容器网络 + 虚拟机网络“两层模型简化为一层。如图三所示，集群中的 Pod IP 直接从 VPC 中分配，支持北向 ELB 直通容器，外部流量可以不经过节点端口转发直接访问集群中的 Pod，达到流量分发零损耗的效果。

图三:容器网络直通的 ELB Ingress 流程图

ELB Ingress 流量治理核心优势

ELB Ingress 基于原生 Kubernetes Ingress，通过声明式 API 指定 Ingress 的路由、对接的后端服务，或者通过 Annotation 配置监听侧的高级选项，由系统保证最终一致性。ELB Ingress 为开发者和运维人员提供了极大的开发灵活性和维护便利性，其核心优势包括：

• 高吞吐、高可用、高弹性

ELB Ingress 搭配独享型 ELB 实例，最高支持 2 千万并发连接；通过完善的健康检查机制，保障业务实时在线，支持多可用区的同城双活容灾，无缝实时切换；弹性规格 ELB 实例支持根据流量负载自动弹性扩缩实例规格，适用于业务用量波动较大的场景，例如游戏、视频等行业，能满足瞬时流量同时成本最小化。

• 高安全性

ELB Ingress 提供了端到端的全链路安全策略，如下图四是外部流量经过 ELB 访问 CCE Turbo 集群的简单示例：在访问端可配置接入 WAF 引擎检测并拦截恶意攻击流量，而正常流量转发至后端云服务器。通过 Ingress 的 Annotation 配置可轻松为 ELB 实例配置自定义安全策略，例如设置黑白名单，双向认证等。从 ELB 转发至后端也支持 HTTPS 加密信道，进一步增强整体安全性。

图四: 外部流量访问 CCE Turbo 安全示例

• 可移植性

完全兼容社区 Ingress 语义，从开源 Nginx Ingress 等方案迁移过来仅需改造 annotation 即可轻松适配。

• 可观测性

云监控可以按时间轴查看 ELB 的网络流量和访问日志，动态分析并告警潜在风险；云审计可以实时监控 ELB 资源更新日志，针对风险动作实时告警，动态监控云上资源安全；Ingress Controller 也支持丰富的普罗监控指标，如接口调用时延，reload 次数等。

• 免维护性

ELB Ingress 组件运行在集群的 Master 节点，用户无需关注运维问题，组件在集群升级时会自动更新，且对业务无感。

ELB Ingress 流量治理核心功能

在社区基础功能之上，华为云 ELB Ingress 在负载均衡、路由规则、流量控制、安全性和可观测性等方面都有较大增强，满足了更复杂的生产环境需求。下面介绍 ELB Ingress 流量治理核心功能：

• 灰度发布

灰度发布是业界常用的版本升级平滑过渡的一种方式。在版本升级时，先让部分用户使用新版本，其他用户继续使用老版本。待新版本稳定后，再逐步扩大新版本的使用范围，直到所有用户流量都迁移到新版本上。这样可以最大限度地控制新版本发布带来的业务风险，降低故障影响范围，同时支持快速回滚。

我们提供了基于 Header/Cookie/Weight 的灰度发布策略，前两种策略通过将用户分成若干组，在不同的时间段内逐步引入新版本，最终扩大新版本的影响范围；基于 Weight 的策略则是通过控制新版本的权重，在不同时间段内逐步增加新版本的流量比例，直到完全替代旧版本。

高级转发策略

随着云原生应用组网的日益复杂，传统的基于路由转发的七层流量治理已经难以满足需求。我们提供的高级转发策略可以很好地解决传统方案面临的局限性：

• 基于请求头的负载均衡：根据客户端请求头的不同值，将请求分配到不同的后端服务器。

• HTTP 重定向到 HTTPS：系统自动将 HTTP 监听器流量转发至 HTTPS 监听，提升网站安全性，防止内容篡改等。

• URL 重定向和重写：支持将 URL 永久或临时映射到另一个 URL。同时，支持正则表达式匹配和实现不同路径的重写规则。

慢启动

在应用滚动升级时，ELB Ingress 会自动更新负载均衡器后端，并且根据后端容器实例副本数自动设置后端权重。但是，在后端健康检查通过后的上线过程中，可能面临流量突增，导致后端容器的 CPU 或内存资源瞬间高负荷，从而影响业务稳定性。在开启慢启动模式后，系统可以在指定时间内，逐步将流量导入到目标容器后端。这样可以缓解业务容器突增的流量压力，保护系统免受过度负载的影响，实现优雅过渡。

小结

华为云CCE服务的 ELB Ingress 基于华为云应用型负载均衡 ELB（Elastic Load Balance）提供强大的 Ingress 流量管理能力，兼容 Nginx Ingress，具备处理复杂业务路由和证书自动发现的能力，支持 HTTP、HTTPS 和 GRPC 等协议，满足在云原生应用场景下对超强弹性和大规模七层流量处理能力的需求。

后续我们还将发布系列文章，详细介绍基于 ELB Ingress 的流量管理最佳实践，欢迎各位读者继续关注。

相关链接：

• 华为云云容器引擎 CCE 服务路由概述：https://support.huaweicloud.com/usermanual-cce/cce_10_0094.html
  

• Ingress 官方文档：https://kubernetes.io/docs/concepts/services-networking/ingress/

点击关注，第一时间了解华为云新鲜技术~