服务网格自动故障检测及流量切换方案
本文分享自天翼云开发者社区《服务网格自动故障检测及流量切换方案》,作者:s****n
随着云原生技术的发展,越来越多的应用采用容器,微服务技术,以 istio 为代表的服务网格就是其中最广泛使用的一种。它在业务容器创建时,自动向业务服务的 pod 中注入 proxy 容器边车,将流入和流出业务容器的网络流量全部劫持到 proxy 容器,经由 proxy 容器处理后再进行下一步转发。
Proxy 容器的处理规则通过 istiod 控制面下发,主要分为流量控制、安全、可观测性三大类。以可观测性为例的大量规则都仅对流经的数据进行统计,监控,链路追踪等附加操作,不影响和改变业务本身的请求。但是当 proxy 容器自身或其依赖的服务出现问题时,因其流量劫持动作,往往会造成整个服务不可用。
目前处理此类问题的方法,以人工干预为主,当服务不可用时,通过告警通知运维人员,运维人员进行现场问题定位及处理。在有 proxy 边车的场景下,若 proxy 问题不能快速解决,运维人员也经常需要手动去除 proxy 容器边车,先恢复业务流量再做细致排查。如果能自动化检测 proxy 故障并进行及时处理,会大大提供微服务框架下的服务可用性,减少故障带来的损失及人力排查成本
实现方案如下:
整体结构:
![](https://static001.geekbang.org/infoq/5f/5fa2ab089302adae9d50e5cedd592a24.png)
具体方法:
1.在 istio 控制面加入故障检测及流量阻断模块‘hot-switch’.
2.在 istio 的边车代理 proxy 内部加入故障检测命令,并与控制面故障检查模块通信,具体检测命令例如:
a.Watch 相关 pod 的 proxy 容器状态,当容器状态为 fail 时,表示 proxy 容易已经不再存活;
b.通过检查 proxy 容器的 15021 health 端口,若返回值 false,则 proxy 存活但不健康等等;
3.自动检测确认代理 proxy 问题后,hot-switch 通过进入 pod 执行 iptables 相关命令,停止 proxy 的流量劫持,将流量模式由 proxy 控制管理,改为直通业务容器
a.在 pod 启动前,proxy 进行流量劫持的过程:首先运行 Init 容器,Init 容器用于设置 iptables 将进入 pod 的流量劫持到 Envoy sidecar proxy。
具体命令类似:Istio-iptables -p 15001 -z 15006 -u 1337 -m REDIRECT -i '*' -x "" -b * -d "15090,15201,15020"
envoy sidecar proxy 启动之后从 pilot 获得动态的规则,来对进出流量进行控制,流量劫持后的链路如下
![](https://static001.geekbang.org/infoq/8f/8f4bc0fefaae8b9e49da4003f0ca11ad.png)
b.检测确认 proxy 问题后,通过 iptables 的反向命令,清除流量劫持规则,可用命令为 istio-clean-iptables
该方案无需人工参与,可自动检测问题,快速处理,在网格边车出现故障的时候也能通过一定程度的服务降级,最大程度保障服务的基本可用性
评论