本文分享自天翼云开发者社区《一种智能调度分布式路径计算解决方案》.作者：蒋辉

背景技术

传统的 CDN 动态加载智能路由系统对用户动态请求，主要通过探测服务器主动发起周期性的探测请求，探测 CDN 中转节点和源站的可用性及网络性能，根据探测结果选择最优的回源链路；

然而，在获取到探测结果后，为了减少探测服务器的计算压力，通常将探测和选路功能模块分离在不同的服务器或服务器集群完成，选路采用特殊的服务器(一般是 BGP 的高配机器)作为中央路径计算服务器，探测服务器上报探测数据到中央路径计算服务器，中央路径计算服务器则根据上报的探测数据计算回源路径，从中选择最优的回源链路。

为了实现中央路径计算的高可用，现有的中央路径计算服务器架构有的是只部署在某个地区的服务器集群，这种方式无法满足不同地区的探测服务器就近上报探测数据到同个地区的中央路径计算服务器，从而可能造成上报探测数据延时大甚至失败的问题，此外，一旦该地区的机房掉电或割接，则无法进行最优回源路径的计算；有的是部署在多个不同地区，但采用主备架构，这种方式虽然能解决某个地区机房掉电的问题，但会导致备的中央路径计算服务器大部分情况下都闲置，而主的中央路径计算服务器却处于高负载处理请求数据的状态，这样不仅浪费资源，无法均衡地分摊不同地区探测服务器上报探测数据的请求，后续也不方便对集群进行扩容和更改。

鉴于此，本文将提供一种智能调度分布式的路径计算解决方案，它具有以下 3 个方面的特点：

1）实现不同地区的探测服务器上报探测数据的请求能够优先就近调度到相同地区的中央路径计算服务器集群，只有当相同地区的中央路径计算服务器集群服务不可用时，才将探测服务器上报的探测数据请求调度到其他地区的中央路径计算服务器集群；

2）实现不同地区的探测服务器上报探测数据的请求均衡地分摊到不同地区的中央路径计算服务器集群，且同一时刻所有地区的中央路径计算服务器集群同时提供服务；

3）实现相同地区的探测服务器上报探测数据的请求在相同地区的中央路径计算服务器集群内部进行均衡地调度，并能及时剔除集群内部服务异常的服务器；

技术方案

本文提出的智能调度分布式的路径计算解决方案，采用交换机 OSPF 的 ECMP 技术来实现中央路径计算服务器集群内部的负载均衡调度，同时基于 dns 智能调度实现跨地区集群间的负载均衡，具体技术方案原理如下图所示：

技术方案主要步骤如下：

1）每个中央路径计算服务器集群都分配一个对外接入的 vip，为中央路径计算系统分配提供服务的域名，dns 解析能够正常解析到中央路径计算服务器集群的 vip；

2）A 地区的探测服务器发起探测数据上报请求到中央路径计算系统，通过 dns 智能解析将请求优先调度到与探测服务器相同 A 地区的中央路径计算服务器集群 vip，实现探测数据上报请求的就近调度；

3）监控平台定时采集探测 A、B 等多个地区的中央路径计算服务器集群 vip 的心跳探测请求结果，dns 智能调度平台获取每个地区的中央路径计算服务集群的心跳探测结果，一旦发现就近调度的中央路径计算服务集群 vip 的心跳探测失败，则 dns 智能调度切换到其他正常服务的中央路径计算服务集群；

下图所示为监控平台定时采集的华东-衢州、华中-株洲、华北-和平 3 个地区的中央路径计算服务器集群 vip 的心跳探测请求结果，ccs_probe 探测结果为 1 表示集群服务正常，为 0 表示集群服务异常。

4）请求到达 A 地区机房的交换机后，通过交换机的 OSPF 负载均衡技术(ECMP 等价多路径)发送组包来探测与后端真实中央路径计算服务器的连通性，如果其中某条路径出现故障时，由其它路径代替完成转发处理，实现路由冗余备份功能；

5）集群服务监控脚本定时监测中央路径计算服务器服务是否正常(包括向中央路径计算应用程序发送心跳探测是否正常、Redis 应用程序端口是否监听等)，如果服务异常，则通过路由软件 Quagga 修改交换机到该中央路径计算服务器的路由不可达，这样交换机负载均衡调度时不会再将请求调度到服务异常的中央路径计算服务器；

6）中央路径计算服务器集群内部每台中央路径计算服务器上部署的中央路径计算应用程序负责接收探测服务器上报的探测数据，将探测数据存储到本机的 Redis 中，集群内部通过 Redis 应用程序实现不同中央路径计算服务器之间探测数据的主从同步与备份；

为了方便 Redis 集群部署，这里采用脚本自动化的方式来实现，如下所示：

脚本执行步骤如下： 

a）分别登陆不同地区机房的不同节点(这里选择 A、B、C 三个地区机房，每个机房 3 台机器为例)，进行 redis 集群配置部署，执行如下命令：

./cluster_redis_config.sh -p xxxxxxxxxxxxxxxxxxxxxx （需要指定 redis 秘钥）

其中：cluster_redis_config.sh 关键脚本如下：

b）分别在上述三个机房中选择 1 台机器，进行 redis 集群创建及 master、slave 的 redis 设置

A 地区机房机器(其中 1 台)执行命令：./cluster_redis_build.sh -c 221.238.221.7, 221.238.221.8, 221.238.221.9

B 地区机房机器(其中 1 台)执行命令：./cluster_redis_build.sh -c 202.106.245.4,202.106.245.5,202.106.245.6

C 地区机房机器(其中 1 台)执行命令：./cluster_redis_build.sh -c 218.79.202.7,218. 79.202.8,218. 79.202.9

其中：cluster_redis_build.sh 关键脚本如下：

7）探测服务器上报的探测数据经过智能调度和交换机负载均衡调度到同地区的中央路径计算服务器集群中的某台中央路径计算服务器后，由其主动向其他地区的中央路径计算服务器集群 vip 发起上报探测数据请求，这样所有地区的中央路径计算服务器集群都能获取到相同的探测数据，实现跨集群探测数据的同步；

本文提出的一种智能调度分布式路径计算解决方案，具有如下优势：

1）能够满足不同地区的探测服务器上报探测数据的请求能够优先就近调度到相同地区的中央路径计算服务器集群，只有当相同地区的中央路径计算服务器集群服务不可用时，才将探测服务器上报的探测数据请求调度到其他地区的中央路径计算服务器集群，这样能够提高上报探测数据的成功率，降低上报探测数据的请求延时；

2）实现中央路径计算服务异地多活，即同一时刻所有地区的中央路径计算服务器集群同时提供服务，且能够分摊不同地区的探测服务器的上报探测数据请求，降低单一中央路径计算服务器集群路径计算压力。此外，这种异地多活的分布式中央路径计算服务器集群架构方便后续扩容及服务器更新，便于管理与维护；

3）采用交换机 OSPF 的 ECMP 技术来实现中央路径计算服务器集群内部的负载均衡调度，相比传统的 LVS+Keepalived 负载均衡技术，节省了部署 LVS 及 Keepalived 软件的服务器资源。