写点什么

服务限流限流算法、限流策略以及该在哪里限流

用户头像
Jokay
关注
发布于: 21 小时前
服务限流限流算法、限流策略以及该在哪里限流

1. 什么是服务限流?

随着现在微服务、分布式系统的发展,各个服务之间的相互调用越来越复杂。


为了保证自身服务的稳定性与高可用,当面对超过自身服务能力的请求调用时,要做一定的限流措施。


如同五一、国庆期间的旅游出行、景区爆满,游客限流。我们的服务面对诸如秒杀、大促、618、双十一以及可能的恶意攻击、爬虫等高并发、大流量的场景也需要做服务限流。


概念:对超出服务处理能力之外的请求进行拦截,对访问服务的流量进行限制。

2. 常用限流算法

2.1 计数器法(固定窗口)

概念 :在单位时间内,统计进入的请求数量,统计值达到限流阈值时,开始限流(如拒绝和排队)。这个单位时间结束后,计算器清零,重新开始计数。


问题:在固定时间窗口切换处,最高可能会接收到 2 倍阈值的流量。


假如设置的时间窗口为 5 秒,限流阈值为 10.

第 5 秒时进来 10 个流量,此时窗口内流量未超阈值。第 6 秒切换到下一个窗口,此时进来流量 10,当前窗口流量仍未超阈值。但是 第 5 秒和第 6 秒的切换临界处,短时间内进来了限流阈值的双倍流量,此时服务可能会因为请求流量过多而发生异常。


固定窗口


2.2 滑动窗口算法

概念: 滑动窗口对固定窗口进行改良,将其细化,将一个时间窗口划分为若干个时间窗格,每个窗格代表固定的时间段(如 1 分钟)、拥有独立的计数器,每过固定时间(如 1 分钟),将滑动窗口向前移动一格。滑动窗口中的窗格划分越细,限流统计越精确。


假如设置的时间窗口为 5 秒,限流阈值为 10.

第 5 秒时进来 10 个流量,此时窗口内流量未超阈值。第 6 秒时进来流量 10,与此同时,滑动窗口右移一格,此时滑动窗口内(第 2~6 秒)流量为 20,大于限流阈值,开始限流。


滑动窗口


2.3 漏斗算法

概念:请求像水一样注入漏斗,然后以固定的速率流出。漏斗未满之前,请求可以一直进入;漏斗满,则请求拒绝。


漏斗算法可以平滑流量,但是无法解决流量突增的问题。


漏斗算法


2.4 令牌桶算法

概念:以恒定速率(令牌产生速率)向令牌桶中放入令牌,令牌桶满(令牌桶大小)则无法放入。请求到达后先获取令牌,拿到令牌后请求被处理并删除获得的令牌。令牌不足时,请求无法获得令牌,请求被拒绝。


令牌桶算法可以平滑限流,同时可以容忍突发流量。

令牌桶算法


3. 限流策略

3.1 服务拒绝

当请求流量达到限流阈值时,对多余的请求直接拒绝。可通过设计实现对指定域名、IP、客户端、应用、用户等不同来源的请求进行拒绝。

3.2 延时处理

通过将多余的请求加入缓存队列或延时队列,来应对短期的流量突增,高峰期过后开始将堆积的请求流量逐渐处理。

3.3 请求分级(优先级)

对不同来源的请求设置优先级,先处理优先级更高的请求。如 VIP 客户、重要的业务应用(如交易服务优先级高于日志服务)

3.4 动态限流

可以监控系统相关指标、评估系统压力,通过注册中心、配置中心等动态调整限流阈值。

3.5 监控预警 &动态扩容

如果有优秀的服务监控系统与自动部署、发布系统,可以通过监控系统自动监测系统运行情况,对短期内服务压力暴增、流量大幅写入的情况进行邮件、短信等方式进行预警。


在满足特定条件下,可自动部署、发布相关服务,起到动态扩容的效果。

4. 限流位置

4.1 接入层限流

可以通过 Nginx、API 路由网关等对域名或 IP 进行限流,同时可以拦截非法请求

4.2 应用限流

每个服务可以有自己的单机或集群限流措施,也可以调用第三方的限流服务

4.3 基础服务限流

数据库:限制数据库连接、限制读写速率


消息队列:限制消费速率(消费量、消费线程)




如果这篇文章对你有用的话,点个再走呗!

如有问题,欢迎留言评论!

欢迎转载,烦请注明出处!

发布于: 21 小时前阅读数: 23
用户头像

Jokay

关注

还未添加个人签名 2019.01.02 加入

还未添加个人简介

评论

发布
暂无评论
服务限流限流算法、限流策略以及该在哪里限流