【网易易盾】网易易盾性能测试自动化建设

2023-03-15
浙江
本文字数：2168 字
阅读完需：约 7 分钟

性能测试简介

什么是性能测试

考虑到有些同学没有接触过性能测试，这里还是简单介绍下。性能测试是通过特定的方式对被测系统按照一定策略施加压力，获取该系统的响应时间、吞吐量等性能指标，来检测系统上线后能否满足用户需求的过程。通过性能测试的定义不难看出性能的核心指标就是我们经常挂在嘴边的 QPS 和 RT。

为什么要做性能测试

简单了解性能测试之后，有些小伙伴肯定会问为什么要做性能测试。对于这个问题，我打算举两个生活中的例子来说明下。

12306——每年春运都是一次大考

临近春节，打工人都要抢回乡的火车票，2019 年 12 月 23 日，有大量网友反映，12306 网站突然崩了，在购买车票的时候出现无法登录、无法购票、车次加载失败、页面卡住等情况，疑似因访问流量过大而出现服务器崩溃。

微博——顶流明星的瓜不好吃

2021 年 4 月 23 日，知名演员赵丽颖与冯绍峰离婚的消息突然公布，这一消息迅速登上微博热搜。该消息公布后，有网友反映微博客户端出现了短暂宕机、网络出错的现象。

易盾性能测试痛点

压测执行过程繁琐

压测执行在易盾性能测试的整个流程中比重最大，易盾线上压测一般采用梯度压测。什么是梯度压测，简单的说就是把压测的大目标拆分成多个小目标，从小的目标做起，直到最后完成最终目标。假设易盾文本检测压测的目标值是 QPS 达到 200，那我们通常从压力值 20 开始，然后 40、60 逐渐加大压力，直到最后完成 200 的目标值。

具体的执行步骤是怎么样的呢，我们先用压力值 20，在 NPT 压测平台创建一个压测任务并执行，一般一轮压测执行 10 分钟。如果达不到 20 的目标值，压测中止定位性能问题；如果达到 20 的目标值，创建下一个目标值 40 的压测任务，继续执行。重复之前的判断逻辑，直到压测中止或者完成压测目标。

可能有人会问，你这不是自找麻烦，直接用 200 去压测看看行不行不就完事了。线上压测，保证线上安全始终是第一位的，需要慎之又慎，如果因为压测把线上压挂了会严重影响客户体验，甚至产生资损。

监控依赖人

在性能测试过程中，监控 &分析属于一个难点，到底难在哪里？这里需要人的经验，需要对被测系统比较熟悉。只有在熟悉的前提下，你才知道需要看哪些监控指标，这些指标是不是正常，进而给出判断的结论。

目前线上压测会安排值班同学观察监控，这种依赖人的监控很难做到实时，因为人的精力有限，根本没法兼顾所有监控。还有就是很少有同学从头到尾盯着监控的，大家都是有报警的时候去关注下。这样存在一些风险，可能有些报警没有配置、或者配置修改了没有及时还原，导致线上有问题了，没有报警发出来。

在压测过程中，我们经常会遇到加大并发 QPS 上不去的情况，这时候一般就出现性能瓶颈了，但是这个瓶颈在哪里就需要根据监控数据去定位和分析了。我们在定位的时候无非也是使用经验的三板斧，CPU/内存/磁盘/网卡等系统资源是否正常，请求量和 RT 是否合理，有没有出现超时等异常错误。

压测数据未隔离

由于压测流量和真实流量没有做数据隔离，导致线上无法进行全链路压测，有些业务场景覆盖不到。比如易盾存储场景，一旦数据落库存在性能问题，kafka 的数据就会积压。此时 kafka 的 topic 中既有真实流量又有压测流量的数据，就算立马停止压测，也会影响线上真实流量数据的消费速度，影响用户体验。因此，平常线上压测都会关闭数据存储。

压测资损

易盾有一些外部供应商，之前压测过程中，由于方案评估不到位遗漏了供应商这个环节，导致线上压测产生了一些额外的费用，这种压测资损也是不能容忍的。

易盾性能测试自动化实践

压测一键执行

创建压测任务的时候，自动创建多个梯度压测子任务。还是用易盾文本检测来举例，我们创建一个 QPS 目标值 200 的压测任务，这个压测任务被拆分成了 5 个梯度，每个梯度的压测目标值从小到大分别是 40，80，120，160 和 200。这 5 个梯度对应 NPT 平台上 5 个压测目标值分别是 40，80，120，160 和 200 压测子任务。