生产环境全链路压测建设历程 19：某快递 A 股上市公司的生产压测案例之下篇

前面有写了

某快递 A 股上市公司的生产压测案例之上篇

某快递 A 股上市公司的生产压测案例之中篇



现在这一篇，自然就是下篇了。

实施过程和周期

真正的实施周期，其实就3个月左右。



2018年4月，和D公司的架构团队确定好了技术细节和落地方案，；

2018年5月，我们安排了项目经理、工程师进场开始实施。当时候的分工，我们作为乙方，要负责3条核心链路的测试环境调试，生产环境实施，根据压测结果提出优化建议。D公司也会安排一个项目经理来总体对接，同时相关系统也会各派出一个接口人来主要对接。

2018年7月，我们已经完成了3条核心链路的生产压测，D公司的工程师也完成了对应的优化；同时D公司自己也负责了10条链路的压测接入和优化了。



让我们值得高兴的是，D公司的工程师经过我们的培训后，就能进行自主接入。这样的一个合作方式，双方都会比较轻松。原因是D公司的业务也在频繁迭代升级，我们也没办法做到一直驻场。









D公司CIO曾经的痛点:系统性能有问题，晚上睡不着

D公司的CIO，原来不是做技术出身的，而是纯做管理的。

有一次该CIO闲聊，在谈及全链路压测项目的价值。



他是这么形容的：

我司（D公司）的业务系统有近百个，IT人员近800人。

在做生产环境的全链路压测之前，这100多个应用，基本上每周都会有那么几个出性能问题。

为此还曾经找过IBM的高级咨询顾问来做各种各样的流程、稳定性的项目，前前后后花了近千万的投入。

CIO很多时候还因为这些性能问题，天天开会和IT团队研究方案，但还是解决不了，”真的是晚上觉都睡不好“。



甚至最怕的场景是每个月公司的董事长会各个省公司的负责人召集开会，这些负责人会吐槽系统不稳定，影响了大客户的体验和一线员工的工作效率。



那种场景真的是觉得面子挂不住。



转变：全链路压测，让CIO能睡个好觉

这样的困境，从2018年实施了生产环境的全链路压测，就开始有了转变。



2018年的时候，首先是系统提前压测出来很多问题，进行了大量的优化。在双十一的时候完美扛住。CIO从2018年双十一之后，去参加每个月的例会，感觉就没太大压力了。因为全链路压测是一种主动出击的行为，能把问题提前暴露出来，提前去做好优化。



2019年的时候，IT团队已经很好的掌握了生产压测平台的使用，也铺开到所有业务线。每次的压测时间成本，也降低到了3个工作日就能组织一轮。



CIO下了一个管理命令：每个月的最后一周，核心链路都要在生产环境做一次全链路压测来验收性能。哪些链路被压出来有问题的，排出计划来进行限时优化。



CIO最后给我们形容生产环境全链路压测的价值：”这样的产品好啊，能让我睡个好觉！“