写点什么

618 大促又来了?3 天 2 次大事故,不堪回首的加班经历……

用户头像
数列科技
关注
发布于: 3 小时前
618大促又来了?3天2次大事故,不堪回首的加班经历……

今年 618,你是尾款人还是加班人?


一定又偷偷剁手了很多好东西!


买买买的快乐都集中在拆快递的时刻,所以网购最难熬的就是等待,等发货等物流等配送。每年的 618、双 11 大促除了各大电商平台忙的不可开交,物流行业的忙碌值也是拉满的。


2019 年 618 期间全行业共揽收快件 31.9 亿件,同比增长 26.6%,最高日处理量超过 2.43 亿件,同比增长 54.8%,比日常处理量高出 27.9%;2020 年 618 期间全国快递业务量就已达到 46.78 亿件,同比增长 48.66%。在如此庞大的业务量面前,大促快递仍旧能够做到配送快准稳,除了要感谢冲在一线的快递小哥,稳定的物流系统功不可没。



一旦物流系统瘫痪,大促就会演变成一场灾难,商品揽收发货、中转、派送、签收都会出现问题,所以保障物流系统的稳定高可用也是大促活动中非常重要的一环!几乎所有的物流公司在 618、双 11、双 12 等大促活动前都会打起百分百的精神来应对这场硬仗,即便如此还是不能保障万无一失。


在跟客户的交流过程中,我们了解到一些物流人背后的心酸故事,出于信息保护,以下我们简称该物流公司为 B。


B 公司业务产品线繁复,拥有订单、开单、中转、派送、签收、收件、揽收,综合查询八大核心系统,服务网络覆盖全国 34 个省级行政区,拥有近 10000 家网点,整个物流系统错综复杂。


2018 年该公司的系统异常次数数不胜数,重大系统事故更是频频发生,足有 10 次之多,事故影响总时长达 1106min,最长一次影响了 440min。

大促期间提心吊胆,3 天 2 次重大系统事故

大促间所有人提心吊胆,尽管 24 小时处于待命状态,3 天还是出现了 2 次重大系统事故。当时一个定时任务出现了问题,导致核心系统订单中心挂了 3 小时,中转挂了 8 小时!大促首日中转场和分拨中心除了正式员工还组织了两倍的临时工人力,可系统问题导致全员停摆,在争分夺秒的大促包裹派送大战中处于下风。客户各种投诉怨声载道,造成了不小的影响和损失。上面订单事故发生仅 2 天,中转系统又出现了问题,直接被菜鸟停止派单 3 小时。测试负责人才刚躺下就被叫回公司,一堆研发在一起查问题改 bug。老板对于这块也是非常关心,每过 5 分钟就询问一次进展,直到次日凌晨 4:00 还没修复好。以原有订单量计算,假设一单一块钱,直接经济损失也远超百万元。

内部恩怨录:业务炸毛扬言要弄死开发

同年某次订单系统版本上线失败,导致测试环境造出来虚假订单跑到正式库里面,但业务并不知情,还继续自动分发订单。下层营业部看到订单暴增 10000 多单,非常高兴,安排了很多快递员去客户那边接货。可当快递员到达取货地址之后发现竟是个乌龙,根本就没货可接!快递员回去之后又被派单,去接货发现又没货,如此循环往复一天白跑十几次。这种情况换谁都生气,于是业务端的投诉电话被打爆了。矛盾激化,最后业务直接炸毛,扬言要弄死开发。

菜鸟指数下跌 2 个点,影响无法估量

菜鸟指数是菜鸟针对物流商各项服务相关指标进行综合评价的指标体系,该评价结果将直接影响快递公司的服务排名、商家端快递公司展示排序、商家端服务推荐等环节。某次开发写的一个数据脚本有问题,后续做了部分修改,等到参数化的时候有个不能重复发送的数据重复发了,出现系统异常被菜鸟监测到,菜鸟指数直线下跌 2 个点,好在没有跌破合格线,不然就得直接跟老板汇报情况了,但这个失误造成的损失也是无法估量的。



对于物流公司而言,这些系统事故是致命的,用户体验得不到保障,客服部将直面巨大的压力,并且会直接影响收入来源。换言之,保障系统稳定 0 性能故障就是在避免风险、预防损失,那该如何保障系统稳定性呢?


经过调研 B 公司决定引入生产环境全链路压测技术,在新技术的加持下,从 2018 年重大系统事故 10 次,影响总时长 1106min 到 2019 年 159 个业务场景 0 性能故障,实现物流系统高可用的情况下,每年还能节省 361 万的机器成本、近百万的人力投入。


测试负责人私底下还跟我们透露:“2018 年出了太多故障,大促期间每天心情都像在坐过山车,接入ForceCop全链路压测这套东西后心里有底多了,系统平稳度过了 2019 年大促,老板很满意,底下的开发和测试也是成就感满满。”



目前物流行业排名前 6 的企业已全部接入数列科技旗下的生产环境全链路压测产品,据不完全统计,每 10 个快递包裹中就有 8 个是在数列产品的保驾护航中送到全国各地的用户手中的。


此外 ForceCop 已在 50 多家中大型企业落地,中国移动、国家电网、浙江大学、永辉超市等其他行业龙头企业也相继接入数列产品,2000+应用接入,100+大促检验, ForceCop 凭借突出扎实的技术实力收获了客户一致的正向反馈。


ForceCop 产品目前全面开放试用,欢迎大家来体验,感兴趣的可以添加【小树】微信私聊申请试用哦~



发布于: 3 小时前阅读数: 7
用户头像

数列科技

关注

还未添加个人签名 2020.03.03 加入

还未添加个人简介

评论

发布
暂无评论
618大促又来了?3天2次大事故,不堪回首的加班经历……