核心应用实现云原生改造升级，波司登数字化战略加速落地

2023-02-09
浙江
本文字数：2752 字
阅读完需：约 9 分钟

作者：珑乘、锕蛮

业务高速发展，业务敏捷性和稳定性面临挑战

波司登国际控股有限公司(简称波司登) 始于 1976 年，旗下品牌包括“波司登”、“雪中飞”等，波司登羽绒服畅销美国、法国、意大利等 72 个国家全球超 2 亿人次在穿。

作为全国最大的品牌羽绒服生产商，波司登连续 26 年全国销量领先，在疫情黑天鹅的冲击下，线下销售渠道增长瓶颈，波司登加速推进数智战略。但由于波司登核心业务系统分别由不同的软件开发商开发建设和维护，架构老旧、以传统单体应用为主，且版本迭代很慢，无法满足波司登线上业务的高速增长带来的高并发、弹性扩展、敏捷性等更高的要求，为此波司登迫切需要进行核心业务系统的云原生化改造升级，以支撑业务的高速发展。

全程贴身服务保障，核心系统一次性上线成功

在波司登尝试通过自身技术团队进行云原生化改造过程中，第一套云原生化改造的商品运营 IMOS 系统上线后系统在订货期间出现链路阻塞，对业务造成了严重影响。此外，陆续还有线上平台订单管理 OMS 系统和门店收银 POS 系统以及用户管理 CRM 系统需要同时改造上线，如何最快速度实现三套核心系统改造和平滑切换上线成为波司登面临的难关。

收到波司登需求后，阿里云服务团队第一时间赶到波司登现场，详细介绍了阿里云云原生改造方案以及波司登案例，帮助波司登量身定制云原生改造所需可观测性体系、全链路压测，系统变更与调优、全链路资源检查等方案、并为波司登建立专属应急保障体系。

在系统上线前，阿里云服务团队深入波司登业务场景，完善云原生架构下的可观测性和云产品监控，全量应用以及对应业务日志接入 ARMS 和 SLS，显著提升了对于分布式系统错误的主动发现和白盒化定位能力。通过 PTS 产品结合实际业务场景，对 11 个核心业务场景进行了全链路性能压测和调优，提前发并排除现 2 个重大风险，结合压测结果和最佳实践对全链路 30 多个产品以及几百个 Pod 的资源进行全面巡检和调优，完成 Hologres 和 PostgreSQL 等实例容量扩容的同时，通过对 200 多条 SQL 的优化，大量慢 SQL 问题的风险得到了及时收敛。

在系统上线期间，阿里云服务团队全程驻场，第一时间响应处理波司登上线的紧急问题，快速处置了两起突发异常。一是数据库连接池没有控制好，Hologres 部分 work 节点的并发连接数被打满，导致数据迁移失败和应用启动异常，通过现场快速定位连接数暴涨的应用，并优化 Hologres 侧的空闲链接释放参数帮助波司登快速规避问题。二是 PostgreSQL 数据库的 SQL 诊断优化功能触发 index_advisor 插件的 BUG 导致对应的 PostgreSQL 实例异常重启，紧急叫停波司登使用 SQL 诊断优化功能，并优先确保数据库稳定确保系统正常。

经过波司登技术团队和阿里云服务团队的的集中技术攻坚，圆满完成 OMS、POS、CRM 三套核心系统的容器化和分布式改造，且一次性上线割接成功，加快推进了数智化战略的进程。

绘就微服务治理大图，完美支撑双 11 业务洪峰

系统上线之后应用变更变的加频繁，几乎每天都有发版，而且在白天变更时经常会导致前端应用异常，严重影响使用体验，使得变更只能在晚间进行这样极大的增加了研发人员的负担也违背了敏捷开发的初衷。系统上线之后性能不理想，在并发不大的情况下主要应用的 POD 数量达到 20 个以上，需要靠堆资源来提升系统的处理能力，而且今年是云原生改造之后的第一个年，离双十一大促只剩下短短的三个月，如何快速完成服务治理改造，提高系统系统的稳定性和性能，保障系统能够顺利扛过双十一流量洪峰，成为了波司登技术人员的重要考量。

了解到波司登的痛点之后，阿里云服务团队根据波司登业务特点结合阿里云微服务治理和稳定性治理体系的最佳实践以及波司登案例，帮助波司登制定了应用无损发布，灰度发布，容量规划，限流降级等方案，并与波司登一道完成方案的落地。

应用无损发布可有效避免应用发布时前端异常的问题，提升用户的使用体验，让系统在变更时更加顺滑。 为了加快落地并减少工作量，充分利用 ACK 和 MSE 的能力，通过配置 preStop 和 MSE 无损下线实现应用优雅退出，通过配置健康检查并开启 MSE 上线流量预热功能保护应用安全启动，有效规避应用发布所出现的流量损失。结合波司登现状，为波司登定制云效流水线、ACK 和 MSE 微服务治理能力相结合的应用发布方案，在应用发布的过程中即可实现无损上下线，无需增加额外操作，给技术人员减负。

灰度发布在应用上线之后出现重大异常时能够及时回滚快速切流，可以小流量试错新版本。 利用 MSE 提供 Agent 接入的方式，基于 HTTP 的 Header 中的某个字段给流量染色，利用 Kubernetes 的声明式部署对应用版本打入灰度标识，这样就可以限制只有被染过色的流量才会进入打上了灰度标识的版本，实现基于逻辑隔离机制的全链路灰度能力，从而实现新版本发布后业务小规模的流量验证，一旦发现新版本存在任何问题，可以及时回滚，把对业务的影响降至最低。

全链路压测是发现系统瓶颈确定系统容量的最佳手段 。波司登技术团队和阿里云服务团队针对云上 5 套核心系统梳理出 50 余个压测场景，设计全链路压测方案、数据模型与压测脚本。通过 Hologres SQL 执行优化、表分区键以及 shard 优化、索引调整，应用日志异步化，JVM 参数优化，代码优化，Redis 缓存，MQ 架构改造等十几项调优手段，在提高系统稳定性的同时系统整体性能提高 50 倍以上，云上资源利用率也显著提高，整体资源费用降低 5%以上。

限流降级能力可以为系统安装一个可靠的保险绳。 由于慢 SQL 较多且时间紧迫来不及优化，为了避免严重的慢 SQL 发生后拖垮整个数据库，对线上业务产生阻断性的风险，波司登使用了 MSE 的数据库治理能力，基于压测结果评估流量峰值，配置 SQL 限流规则，在数据库流量过大时有选择性的让 SQL 进行等待或者快速失败，把不确定的流量变为确定性的流量，保障数据库的稳定从而确保整个业务的稳定。

波司登通过阿里云 AMS 服务，加速各种云原生方案的落地，用一年时间实现核心系统云原生化改造，极大的提升了系统的稳定性和性能，订单处理能力最高达到 50 万单每小时，顺利扛过双十一流量洪峰，也为线上业务的复杂与多变性提供了强有力的技术保障，线上零售额在疫情冲击下逆势同比增长 66%以上 。在满是「不确定性」的后疫情时代，线上渠道通过数智化升级成功实现高质量增长。

双十一的顺利度过以及线上业务的增长使波司登实现了自证预言，走出了一条自住可控的数字化改革之路，未来波司登将继续拥抱云计算，通过更先进、更高效的技术，更数字化的运营方式，激发创新活力，与各行各业的时代变革者共同成长，继续引领行业潮流。