写点什么

架构师训练营第 1 期第 7 周总结

用户头像
du tiezheng
关注
发布于: 2020 年 11 月 09 日

一 、性能测试

性能测试是性能优化的前提和基础,也是性能优化结果的检查和度量标准。



1.1 视角

主观视角:用户感受到的性能

客观视角:性能指标衡量的性能

不同视角下性能有不同的性能标准,也有不同的性能指标和优化手段。



1.2 指标



1)响应时间

系统从发出请求到收到响应数据所需要的时间。

系统最重要的性能指标,直观的反映了系统的“快慢”。



2)并发数

系统同时处理请求的数目,反映了系统的负载特性。

对于网站,并发数即系统并发用户数,指同时提交请求的用户数目。通常不会很大。

注意区分:

在线用户数(当前登录系统的用户数)。

系统用户数(可能访问系统的总用户数)。

并发用户数才是消耗系统资源的关键。



3)吞吐量

单位时间内系统处理的请求的数量,体现系统的处理能力。

常用指标:

“请求数/秒”、“页面数/秒”、“访问人数/天”、“处理的业务数/小时”。

TPS(每秒事务数)、HPS(每秒HTTP请求数)、QPS(每秒查询数)。



4)性能计数器

描述服务器或操作系统性能的一些数据指标。包括System Lad、对象与线程数、内存使用、CPU使用、磁盘与网络I/O等。

这些指标也是系统监控的重要参数,对这些指标设置报警阀值,当监控系统发现性能计数器超过阀值时,向运维和开发人员报警,及时发现处理系统异常。



5)指标之间的关系

吞吐量 = ( 1000 / 响应时间ms ) × 并发数

知道其中两个,可以算出第三个。



1.3 分类



1)性能测试

以系统设计初期规划的性能指标为目标,对系统不断施加压力,验证系统在资源可接受范围内,能否达到性能预期。



2)负载测试

对系统不断增加并发请求以增加系统压力,直到系统某项或多项性能指标达到安全临界值,某种资源呈饱和状态,这时候继续对系统施加压力,系统的处理能力不但不能提高,反而会下降。



3)压力测试

超过安全负载的情况下,对系统继续施加压力,直到系统崩溃或不能再处理任何请求,以此获得系统最大压力承受能力。



4)稳定性测试

被测试系统在特定硬件、软件、网络环境条件下,给系统加载一定业务压力,使系统运行一段较长时间,以此检测系统是否稳定。在生产环境,请求压力是不均匀的,呈波浪特性,为了更好地模拟生产环境,稳定性测试也应不均匀地对系统施加压力。



作业:性能压测的时候,随着并发压力的增加,系统响应时间和吞吐量如何变化?

从两个方面回答:

1、性能测试、负载测试、压力测试之间的变化关系。

2、吞吐量、响应时间随并发压力变化曲线。



架构师需要平衡成本和收益与风险,部署多少资源,从而让系统运行在吞吐量曲线、响应时间曲线的哪一段,从而做到心中有数。



1.4 全链路压测

1)需求

在多数场景下,只需要对系统的一些核心关键接口做性能测试。但某些特殊情况下,如电商大促,需要对非核心接口测试,更全面暴露隐藏问题。这时可以通过全链路压测实现。



2)定义

在特定的业务场景下,将相关的链路完整的串联起来同时施压,尽可能模拟出真实的用户行为。

当系统流量都被打上来时,会暴露出性能瓶颈,探测出系统整体的真实处理能力,指导容量规划和性能优化。



3)挑战

如何构造贴近真实的数据

如何对线上业务无影响

如何模拟产生高并发流量



4)数据构造

dump用户真实产生的数据来构造压测数据。

对dump数据筛选、脱敏、隔离、订正,避免破坏后台真实数据、产生安全隐患。

将整理后的数据放到压测基础数据池,供模拟数据平台和BI中心评估、选择、验证。

模拟数据平台将选择的数据打包分发给流量平台,由流量平台执行最终压测。



5)数据隔离

逻辑隔离:直接把测试数据和正常数据写到一起,通过特殊的标识能够区分开。可能污染线上数据,破坏线上数据安全性。

虚拟隔离:在所有写数据的地方做 mck,并不真正的写进去。不会对线上产生污染,但是mck 对压测结果的准确性会产生干扰。

物理隔离:所有写数据的地方对压测流量进行识别,判断一旦是压测流量的写,就写到隔离的位置,包括存储、缓存、搜索引擎等等。



6)流量构造

对于所有用户业务同通过CDN访问系统数据中心的系统,可以在CDN上部署压测引擎、发起压测流量。



全链路压测平台化

将CDN组织起来,构建压测资源池,按需分组,使得全链路压测平台化、常态化。



二、性能优化



两个基本原则:

不能优化一个没有测试的软件

不能优化一个你不了解的软件



2.1 方法

1)性能测试,获得性能指标

2)指标分析,发现性能与资源瓶颈点

3)架构与代码分析,寻找性能与资源瓶颈关键所在

4)架构与代码优化,优化关键技术点,平衡资源利用

5)性能测试,进入性能优化闭环



2.2 分层思想

1)机房与骨干网络

异地多活的多机房架构

专线网络与自主 CDN 建设



2)服务器与硬件

使用更优的 CPU,磁盘,内存,网卡,对软件的性能优化可能是数量级的,有时候远远

超过代码和架构的性能优化。



3)操作系统



4)虚拟机



5)基础组件



6)软件架构

架构性能优化三板斧



缓存:从内存获取数据,减少响应时间。减少数据库访问,降低存储设备负载压力。缓存结果对象,减少CPU计算。缓存主要优化读操作。



异步:即时响应,更好的用户体验。控制消费速度,合适的负载压力。异步主要优化写操作。



集群:单一服务器计算资源是有极限的。集群的技术目标:如何使很多台服务器对使用者而言看起像一台服务器。



7)软件代码

遵循面向对象的设计原则与设计模式编程。

并发编程,多线程与锁

资源复用,线程池与对象池

异步编程,生产者消费者

数据结构,数组、链表、hash 表、树



三、操作系统、锁

待整理



四、Akka

待整理



用户头像

du tiezheng

关注

还未添加个人签名 2018.08.16 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第 1 期第 7 周总结