写点什么

架构师训练营 - 第七周学习总结

用户头像
chenlovehx
关注
发布于: 2020 年 11 月 08 日

性能测试


性能测试是性能优化的前提和基础,也是性能优化结构的检查和度量标准。在不同的视角下的网站性能有不同的标准,也有不同的优化手段。


主观视角:用户感受到的性能


客观视角:性能指标衡量的性能


性能测试指标


不同视角下有不同的性能指标,不同的标准有不同的性能测试指标,网站性能测试的主要指标有响应时间、并发数、吞吐量、性能计数器等。


响应时间:指应用系统从发出请求开始到收到最后响应数据所需要的时间。响应时间是系统最重要的性能指标,直观反映了系统的“快慢”。


并发数:系统能够同时处理请求的数目,这个数字也反映了系统的负载特性。对于网站而言,并发数即系统并发用户数,指同时提交请求的用户数目,与此相对应,还有在线有户数(当前登录系统的用户数)和系统用户数(可能访问系统的总用户数)。


吞吐量:单位时间内系统处理的请求的数量,体现系统的处理能力。对于网站,可以用“请求数/秒”或是“页面数/秒”来衡量,也可以用“访问人数/天”或是“处理的业务数/小时”等来衡量。TPS(每秒事务数)也是吞吐量的一个指标,此外还有 HPS(每秒 HTTP 请求数),QPS(每秒查询数)等。吞吐量=(1000/响应时间 ms)*并发数


性能计数器:是描述服务器或操作系统性能的一些数据指标,包括 System Load、对象与线程数、内存使用、CPU 使用、磁盘与网络 I/O 等指标。这些指标也是系统监控的重要参数,对这些指标设置报警阈值,当监控系统发现性能计数器超过阈值的时候,就向运维和开发人员报警,及时发现处理系统异常。


性能测试方法


性能测试是一个总称,具体可细分为性能测试、负载测试、压力测试、稳定性测试。


性能测试:以系统设计初期规划的性能指标为预期目标,对系统不断施加压力,验证系统在资源可接受范围内,是否能达到性能预期。


负载测试:对系统不断地增加并发请求以增加系统压力,直到系统的某项或多项性能指标达到安全临界值,如某种资源已经呈饱和状态,这时候继续对系统施加压力,系统的处理能力不但不能提高,反而会下降。


压力测试:超过安全负载的情况下,对系统继续施加压力,直到系统崩溃或不能再处理任何请求,以此获得系统最大能力承受能力。


稳定性测试:被测试系统在特定硬件、软件、网络环境条件下,给系统加载一定业务压力,使系统运行一段较长时间,以此检测系统是否稳定。在生产环境,请求压力是不均匀的,呈波浪特性,因此为了更好地模拟生产环境,稳定性测试也应不均匀地对系统施加压力。



在生产环境中,应该让系统运行在 a-b 点,还是 b-c 点?这关乎到架构师的成本和收益的理念。



通过多线程并发请求来模拟性能测试:



全链路压测


全链路压测指的是在特定的业务场景下,将相关的链路完整地串联起来同时施压,尽可能模拟出真实的用户行为,当系统整站流量都被打上来的时候,必定会暴露出性能瓶颈,才能够探测出系统整体的真实处理能力,以及有指导的在大促前进行容量规划和性能优化,这便是线上实施全链路压测的真实目的。


全链路压测的挑战


  • 如何确保压测流量能够通畅无阻,没有死角?压测数据怎么构造,数据模型如何与真实贴近?线上数据筛选、脱敏、id 隔离、订正

  • 全链路压测直接在线上的真实环境进行模拟,怎么保障对线上无影响?逻辑隔离、虚拟隔离、物理隔离

  • 大型促销活动所带来的巨大流量怎么制作出来?全链路压测流量平台


性能优化


软件性能优化的两个基本原则


  • 你不能优化一个没有测试的软件

  • 你不能优化一个你不了解的软件


性能测试的主要指标


  • 响应时间:完成一次任务花费的时间

  • 并发数:同时处理的任务数

  • 吞吐量:单位时间完成的任务数

  • 性能计数器:System Load,线程数,进程数,CPU,内存,磁盘,网络使用率


性能优化的一般方法


  • 性能测试,获得性能指标

  • 指标分析,发现性能与资源瓶颈点

  • 架构与代码分析,寻找性能与资源瓶颈关键所在

  • 架构与代码优化,优化关键技术点,平衡资源利用

  • 性能测试,进入性能优化闭环


系统性能优化的分层思想


  • 机房与骨干网络性能优化

  • 服务器与硬件性能优化

  • 操作系统性能优化

  • 虚拟机性能优化

  • 基础组件性能优化

  • 软件架构性能优化

  • 软件代码性能优化


软件架构性能优化三板斧


  • 缓存


  • 异步

  • 集群


软件代码性能优化


  • 遵循面向对象的设计原则与设计模式编程

  • 并发编程,多线程与锁

  • 资源复用,线程池与对象池

  • 异步编程,生产者消费者

  • 数据结构:数组、链表、hash 表、树


操作系统


程序运行时架构


操作系统多任务运行环境


计算机的 CPU 核心数是有限的。但是,服务器可以同时处理数以百计甚至数以千计的并发用户请求。采用的是进程分时执行。


进程的运行期状态


运行:当一个进程在 CPU 上运行时,则称该进程处于运行状态,处于运行状态的进程的数目小于等于 CPU 的数目。


就绪:当一个进程获得了除 CPU 以外的一切所需资源,只要得到 CPU 即可运行,则称此进程出于就绪状态,就绪状态有时候也被称为等待运行状态。


阻塞状态:也称为等待或睡眠状态,当一个进程正在等待某一事件发生而暂时停止运行,这时即使把 CPU 分配给进程也无法运行,所以称该进程出于阻塞状态。


线程


服务器应用通常是单进程多线程。线程也存在运行、就绪、阻塞状态。


进程从操作系统获得基本的内存空间,所有的线程共享着进程的内存地址空间。而每个线程也会拥有自己私有的内存地址范围,其它线程不能访问。



多个线程执行相同的代码,为什么能够处理不同的用户请求?每一个线程有自己的线程栈,线程运行的时候在自己的栈空间存储局部变量。当前函数运行一定是在栈顶的栈帧空间运行的。


Java web 应用多线程运行时视图



tomcat 有自己的 start.sh 命令,实际上真正执行的命令是:java org.apache.catalina.startup.Bootstrap:start()


线程安全


当某些代码修改内存堆(进程共享内存)里的数据的时候,如果有多个线程在同时执行,就可能会出现同时修改数据的情况。


临界区


多个线程访问共享资源的这段代码被称为临界区,解决线程安全问题的主要方法是使用锁,将临界区的代码加锁,只有获得锁的线程才能执行临界区代码。


阻塞导致高并发系统崩溃


锁(I/O)会引起线程阻塞,阻塞导致线程既不能继续执行,也不能释放资源。进而导致资源耗尽,最终导致系统崩溃。


避免阻塞引起的崩溃


限流:控制进入计算机的请求数,进而减少创建的线程数


降级:关闭部分功能程序的执行,尽早释放线程


反应式:异步;无临界区(Actor 模型)



锁原语 CAS


如果 v 值等于 E 值,则将 V 值设为 N 值;如果 V 值不等于 E 值,则什么都不做。


CAS 是一种系统原语,原语的执行必须是连续的,在执行过程中不允许被中断。


java 通过 CAS 原语在对象头中修改 Mark Word 实现加锁



多 CPU 情况下的锁(总线锁/缓存锁)



总线锁:使用处理器的 LOCK#信号,当一个处理器在内存总线上输出此信号的时候,其他处理器的请求将被阻塞,该处理器独占内存。


缓存锁:内存区域如果被缓存在处理器的缓存行中,并且在 Lock 操作期间被锁定,那么当它执行锁操作回写到内存时,处理器不在总线上声言 LOCK#信号,而是修改内部的内存地址,并允许它的缓存一致性机制来保证操作的原子性,因为缓存一致性机制会阻止同时修改由两个以上处理器缓存的内存区域数据,当其他处理器回写已被锁定的缓存行数据时,会使缓存行无效。


公平锁/非公平锁


公平锁:多个线程按照申请锁的顺序来获取锁。


非公平锁:多个线程获取锁的顺序并不是按照申请锁的顺序,有可能后申请的线程比先申请的线程优先获取锁,可能会造成饥饿现象。


可重入锁


可重入:某个线程已经获得某个锁,可以再次获取锁而不会出现死锁。


独享锁/互斥锁、共享锁、读写锁


独享锁/互斥锁:该锁一次只能被一个线程持有


共享锁:该锁可以被多个线程持有


读写锁:多个读线程之间并不互斥,而写线程则要求与任何线程互斥


乐观锁/悲观锁


悲观锁:认为对于同一个数据的并发操作,一定是会发生修改的,哪怕没有修改,也会认为修改。因此对于同一个数据的并发操作,悲观锁采取加锁的形式。悲观锁认为,不加锁的并发操作一定会出现问题。


乐观锁:认为对于同一个数据的并发操作,是不会发生修改的。在更新数据的时候,检查是否已经被修改过,如果修改过,就放弃。


分段锁


分段锁的设计目的是细化锁的粒度,当操作不需要更新整个数组的时候,就仅仅针对数组的一段进行加锁操作。


自旋锁


自旋锁是指尝试获取锁的线程不会立即阻塞,而是采用循环的方式去尝试获取锁,这样的好处是减少线程上下文切换的消耗,缺点是循环会消耗 CPU。


发布于: 2020 年 11 月 08 日阅读数: 29
用户头像

chenlovehx

关注

还未添加个人签名 2018.04.26 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营 - 第七周学习总结