架构师训练营第 1 期 - 第 7 周 - 学习总结
1.性能测试:系统性能的主要技术指标
性能测试是性能优化的前提和基础,也是性能优化结果的检查和度量标准。
主观-- 用户体验
客观-- 性能指标
性能测试指标:响应时间,吞吐量,并发数,性能计数器
响应时间:指应用系统从发出请求开始到收到最后响应数据所需要的时间。
并发数:系统能够同时处理请求的数目,这个数字也反映了系统的负载特性。
吞吐量:指单位时间内系统处理的请求的数量,体现软件系统的处理能力。
TPS(每秒事务数),HPS(每秒 HTTP 请求数),QPS(每秒查询数)
吞吐量 = ( 1000 /响应时间 ms )×并发数
性能计数器:是描述服务器或操作系统性能的一些数据指标。
包括 System Load、对象与线程数、内存使用、CPU 使用、磁盘与网络 I/O 等指标。
性能测试的方法:性能测试、负载测试、压力测试、稳定性测试。
性能测试:以系统设计初期规划的性能指标为预期目标,对系统不断施加压力, 验证系统在资源可接受范围内,是否能达到性能预期。
负载测试:对系统不断地增加并发请求以增加系统压力,直到系统的某项或多项性能指标达到安全临界值,如某种资源已经呈饱和状态,这时候继续对系统施加压力,系统的处理能力不但不能提高,反而会下降。
压力测试:超过安全负载的情况下,对系统继续施加压力,直到系统崩溃或不能再处理任何请求,以此获得系统最大压力承受能力。
稳定性测试:被测试系统在特定硬件、软件、网络环境条件下,给系统加载一定业务压力,使系统运行一段较长时间,以此检测系统是否稳定。
2.全链路压测:
数据构造,
数据隔离(逻辑隔离,虚拟隔离,物理隔离),
流量构造
3.性能优化:系统性能优化的分层思想
方法:
性能测试,获得性能指标
指标分析,发现性能与资源瓶颈点
架构与代码分析,寻找性能与资源瓶颈关键所在
架构与代码优化,优化关键技术点,平衡资源利用
性能测试,进入性能优化闭环
分层思想:
.机房与骨干网络性能优化
.服务器与硬件性能优化
.操作系统性能优化
.虚拟机性能优化
.基础组件性能优化
.软件架构性能优化 (缓存 异步 集群)
.软件代码性能优化
遵循面向对象的设计原则与设计模式编程
并发编程,多线程与锁
资源复用,线程池与对象池
异步编程,生产者消费者
数据结构,数组、链表、hash 表、树
4.操作系统:计算机如何处理成百上千的并发请求?
进程分时执行
进程的运行期状态:
运行:当一个进程在 CPU 上运行时,则称该进程处于运行状态。
处于运行状态的进程的数目 <= CPU 的数目。
就绪:当一个进程获得了除 CPU 以外的一切所需资源,只要得到 CPU 即可运行,则称此进程处于就绪状态(等待运行状态)。
阻塞:(等待或睡眠状态),当一个进程正在等待某一事件发生(例如等待 I/O 完成,等待锁……)而暂时停止运行, 这时即使把 CPU 分配给进程也无法运行,故 该进程处于阻塞状态。
进程 VS 线程
进程从操作系统获得基本的内存空间.
所有的线程共享着进程的内存地址空间,每个线程会拥有自己私有的内存地址范围,其他线程不能访问。 ===> 线程栈
Java Web 应用多线程运行时视图
线程安全 ==> 临界区(多个线程访问共享资源的这段代码被称为临界区)==>锁=>(锁(I/O)会引起线程阻塞。阻塞导致线程既不能继续执行,也不能释放资源。 进而导致资源耗尽。最终导致系统崩溃。)
避免阻塞引起的崩溃:
限流:控制进入计算机的请求数,进而减少创建的线程数。
降级:关闭部分功能程序的执行,尽早释放线程。
反应式:异步;无临界区(Actor 模型)
5.锁:锁原语 CAS 和各类锁
CAS(V,E,N)
V 表示要更新的变量
E 表示预期值
N 表示新值
如果 V==E,则将 V=N,若 V 值和 E 值不同,什么都不做。
CAS 是一种系统原语,原语的执行必须是连续的,在执行过程中不允许被中断。
Java 通过 CAS 原语在对象头中修改 Mark Word 实现加锁
偏向锁 => 轻量级锁 => 重量级锁
偏向锁:指一段同步代码一直被一个线程所访问,那么该线程会自动获取锁,降低获取锁的代价。
轻量级锁:指当锁是偏向锁时,被另一个线程所访问,偏向锁就会升级为轻量级锁,其他线程会通过自旋的形式尝试获取锁,不会阻塞,提高性能。
重量级锁:指当锁是轻量级锁时,另一个线程虽然自旋,但自旋不会一直持续下去,当自旋到一定次数时,还没获取到锁,就会进入阻塞,该锁膨胀为重量级锁,重量级锁会让其他申请的线程进入阻塞,性能降低。
总线锁与缓存锁
总线锁:使用处理器的LOCK#信号,当一个处理器在内存总线上输出此信号的时候,其他处理器的请求将被阻塞,该处理器独占内存。
缓存锁:是指内存区域如果被缓存在处理器的缓存行中,并且在Lock操作期间被锁定,那么当它执行锁操作回写到内存时,处理器不在总线上声言LOCK#信号,而是修改内部的内存地址,并允许它的缓存一致性机制来保证操作的原子性,因为缓存一致性机制会阻止同时修改由两个以上处理器缓存的内存区域数据,当其他处理器回写已被锁定的缓存行数据时,会使缓存行无效。
公平锁 非公平锁
公平锁:多个线程按照申请锁的顺序来获取锁的。
非公平锁:多个线程获取锁的顺序并不是按照申请锁的顺序,有可能后申请的线程比先申请的线程优先获取锁,可能会造成饥饿现象。
可重入锁:某个线程已经获得某个锁,可以再次获取锁而不会出现死锁。
独享锁/互斥锁 共享锁 读写锁
独享锁/互斥锁:该锁一次只能被一个线程所持有。
共享锁:该锁可以被多个线程所持有。
读写锁:多个读线程之间并不互斥,而写线程则要求与任何线程互斥
乐观锁 悲观锁
悲观锁认为对于同一个数据的并发操作,一定是会发生修改的,哪怕没有修改,也会认为修改。因此对于同一个数据的并发操作,悲观锁采取加锁的形式。悲观的认为,不加锁的并发操作一定会出问题。
乐观锁则认为对于同一个数据的并发操作,是不会发生修改的。在更新数据的时候,检查是否已经被修改过,如果修改过,就放弃。
分段锁
设计目的:细化锁的粒度,当操作不需要更新整个数组的时候,就仅仅针对数组的一段进行加锁操作。
JDK ConcurrentHashMap 是通过分段锁的形式来实现高效并发操作的。
自旋锁
指尝试获取锁的线程不会立即阻塞,而是采用循环的方式去尝试获取锁。
好处:减少线程上下文切换的消耗。
缺点:循环会消耗 CPU。
6.异步并发分布式编程框架 akka
版权声明: 本文为 InfoQ 作者【wgl】的原创文章。
原文链接:【http://xie.infoq.cn/article/cee44967c637b62ee1a24f762】。未经作者许可,禁止转载。
评论