第七周 性能优化（一）

在学习一个新领域的知识时或者打算精通某一个领域的时候，我们首先要清楚自己要做什么事？诉求是什么？然后根据需求点去找自己需要学习的东西，而工具仅仅是辅助我们做这件事的其中一个环节而已，而且如果仅仅是停留在使用工具层面，即使用得再熟练 ，也只能是一个执行者，而不是决策者或设计者。所以，踏踏实实先把基本的概念理解透彻，再进行下一步，你会发现很多问题会迎刃而解。

一个用户请求从发起到结束的过程图

性能指标

要做好做到性能优化，首先我们要了解相应的性能指标。以下是几个常见的性能指标和名词：

• 用户数

• 系统用户数：系统用户数就是一个系统中所有的注册用户数

• 在线用户数：在线用户数是当前登录系统的用户数

• 并发用户数：并发用户数是指对 Server 产生压力的用户数 (正在进行某种操作的用户)

• QPS

• Queries Per Second - “每秒查询率”，是一台服务器每秒能够响应的查询次数，是对一个特定的查询服务器在规定时间内所能处理流量多少的衡量标准。

• TPS

• TPS 是 Transactions Per Second 的缩写，也就是事务数/秒。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。

• 并发数（Concurrency）

• 并发数是指系统同时能处理的请求数量，反映了系统的负载能力。

• 响应时间（Response-time）

• 执行一个请求从开始到最后收到响应数据所花费的总体时间，即从客户端发起请求到收到服务器响应结果的时间

• 吞吐量（Throughput）

• 吞吐量是指系统在单位时间内处理请求的数量，TPS、QPS 都是吞吐量的常用量化指标。吞吐量与请求对 CPU 的消耗、外部接口、IO 等紧密关联。单次请求对 CPU 消耗越高，外部系统接口、IO 速度越慢，系统吞吐能力越低，反之越高

• 性能计数器

• 是描述服务器或操作系统性能的一些数据指标。包括 System Load，对象和线程数，内存使用，CPU 使用，磁盘与网络 IO 等指标。这些指标也是系统监控的重要参数，对这些指标设置报警阈值，当监控系统发现性能计数器超过阈值的时候，就向运维和开发人员报警，及时发现处理系统异常。

性能测试

性能测试是一个总称，具体可以细分的话可以分为性能测试、负载测试、压力测试、稳定测试等等。通常，性能测试包含三个阶段：轻负载阶段、重负载阶段、压垮阶段。性能测试是通过自动化的测试工具，模拟多种正常、峰值以及异常负载条件下，对系统的各项运行指标进行衡量的手段。通过性能测试，我们可以大致确定在各种负载下系统的运行状况。一般而言，只有在系统基础功能测试验证完成、系统趋于稳定的情况下才会进行性能测试，否则性能测试是无意义的。

性能测试是性能优化的前提和基础，也是性能优化结果的检查和度量标准。不同视角下的网站性能有不同的标准，也有不同的优化手段。

主观视角：用户感受到的性能

客观视角：性能指标衡量的性能



在实际场景中不能忽视主观视角，让用户感受到快有很多方法，比如：异步，交互体验，产品设计 等。这些往往比性能指标的提升更加直观。

负载-性能关系图

性能测试方法

• 性能测试

• 以系统设计初期规划的性能指标为预期目标，对系统不断施加压力，验证系统在资源可接受范围内，是否能达到性能预期。

• 负载测试

• 对系统不断地增加并发请求以增加系统压力，直到系统的某项或多项性能指标达到安全临界值，如某种资源已经呈饱和的状态，这时候继续对系统施加压力，系统的处理能力不但不能提高，反而会下降。

• 压力测试

• 超过安全负载的情况下，对系统继续施加压力，直到系统崩溃或不能再处理任何请求，以此获得系统最大压力承受能力。

• 稳定性测试

• 被测系统在特定硬件、软件、网络环境条件下，给系统加载一定业务压力，使系统运行一段较长时间，以此检测系统是否稳定。在生产环境，请求压力是不均匀的，呈波浪特性，因此为了更好地模拟生产环境，稳定性测试也应不均匀地对系统施加压力。

吞吐量与并发用户数关系

响应时间与并发用户数关系

全链路压测

全链路压测其实指的就是在特定的业务场景下，将相关的链路完整的串联起来同时施压，尽可能模拟出真实的用户行为，当系统整站流量都被打上来的时候，必定会爆露出性能瓶颈，才能够探测出系统整体的真实处理能力，以及有指导的在大促前进行容量规划和性能优化，这便是线上实施全链路压测的真正目的。

性能优化

作为架构师，在进行优化分析的时候，眼光要放的长远一些，不仅仅只关注架构和代码，还有中间件，组件，虚拟机，操作系统，服务器硬件，骨干网络，CDN 等这些方面需要进行了解和关注。

软件性能优化的两个基本原则

• 你不能优化一个没有测试的软件

• 你不能优化一个你不了解的软件

性能优化的一般方法

• 性能测试，获得性能指标

• 指标分析，发现性能与资源瓶颈点

• 架构与代码分析，寻找性能与资源瓶颈关键所在

• 架构与代码优化，优化关键技术点，平衡资源利用

• 性能测试，进入性能优化闭环

系统性能优化的分层思想

• 机房与骨干网络性能优化：异地多活的多机房架构、专线网络与自主 CDN 建设

• 服务器与硬件性能的优化 ：使用更优的 CPU，磁盘，内存，网卡，对软件的性能优化可能是数量级的，有时候远远超过代码和架构的性能优化。例如：升级网卡，10G 网卡代替 1G 网卡

• 操作系统性能优化：系统参数等优化。例如：Linux 操作系统的内核参数设置不合理也有可能导致系统性能瓶颈

• 虚拟机性能优化：感觉业务场景合理地设置 JVM 的内存空间以及垃圾回收算法可以提升系统性能

• 基础组件性能优化：适合的基础组件架构与稳定的版本，可以提升系统性能

• 软件架构性能优化

• 缓存

• 从内存获取数据，减少响应时间

• 减少数据库访问，降低存储设备负载压力

• 缓存结果对象，而不是原始数据，减少 CPU 计算

• 缓存主要优化读操作

• 异步

• 即时响应，更好的用户体验

• 控制消费速度，合适的负载压力

• 异步主要优化写操作

• 集群

• 古老谚语：如果一匹马拉不动车，无需更换一匹更强的马，而是用两匹马拉车。

• 更多的用用户访问需要消耗更多的计算资源，单一服务器计算资源的增加是有极限的，所以需要增加更多的服务器。关键是如何利用起来这些服务器。

• 集群的技术目标只有一个：如何使很多台服务器对使用者而言看起来像一台服务器。

• 软件代码性能优化

• 遵循面向对象的设计原则与设计模式编程，使系统易扩展、更强壮、可移植、更简单

• 并发编程，多线程与锁

• 资源复用，线程池与对象池

• 异步编程，生产者消费者

• 数据结构，数组、链表、hash 表、树

操作系统

程序运行时架构

程序是静态的，跑起来以后，被称作进程。

进程运行期状态

• 运行：一个进程在 CPU 上运行时，则称改进程处于运行状态。处于运行状态的进程的数目小于等于 CPU 的数目。

• 就绪：当一个进程获得了除了 CPU 以外的一切所需资源，只要得到 CPU 即可运行，则称此进程处于就绪状态，就绪状态有时候也被称为等待运行状态。

• 阻塞：也称为等待或者睡眠状态，当一个进程正在等待某一事件发生（例如等待 I/O 完成，等待锁等）而暂时停止运行，这时，即使把 CPU 分配给进程也无法运行，故称该进程处于阻塞状态。

进程 VS 线程

应用服务器通常是单进程多线程，进程从操作系统获得基本的内存空间，所有的线程共享着进程的内存地址空间。而每个线程也会拥有自己 私有的内存地址范围，其他线程不能访问。

线程栈

方法的调用，先进后出

线程安全

当某些代码修改内存堆（进程共享内存）里的数据的时候，如果有多个线程在同时执行，就有可能会出现同时修改数据的情况。

临界区

多个线程访问共享资源的这段代码被称为临界区，解决线程安全问题的主要方法是使用锁，将临界区的代码加锁，只有获得锁的线程才能执行临界区代码。

阻塞导致并发系统崩溃

锁（IO）会引起线程阻塞，阻塞导致线程既不能继续执行，也不能释放资源。进而导致资源耗尽。最终导致系统崩溃。

避免阻塞引起的崩溃

限流：控制进入计算机的请求数，进而减少创建的线程数；

降级：关闭部分功能程序的执行，尽早释放线程；

反应式：异步；无临界区（Actor 模型）

锁-锁原语 CAS 与各类锁

锁原语 CAS CAS(V,E,N)

• V 表示要更新的变量

• E 表示预期值

• N 表示新值

如果 V 变量对应的值等于 E 值，则将 V 的值更新为 N，若 V 值与 E 不同，什么都不做。

CAS 是一种系统原语，原语的执行必须是连续的，在执行过程中不允许被中断。

偏向锁、轻量锁、重量级锁

• 偏向锁：指一段同步代码一直被一个线程所访问，那么该线程会自动获取锁，降低获取锁的代价。

• 轻量级锁：指当锁是偏向锁时，被另一个线程所访问，偏向锁就会升级为轻量级锁，其他线程会通过自旋的形式尝试获取锁，不会阻塞，提高性能。

• 重量级锁：指当锁时轻量级锁时，另一个线程虽然自旋，但自旋不会一直持续下去，当自旋到一定次数时，还没获取到锁，就会进入阻塞，该锁膨胀为重量级锁，重量级锁会让其他申请的线程进入阻塞，性能降低。



synchronized 锁升级流程图：

多 CPU 情况下的锁

• 总线锁：使用处理器的 LOCK #信号，当一个处理器在内存总线上输出次信号的时候，其他处理器的请求将被阻塞，该处理器独占内存。

• 缓存锁：是指内存区域如果被缓存在处理器的缓存行中，并且在 LOCK 操作期间被锁定，那么当它执行锁操作回写到内存时，处理器不在总线上声言 LOCK# 信号，而是修改内部的内存地址，并允许它的缓存一致性机制来保证操作的原子性，因为缓存一致性机制会阻止同时修改由两个以上处理器缓存的内存区域数据，当其他处理器回写已被锁定的缓存行数据时，会使缓存行无效。

相关的一些锁

• 公平锁：多个线程按照申请锁的顺序来获取锁的

• 非公平锁：多个线程后去锁的顺序并不是按照申请锁的顺序，有可能后申请的线程比先申请的线程优先获取锁，可能会造成饥饿现象

• 可重入锁：某个线程已经获得某个锁，可以再次获取锁而不会出现死锁

• 独享锁/互斥锁：该锁一次只能被一个线程所持有

• 共享锁：该锁可以被多个线程所持有

• 读写锁：多个读线程之间并不互斥，而写线程则要求与任何线程互斥

• 悲观锁：认为对于同一个数据的并发操作，一定是会发生修改的，哪怕没有修改，也会认为修改。因此对于同一个数据的并发操作，悲观锁采取加锁的形式。悲观的认为，不加锁的并发操作一定会出问题

• 乐观锁：则认为对于同一个数据的并发操作，是不会发生修改的。在更新数据的时候，检查是否已经被修改过，如果修改过，就放弃。

• 分段锁：细化锁的粒度，当操作不需要更新整个数组的时候，就仅仅针对数组的一段进行加锁操作。

• 自旋锁：尝试获取锁的线程不会立即阻塞，而是采用循环的方式去尝试获取锁，这样的好处是减少线程上下文切换的消耗，缺点是循环会消耗 CPU