性能测试

概述：

性能测试是性能优化的前提和基础，也是性能优化结果的检查和度量标准。不同视角下有不同的性能标准，也有不同的优化手段。

• 主观视角：用户感受到的性能

• 客户视角：性能指标衡量的标准

性能测试指标

网站性能测试的指标主要有：响应时间、并发数、吞吐量、性能计数器等。

• 响应时间 ：指应用系统从发出请求开始到收到最后响应数据所需要的时间。该指标是系统最重要的指标，直观反应了系统的“快、慢”。

• 并发数：系统能够同时处理请求的数目，该数字也反应了系统的负载特性。对于网站而言并发数即并发用户数、在线用户数和系统用户数。

• 吞吐量：指单位时间内系统处理的请求数量，该数字提现系统的处理能力。对于网站，可以用“请求数/秒”或“页面数/秒”来衡量，也可以用“访问人数/天”，“处理业务数/小时”等来衡量。TPS（每秒事务数）也是吞吐量的一个指标，还有HPS（每秒http请求数）、QPS（每秒查询数）等等。吞吐量 = （1000 / 响应时间ms）* 并发数

性能计数器

概述： 性能计数器是描述服务器或操作系统性能的一些数据指标。包括System Load、对象与线程数、内存使用、CPU使用、网络与磁盘I/O等指标。

性能测试方法

性能测试又分为：性能测试、负载测试、压力测试、稳定性测试。

• 性能测试：以系统初期规范的性能指标为预期目标，对系统不断施加压力，验证系统在资源可接受范围内，是否能达到性能预期。

• 负载测试：对系统不断的增加并发请求以增加系统压力，直到系统某项或多项指标达到安全临界值，如某种资源呈饱和状态，这时候继续向系统施加压力，系统的处理能力不但不能提高，反而会下降。

• 压力测试：超过安全负载的情况下，对系统继续施加压力，直到系统崩溃或不能处理任何请求，以此获得系统最大压力承受能力。

• 稳定性测试：被测试系统在特定的硬件、软件、网络环境条件下，给系统加载一定业务压力，使系统运行较长一段时间，以此检测系统是否稳定。生产环境中请求是不均匀的，稳定性测试的时候也应该不均匀地对系统施加压力。

全链路压测

概述：

全链路压测是指在特定的业务场景下，将相关的链路完整的串联起来同时施压，尽可能的模拟出用户的真实行为，当系统整站流量被打进来后，必定会暴露性能瓶颈，才能探测出系统整体的真实处理能力，这便是全链路压测的目的。

全链路压测的挑战

• 压测相关的业务系统众多，并涉及到整个链路上的所以基础设施和中间件，怎样确保压测流量能够畅通无阻，没有死角。

• 压测的数据怎么构造，数据模型如何与真实场景接近。

• 全链路压测是在线上环境进行模拟，怎么确保对线上无影响。

• 大型促销活动所带来的巨大流量怎么模拟

数据构造

数据隔离

• 逻辑隔离：直接把测试数据和正式数据写在一起，通过特殊的标识区分开（可能污染线上数据，破坏线上数据安全性）

• 虚拟隔离：在所有写数据的地方做mock，并不真正写进去。（不会污染线上数据，但是对压测的准确性有影响）

• 物理隔离：所以写数据的地方对压测数据进行识别，识别到是压测数据就把数据写到隔离的位置上，包括存储、缓存、搜索引擎等等。

流量构造



全链路压测平台化

分布式系统性能优化的7层协议

软件性能优化的两个基本原则

• 你不能优化一个没有测试的软件

• 你不能优化一个你不了解的软件

系统性能优化的分层思想

• 机房与骨干网络性能优化

• 异地多活的多机房架构

• 专线网络与自主CDN建设

• 服务器与硬件性能优化

• 使用更优的CPU、磁盘、内存、网卡

• 操作系统性能优化

• 虚拟机性能优化

• 基础组建性能优化

• 软件架构性能优化

• 软件代码性能优化

软件架构性能优化三板斧

• 缓存：从内存获取数据，减少响应时间；减少数据库访问，降低存储设备负载压力；存储结果是对象，而不是原始数据，减少了CPU计算。缓存主要优化读操作。

• 异步：即时响应，更好的用户体验；控制消费速度，合适的负载压力。异步主要优化写操作。

• 集群：横向扩展服务器，提升整体系统性能。

‍软件代码性能优化

• 并发编程，多线程和锁

• 资源复用，线程池与对象池

• 异步编程，生产者消费者

• 数据结构，数组、链表、Hash表、树

操作系统

程序运行时架构

程序是静态的，当程序被运行起来后，被称作为进程。

操作系统多任务运行环境

计算机的CPU核心是有限的，但是服务器可以同时处理成百上千的并发用户请求，那是因为操作系统的进程是分时执行的，每个进程执行一会儿会被挂起然后执行其它的进程。但是因为切换的速度太快了，我们感知不到。

进程的运行期状态

• 运行：当进程正在CPU上运行的时候，进程就处于运行状态。同一时刻处于运行状态的进程数小于等于CPU的核心数。

• 就绪：当一个进程获取到了除CPU以外的所有资源，只要得到CPU就能运行，则该进程处于就绪状态，也被称为等待运行状态。

• 阻塞：也被称为等待或睡眠状态，当一个进程正在等待某一行为发生而暂时停止运行，这时候即时把CPU分配给该进程也无法运行，则该进程处于阻塞状态。

进程 VS 线程

不同进程轮流在CPU上执行，每次都要进行进程间CPU切换，代价非常大，因此服务应用通常是单进程多线程。



进程从操作系统获得基本的内存空间，所以线程共享着进程的内存地址空间。而每个线程也会拥有自己私有的内存地址范围，其它线程不能访问。

线程安全

因为线程都共享着同一进程内存空间地址，当多线程同时对一共享内存里的对象做更新时，就会导致数据不一致，也即线程安全问题。一般使用锁机制能够解决。

临界区

多个线程访问共享资源的代码块称为临界区，解决线程安全问题主要的思路就是在临界区上加上锁。

避免阻塞引起的崩溃

锁会导致线程阻塞，让线程进不能往下执行，也不能够释放资源。进而可能导致资源耗尽而系统崩溃。比慢因阻塞引起的崩溃主要的方案有：

• 限流：控制进入系统的请求数，进而减少线程的创建数

• 降级：关闭部分功能程序的执行，释放掉线程

• 避免阻塞：异步 I/O ；无临界区。

锁

锁原语CAS

CAS(V,E,N)

• V 表示要更新的变量

• E 表示预期值

• N 表示新值

如果 V == E 则 V = N

CAS是一种系统原语，原语的执行必须是连续的，在执行过程中不允许中断。

CAS中不同级别的锁

• 偏向锁：指一段同步代码一直被一个线程所访问，那么该线程会自动获取锁，降低获取锁的代价

• 轻量级锁：指当锁是偏向锁时，被另一线程访问，偏向锁就会升级为轻量级锁，其它线程会通过自旋的方式尝试获取锁，不会阻塞，提高性能。

• 重量级锁：指当锁是轻量级锁时，另一线程虽然自旋，但自旋不会一直持续下去，当自旋到一定次数时，还没获取到锁，就会进入阻塞，该锁膨胀为重量级锁，重量级锁会让其它申请锁的线程进入阻塞，性能降低。

多CPU情况下的锁

总线锁与缓存锁

• 总线锁：使用处理器的LOCK#信号，当一个处理器在内存总线上输出此信号的时候，其它处理的请求将被阻塞，该处理器独占内存。

• 缓存锁：指内存区域如果被缓存在处理器的缓存行中，并且在LOCK操作期间被锁定，那么当它执行锁操作回写到内存的时，处理器不在总线上发出LOCK#信号，而是修改内部的内存地址，并允许它的缓存一致性机制来保证操作的原子性，因为缓存一致性机制会阻止同时修改由两个以上的处理器缓存的内存区域数据，当其它处理器回写已被锁定的缓存行数据时，会使缓存行无效。

公平锁与非公平锁

• 公平锁：多个线程按照申请锁的顺序来获取锁。

• 非公平锁：多个线程获取锁的顺序不是按照申请锁的顺序，有可能后申请的线程比先申请的线程要先拿到锁，可能会造成饥饿现象。

可重入锁

某个线程已经获得某个锁，可以再次获取锁而不会出现死锁。

独享锁/互斥锁 共享锁 读写锁

• 独享锁/互斥锁：该锁一次只能被一个线程所持有

• 共享锁：该锁可以被多个线程所持有

• 读写锁：多个读线程之间并不互斥，而写线程要求与任何线程互斥

乐观锁 悲观锁

• 乐观锁：对于同一数据的并发操作，是不会发生修改的。在更新数据的时候，检查是否已经被修改过，如果修改过，就放弃。

• 悲观锁：对于同一数据的并发操作，一定是会发生修改的，哪怕没有修改，也会认为修改。因此对于同一数据的并发操作，悲观锁采取加锁的形式。悲观的认为，不加锁的并发操作一定会有问题。

分段锁

分段锁的设计目的是为了细化锁的粒度，当操作不需要更新整个数组的时候，就仅仅针对数组的一段进行加锁操作。JDK ConcurrentHashMap就是通过分段锁来实现高效的并发操作的。

自旋锁

自旋锁是指尝试获取锁的线程不会立即阻塞，而是采取循环的方式去尝试获取锁，这样的好处是减少了线程上下文切换的消耗，缺点是循环会占用CPU资源。



文件系统与磁盘I/O

文件控制块

文件系统将硬盘空间以块为单位进行划分，每个文件占据多个文件控制块，然后再通过一个文件控制块FCB记录每个文件占据的硬盘数据块。

Linux Inode 文件控制块

1. inode 中记录着文件权限、所有者、时间、文件大小、等文件属性信息，以及文件数据块硬盘地址索引。

2. inode 是固定结构等，能够记录的硬盘地址索引数也是固定的，只有15个索引。

3. 每个 inode 最多可以存储 12 + 256 + 256^2 + 256^3个数据块，如果每个数据块大小均为4k ，也就是单个文件最大不超过 70G。

RAID独立磁盘冗余阵列



分布式文件系统 HDFS