性能测试

• 性能测试时性能优化的前提和基础，也是性能优化结果的检查和度量标准。

• 视角

• 主观：用户感受到的性能。

• 客观：性能指标衡量的性能。

• 用户感受到的性能指标和实际的性能指标不一致，可优先考虑主观视角优化。

• 性能测试指标

• 响应时间

• 请求开始到收到最后响应数据所需的时间，是重要性能指标，直观反馈了系统快慢

• 并发数

• 系统能够同时处理请求的数目，反映了系统的负载特性

• 吞吐量

• 单位时间内系统处理的请求的数量，体现系统的处理能力

• 吞吐量=（1000/响应时间ms）*并发数

• 性能计数器（辅助指标）

• 描述服务器或操作系统性能的一些数据指标

• System Load

• 线程数

• 内存使用

• CPU使用

• 磁盘与网络I/O

• 性能测试方法

• 性能测试

• 以系统设计初期规划的性能指标为预期目标，对系统不断施加压力，验证系统在资源可接受范围内，是否达到性能预期

• 测试安全临界值

• 负载测试

• 对系统不断低增加并发请求以增加系统压力，直到系统的某项或多项性能指标达到安全临界值，继续对系统施加压力，系统的处理能力不但不能提高，反而会下降

• 测试最大负载值

• 压力测试

• 超过安全负载的情况下，对系统继续施加压力，知道系统崩溃或不能再处理任何请求

• 测试系统最大承受能力（崩溃点）

• 稳定性测试

• 被测试系统在特定硬件、软件、网络环境条件下，给系统加载一定业务压力，使系统运行一段较长时间，以检测系统是否稳定

• 测试系统是否可以稳定运行

• 两条曲线

• 并发数-TPS（吞吐能力）示意图曲线

• 1、无吞吐量（0-a区间）没有并发，没有TPS

• 2、性能测试（a-b区间）：在安全合理的情况下测试TPS与并发数的关系，TPS随并发数基本呈线性增加，此阶段可测试出合理并发数区间和系统安全临界值b点（正常）

• 3、负载测试（b-c区间）：超过b点系统安全临界值，进入到负载测试，不断增加并发，TPS随并发数的增加而缓慢增长，此阶段可测出系统最大负载值c点，也就是TPS最大值时所能承受的最大并发数（最大）

• 4、压力测试（c-d区间）：超过c点系统最大负载值，进入到压力测试区间，此时TPS随并发数的增加而开始下降，此阶段可测出系统崩溃值d点，也就是当并发数超过d点后系统资源耗尽崩溃（崩溃）

• 安全边界和成本的权衡

• 正常在b点附近运行

• b点左（更安全）

• 成本高，安全

• b点右（更低成本）

• 成本低，但容易到达c点

• 如果超过c点就要进行性能优化

• 并发数-响应时间示意图曲线

• 1、随着并发数增加，系统资源并未充分利用，此区间内响应时间基本不变（0-b区间），b点为系统最佳运行点

• 2、超过b点并发不断增加，此时响应时间随并发数的增加而缓慢增加（b-c区间），系统资源利用率100%的时候到达系统最大负载点c

• 3、超过c点并发不断增加，此时响应时间随并发数的增加而急剧增加（c-d区间），系统最终到达系统崩溃点d，此时响应时间最大，超过d点后，系统崩溃不再响应

• 并发数-TPS曲线与并发数-响应时间曲线图相对应

• a-b区间：TPS随并发数增加而基本呈线性增加，响应时间随并发数增加而基本不变

• b-c区间：TPS随并发数增加而缓慢增加，响应时间随并发数增加而缓慢增加

• c-d区间：TPS随并发数增加而开始下降，响应时间随并发数增加而急剧增加

性能优化

• 性能测试是性能优化的前提和结果

• 性能优化的两个基本原则

• 不能优化一个没有测试的软件

• 不能优化一个不了解的软件

• 性能测试的主要指标

• 响应时间：完成一次任务花费的时间

• 并发数：同时处理的任务数

• 吞吐量：单位时间完成的任务数

• 性能计数器：看资源消耗的程度

• 一般方法（闭环）

• 1、性能测试，获得性能指标

• 2、指标分析，发现性能与资源瓶颈点

• 3、架构与代码分析，寻找性能与资源瓶颈关键所在

• 4、架构与代码优化，优化关键技术点，平衡资源利用

• 5、性能测试，进入性能优化闭环

• 性能优化的分层思想

• 机房与骨干网络性能优化

• 异地多活的多机房架构

• 专线网络与自主CDN建设

• 服务器与硬件性能优化

• 垂直伸缩

• 使用更优的CPU、磁盘（SSD硬盘）、内存、网卡，对软件的性能优化可能是数量级的，有时候远超过代码和架构的性能优化

• 操作系统性能优化

• 虚拟机性能优化（Java虚拟机）

• Java的垃圾回收

• 基础组件的性能优化

• 更换中间件组合方式和版本可提升性能

• 软件架构性能优化

• 缓存

• 从内存读取数据，减少响应时间

• 减少数据库访问，降低存储设备负载压力

• 缓存结果对象，而不是原始数据，减少cpu计算

• 缓存主要优化读性能

• 异步

• 即时响应，更好的用户体验

• 控制消费速度，合适的负载压力

• 异步主要优化写操作

• 集群

• 更多的用户访问需要消耗更多的计算资源，单一服务器计算资源的增加是有极限的，所以需要更多的服务器，关键是如何利用起来这些服务器

• 技术目标只有一个：如何使很多服务器对使用者而言看起来像一台服务器

• 软件代码性能优化

• 遵循面对对象的设计原则与设计模式编程（减少烂代码）

• 并发编程，多线程与锁

• 资源复用，线程池与对象池

• 异步编程，生产者消费者

• 数据结构，数组、链表、hash表、树

操作系统

• 程序运行时架构

• 程序是静态的

• 程序运行起来以后，被称作进程

• 操作系统多系任务运行环境

• 计算机的CPU核心数是有限的，但是服务器可以通过进程分时执行来同时处理数以百计甚至数以千计的并发用户请求

• 进程的运行期状态

• 运行

• 当一个进程在CPU上运行时，则称该进程处于运行状态。

• 处于运行状态的进程数亩小于等于CPU的数目

• 就绪

• 当一个进程获得了除CPU意外的一切所需资源，只要得到CPU即可运行，则称此进程处于就绪状态

• 就绪状态也被称为等待运行状态

• 阻塞

• 当一个进程正在等待某一时间发生（例如等待I/O完成，等待锁……）而暂时停止运行，这时即使把CPU分配给进程也无法运行，则该进程处于阻塞状态

• 阻塞状态也被称为等待或睡眠状态

• 进程VS线程

• 进程

• 进程间在CPU切换代价太大

• 服务器应用通常是单进程多线程

• 线程

• 线程可以理解为轻量级的进程

• 所有的线程共享该进程的内存地址空间，而每个线程也拥有自己私有的内存地址范围，其他线程不能访问。

• 状态

• 运行

• 就绪

• 阻塞

• 线程栈

• 线程执行进程的方法，方法的局部变量放在各自线程的堆栈中，互不影响

• 后进先出，保证现有函数在栈顶执行，线程在栈顶中执行

• 栈帧溢出（stack over flow） 

• 栈空间太小

• 递归调用

• 线程安全

• 当某些代码修改内存堆（进程共享内存）里的数据的时候，如果有多个线程在同时执行，就可能会出现同时修改数据的情况

• 堆是线程共享的进程空间一部分

• 解决方法

• 临界区

• 多个线程访问共享资源的这段代码被称为临界区，解决线程安全问题的主要方法就是使用锁，将临界区的代码加锁，只有获得锁的线程才能执行临界区代码

• 锁是加在代码上的

• 阻塞导致高并发系统崩溃

• 锁（IO）会引起线程阻塞。阻塞导致线程既不能继续执行，也不能释放资源。进而导致资源耗尽。最终导致系统崩溃。

• 避免阻塞引起的崩溃

• 限流

• 控制进入计算机的请求数，进而减少创建的线程数

• 降级

• 关闭部分功能程序的执行，尽早释放线程

• 反应式

• 异步；无临界区（Actor模型）

• 锁

• 锁原语CAS

• CAS是一种系统原语，原语的执行必须是连续的，在执行过程中不允许被中断

• CAS(V,E,N)

• V表示要更新的变量

• E表示预期值

• N表示新值

• 如果V值等于E值，则将V的值设为N，若V值和E值不同，什么都不做

• Java中锁一定是锁在对象上的

• 偏向锁

• 指一段同步代码一直被一个线程所访问，那么该线程会自动获取锁，降低获取锁的代价

• 轻量级锁

• 指当锁是偏向锁时，被另一个线程锁访问，偏向锁就会升级为轻量级锁，其他线程会通过自旋的形式尝试获取锁，不会阻塞，提供性能

• 重量级锁

• 指当锁时轻量级锁时，另一个线程虽然自旋，但自旋不会一直持续下去，当自旋到一定次数时，还没获取到锁，就会进入阻塞，该锁膨胀为重量级锁，重量级锁会让其他申请的香橙进入阻塞，性能降低

• 多CPU情况下的锁

• 总线锁

• 使用处理器的LOCK#信号，当一个处理器在内存总线上输出次信号的时候，其他处理器的请求将被阻塞，该处理器独占内存

• 缓存锁

• 时指内存区域如果被缓存在处理器的缓存行中，并且在Lock操作期间被锁定，那么当它执行锁操作回写到内存时，处理器不在总线上声言LOCK#信号，而是修改内部的内存地址，并允许它的缓存一致性机制保证操作的原子性，因而缓存一致性机制会阻止同时修改有两个以上处理器缓存的内存区域数据，当其他处理器回写已被锁定的缓存行数据时，会使缓存行无效

• 公平锁

• 多个线程按照申请锁的顺序来获取锁的

• 非公平锁

• 多个线程获取锁的顺序并不是按照申请锁的顺序，有可能后申请的线程比先申请的线程优先获取锁，可能会造成饥饿现象

• 可重入锁

• 某个线程已经获得某个锁，可以再次获取锁而不会出现死锁

• 独享锁/互斥锁

• 该锁一次只能被一个线程持有

• 共享锁

• 该锁可以被多个线程所持有

• 读写锁

• 多个读线程之间并不互斥，而写线程则要求与任何线程互斥

• 悲观锁

• 认为对于同一个数据的并发操作，一定是会发生修改的，哪怕么有修改，也会认为修改。因此对于同一个数据的并发操作，悲观锁采取加锁的形式。悲观的认为，不加锁的并发错左一定会出问题。

• 乐观锁

• 认为对于同一个数据的并发操作，是不会发生修改的，在更新数据的时候，检查是否已经被修改过，如果修改过，就放弃

• 分段锁（锁的应用）

• 设计目的是细化锁的粒度，当操作不虚啊哟更新整个数组的时候，就仅仅针对数组的一段进行加锁操作

• 自旋锁

• 尝试获取锁的线程不会立即阻塞，而是采用循环的方式区尝试获取锁，好处是减少线程的上下文切换的消耗，缺点是循环会消耗CPU

• 异步并发分布式编程框架akka

文件与硬盘I/O

• 硬盘分类

• 机械硬盘

• SSD硬盘

• 数据结构

• B+数

• 数据库系统数据结构

• LSM数

• Hbase存储数据结构

• 不需要跳转指针

• 文件系统

• 文件控制块

• 文件系统将硬盘空间以块为单位进行划分，每个文件占据若干个块，然后再通过一个文件控制块FCB记录每个文件占据的硬盘数据块

• Linux Inode 文件控制块

• Inode中记录着文件权限、所有者、修改时间和文件大小等文件属性信息，以及文件数据块硬盘地址索引

• Inode是固定结构的，能够记录的硬盘地址索引数也是固定的，只有15个索引

• 每个inode最多可以存储12+256+256*256+256*256*256个数据块，如果每个数据块的大小为4k，也就是单个文件最大不超过70G

• 要解决的问题

• 如何存放大文件

• 数据高可用

• 数据快速读写

• RAID独立硬盘冗余阵列

• RAID 0

• 数据并行写在不同硬盘

• 并发解决数据高速读写问题

• 可靠性低

• RAID 1

• 同一数据写到两个硬盘

• 可靠性高

• 速度慢

• RAID 10

• RAID1和RAID0结合

• 性能、可用性高

• 成本高

• RAID 5（常用）

• 数据异或校验信息螺旋记录到磁盘上，分担校验盘访问压力

• 容忍损坏一块盘

• RAID 6

• 记录两个数据异或校验信息

• 容忍损坏两块盘

• RAID由操作系统管理，无法存储更大的文件

• 分布式文件系统HDFS

• 特点

• 更大文件管理能力（几百T的大文件）

• 不再受传统文件系统索引的限制

• 文件理论可以无限大

• 更高的并发要求

• 超高速的读写速度

• 不再受磁盘读写限制

• 更高可用性

• 硬盘损坏、服务器损坏、交换机损坏任一损坏都不会影响数据

• 跨服务器、跨机架写三备份

• HDFS架构

• 以服务器集群方式部署

• 角色

• NameNode（类似文件控制块角色）

• 元数据，记录相关信息

• DataNode（文件数据块）

• 数据节点

• 服务器存储数据

• 以块（64M）为单位

• 高可用过程（DataNode失效）

• 1、DateNode启动后会向NameNode注册

• 2、DateNode定时向NameNode发送心跳

• 3、当DataNode超时没有向NameNode发送心跳，NameNode判定DataNode失效

• 4、NameNode通过元（meta）信息检查该失效DataNode的数据块有哪些，备份数据块在哪里

• 5、NameNode通知备份机复制失效DataNode的数据块（在多台服务器均匀分布）到某台机器，恢复成三副本