第七周总结

本周主要讲解了两个方面的知识：

• 性能测试与优化

• 操作系统与文件系统

1. 性能测试与优化

性能测试是性能优化的前提和基础，也是性能优化结果的检查和度量标准。不同视角下的网站性能有不同的标准，也有不同的优化手段。

主观视角：用户感受到的性能

客观视角：性能指标衡量的性能。

这两点，其实之前没有注意到，一直站在开发人员的的客观角度思考，有些时候，如果也可以站在主观角度考虑性能问题，其实也有一些简单的技巧可以使用，比如不进行系统代码的调整，进行一些简单提升规则的调整，也是能提升用户的性能体验的。

1. 性能测试指标

包括响应时间，并发数，吞吐量，性能计数器等；

响应时间：指应用系统从发出请求开始，到收到最后响应数据所需要的时间。响应时间是系统最重要的性能指标，直观的反映了系统的“快慢”。

并发数：系统能够同时处理请求的数目，这个数字也反映了系统的负载特性。对于网站而言，并发数即系统并发用户数：指同时提交的用户数目，于此相对应，还有在线用户数（当前登录系统的用户数）和系统用户数（可能访问系统的总用户数）。

吞吐量：指单位时间内系统处理的请求的数量，体现系统的处理能力。对于网站，可以用“请求数/秒”或是“页面数/秒”来衡量，也可以用“访问人数/天”或者“处理的业务数/小时”等来衡量。

TPS（每秒事务数）也是吞吐量的一个指标，此外还有HPS（每秒HTTP请求数），QPS（每秒查询数）等。

性能计数器：是描述服务器或操作系统性能的一些数据指标。包括System Load、对象与线程数、内存使用、CPU使用、磁盘与网络I/O等指标。这些指标也是系统监控的重要参数，对这些指标设置报警阈值，当监控系统发现性能计数器超过阈值的时候，就向运维和开发人报警，及时发现处理系统异常。

1. 性能测试方法

性能测试是一个总称，具体可细分为性能测试、负载测试、压力测试、稳定性测试。

性能测试：以系统设计初期规划的性能指标为预期目标，对系统不断施加压力，验证系统在资源可接受范围内，是否能达到性能预期。

负载测试：对系统不断地增加并发请求以增加系统压力，直到系统的某项或多项性能指标达到安全临界值，如某种资源已经呈饱和状态，这时候继续对系统施加压力，系统的处理能力不但不能提高，反而会下降。

压力测试：超过安全负载的情况下，对系统继续施加压力，直到系统崩溃或不能再处理任何请求，以获得系统最大压力承受能力。

稳定性测试：被测试系统在特定硬件、软件、网络环境条件下，给系统加载一定业务压力，使系统运行一段较长时间，以此检测系统是否问题。在生产环境，请求压力是不均匀的，呈波浪特性，因此为了更好地模拟生产环境，稳定性测试也应不均匀地对系统施加压力。



下图是系统吞吐量和并发数在各个测试阶段的示意图。

下图是系统响应时间和并发数在各个测试阶段的示意图。

下图是具体的测试数据示例：

1. 性能优化

两个基本原则：

• 你不能优化一个没有测试的软件

• 你不能优化一个你不了解的软件

性能优化的一般方法：

• 性能测试，获得性能指标

• 指标分析，发现性能与资源瓶颈点

• 架构与代码分析，寻找性能与资源瓶颈关键所在

• 架构与代码优化，优化关键技术点，平衡资源利用

• 性能测试，进入性能优化闭环

系统性能优化的分层思想：

• 机房与骨干网络性能优化：异地多活的多机房架构，专线网络与自主CDN建设（升级网卡是最常见的手段）。

• 服务器与硬件性能优化：使用更优的CPU，磁盘，内存，网卡，对软件的性能优化可能是数量级的，有时候远超过代码和架构的性能优化。

• 操作系统性能优化

• 虚拟机性能优化

• 基础组件性能优化：对于不同版本的组件，也是有性能差别的，一般来说，最新的版本性能会好些。

• 软件架构性能优化

• 软件代码性能优化

性能优化的三板斧：

• 缓存

• 异步：即时响应，更好的用户体验，控制消费速度，合适的负载压力。异步主要优化写操作。

• 集群：更多的用户访问需要消耗更多的计算资源，单一服务器资源是有限的，所以需要增加更多的服务器。虽说是很多台服务器，但对使用者来说，就是一台服务器。

1. 操作系统

程序是运行在操作系统之上的，程序是静态的，但是在操作系统之上运行起来之后，就是动态的，有生命的了，我们称之为进程。需要注意的是：CPU是轮流执行的每一个进程的，分时间片，同时争取资源，本质上是串行的，只是时间片比较小，我们看着像并行的一样。

1. 程序的运行期状态

• 运行

• 就绪

• 阻塞

1. 进程 VS 线程

不同进程轮流在CPU上执行，每次都要进行进程间CPU切换，代价非常大。因此服务器应用通常是单进程多线程。

进程从操作系统获得基本的内存空间，所有的线程共享着进程的内存地址空间。而每个线程也会拥有自己私有的内存地址范围，其他线程不能访问。从而达到不同线程之间的数据隔离。

1. Java Web 应用多线程运行时视图

1. 两个重要的概念

线程安全：当某些代码修改内存堆（进程共享内存）里的数据的时候，如果有多个线程在同时执行，就可能会出现同时修改数据的情况，比如，两个线程同时对一个堆中的数据执行+1操作，就会出现线程安全的问题。

临界区：多个线程访问共享资源的这段代码被称为临界区，解决线程安全问题的主要方法是使用锁，将临界区的代码就加锁，只有获得锁的线程才能执行临界区代码。

1. 阻塞的问题

锁（I/O）会引起线程阻塞。阻塞导致线程既不能继续执行，也不能释放资源。进而导致资源耗尽，最终导致系统崩溃。

避免阻塞引起的崩溃的方法：

限流：控制进入计算机的请求数，进而减少创建的线程数。

降级：关闭部分功能程序的执行，尽早释放线程。

避免阻塞：异步I/O；无临界区（Actor模型）

1. 锁

锁原语：CAS（Compare And Set）

CAS（V,E,N）

V 表示要更新的变量

E 表示预期值

N 表示新值

CAS 是一种系统原语，原语的执行必须是连续的，在执行过程中不允许被中断。

12. 锁的类型：

偏向锁：指一段同步代码一直被一个线程所访问，那么该线程会自动获取锁，降低获取锁的代价。

轻量级锁：指当锁是偏向锁时，被另一个线程锁访问，偏向锁就会升级为轻量级锁，其他线程会通过自旋的形式尝试获取锁，不会阻塞，提高性能。

重量级锁：指当锁是轻量级锁时，另一个线程虽然自旋，但自旋不会一直持续下去，当自旋到一定次数时，还没获取到锁，就会进入阻塞，该锁膨胀为重量级锁，重量级锁会让其他申请的线程进入阻塞，性能降低。

多CPU情况下的锁：总线锁与缓存锁

总线锁：使用处理器的LOCK#信号，当一个处理器在内存上输出此信号的时候，其他处理器的请求将被阻塞，该处理器独自占用。

缓存锁：是指内存区域如果被缓存在处理器的缓存行中，并且在Lock操作期间被锁定，那么当它执行锁操作回写到内存时，处理器不在总线上声言LOCK#信号 ，而是修改内部的内存地址，并允许它的缓存一致性来保证操作的原子性，因为缓存一致性机制会阻止同时修改两个以上处理器缓存的内存区域数据，其他处理器回写已被锁定的缓存行数据是，会是缓存行无效。



公平锁：就是多个线程按照申请锁的顺序来获取锁的。

非公平锁：就是多个线程获取锁的顺序并不是按照申请锁的顺序 ，有可能后申请的线程比先申请的线程优先获取锁，可能会造成饥饿现象。

可重入锁：可重入就是说某个线程已经获得某个锁，可以再次获取锁而不会出现死锁。

独享锁/互斥锁：该锁一次只能被一个线程锁持有

共享锁：该锁可以被多个线程锁持有

读写锁：多个读线程之间并不互斥，而写线程则要求与任何线程互斥

乐观锁：乐观锁认为对于同一个数据的并发操作，是不会发生修改的。在更新数据的时候，检查是否已经被修改过，如果修改过，就放弃。

悲观锁：悲观锁认为对于同一个数据的并发操作，一定是会发生修改的，哪怕没有修改，也会认为修改。因此对于同一个数据的并发操作，悲观锁采取加锁的形式。悲观的认为，不加锁的并发操作一定会出问题。

分段锁：分段锁的设计目的是细化锁的粒度，当操作不需要更新整个数组的时候，就仅仅针对数组的一段就行加锁操作。JDK ConcurrentHashMap是通过分段锁的形式来实现高并发操作的。

自旋锁：自旋锁是指尝试获取锁的线程不会立即阻塞，而是采用循环的方式去尝试获取锁，这样的好处是减少线程上下文切换的消耗，缺点是循环会消耗CPU。

1. 分布式文件系统HDFS的架构