Week 07 学习总结

用户头像
卧石漾溪
关注
发布于: 2020 年 07 月 22 日

 

本周主要介绍了性能测试、性能优化、操作系统的进程和线程、锁、异步并发分布式编程框架akka、文件与硬盘I/O的相关知识。

 

1       性能测试

性能测试是性能优化的前提和基础,也是性能优化结果的检查和度量标准。不同视角下的网站性能有不同的标准,也有不同的优化手段。

 

主观视角:用户感受到的性能。

客观视角:性能指标衡量的性能。

 

注意:

对于主观视角下用户感受优化,不一定非要通过系统优化来实现,只要能让用户直观感受变好即可(比如使用异步来提高页面响应速度等)。

1.1     性能测试指标

不同视角下有不同的性能标准,不同的标准有不同的性能测试指标,网站性能测试的主

要指标有响应时间、并发数、吞吐量、性能计数器等。

1.1.1    响应时间

指应用系统从发出请求开始到收到最后响应数据所需要的时间。

响应时间是系统最重要的性能指标,直观的反映了系统的快慢。

 

1.1.2    并发数

系统能够同时处理请求的数目,这个数字也反映了系统的负载特性。

 

对于网站而言,并发数即系统并发用户数,指同时提交请求的用户数目,与此相对应,还有在线用户数(当前登录系统的用户数)和系统用户数(可能访问系统的总用户数)。

       注意:真正直接对系统造成压力的是并发用户数!

1.1.3    吞吐量

指单位时间内系统处理的请求的数量,体现件系统的处理能力。

对于网站,可以用"请求数/秒”或是“页面数/秒”来衡量,也可以用“访问人数/天”或是“处理的业务数/小时”等来衡量。

 

TPS (每秒事务数)也是吞吐量的一个指标,此外还有HPS (每秒HTTP请求数) ,QPS (每秒查询数)等。

 

1.1.4    性能计数器

描述服务器或操作系统性能的一些数据指标。

包括System Load、对象与线程数、内存使用、CPU使用、磁盘与网络I/O等指标。

这些指标也是系统监控的重要参数,对这些指标设置报警阀值,当监控系统发现性能计数器超过阀值的时候,就向运维和开发人员报警,及时发现处理系统异常。

 

1.2     性能测试方法

性能测试是一个总称,具体可细分为性能测试、负载测试、压力测试、稳定性测试

 

1.2.1    性能测试

以系统设计初期规划的性能指标为预期目标,对系统不断施加压力,验证系统在资源可接受范围内,是否能达到性能预期。

1.2.2    负载测试

对系统不断地增加并发请求以增加系统压力,直到系统的某项或多项性能指标达到安全临界值,如某种资源已经呈饱和状态,这时候继续对系统施加压力,系统的处理能力不但不能提高,反而会下降。

1.2.3    压力测试

超过安全负载的情况下,对系统继续施加压力,直到系统崩溃或不能再处理任何请求,以此获得系统最大压力承受能力。

1.2.4    稳定性测试

被测试系统在特定硬件、软件、网络环境条件下,给系统加载一定业务压力,使系统运行一段较长时间,以此检测系统是否稳定。

在生产环境,请求压力是不均匀的,呈波浪特性,因此为了更好地模拟生产环境,稳定性测试也应不均匀地对系统施加压力。

 

1.2.5    并发数、响应时间与吞吐量的关系

下面是吞吐量的计算公式:

吞吐量 = ( 1000 / 响应时间ms )  x 并发数

 

上面的公式看起来并发数越高,响应时间越短,系统吞吐量就越大;但实际上,并发数并不是无限增加吞吐量就越大了,因为系统处理能力是有极限的,到达极限后,响应时间就会不断的增加,这样吞吐量就会不断下降了。

 

资源消耗与TPS性能曲线图:





并发用户访问响应时间曲线图:





由此可见,随着并发数的不断增大,吞吐量有以下几种情况发生:

a.当系统处于B点之前时,系统的吞吐量增加显著;

b.当系统处于B点与C点之间时,由于响应时间开始明显增加,导致系统的吞吐量增长放缓;

c.当系统处于C点和D点之间时,由于系统已经过了最大负载点,导致响应时间急剧增加,这样就使得系统的吞吐量开始下降,直到D点系统崩溃为止。

 

2       性能优化

2.1     软件性能优化的两个基本原则

a.你不能优化一个没有测试的软件

b.你不能优化一个你不了解的软件

 

2.2     性能优化的一般方法

-性能测试,获得性能指标。

-指标分析,发现性能与资源瓶颈点。

-架构与代码分析,寻找性能与资源瓶颈关键所在。

-架构与代码优化,优化关键技术点,平衡资源利用。

-性能测试,进入性能优化闭环。

 

注意:

根据上面的分析优化前需要找到真正的问题在哪里,而不是一味的进行所谓高新技术的堆砌。

发现问题是最关键的!

 

2.3     系统性能优化的分层思想

-机房与骨干网络性能优化:

       异地多活的多机房架构:

用来保证高可用和用户就近访问。

 

专线网络与自主CDN建设:

用来提高网络交换的速度。

 

-服务器与硬件性能优化:

       使用更优的CPU,磁盘,内存,网卡,对软件的性能优化可能是数量级的,有时候远远

超过代码和架构的性能优化。

 

-操作系统性能优化:

 

-虚拟机性能优化:

 

-基础组件性能优化:

有时候遇到的性能问题,不一定非要先去优化系统,可以先考虑优化所使用的基础组件。





-软件架构性能优化:

软件架构性能优化三板斧:

1.缓存:

从内存获取数据,减少响应时间;

减少数据库访问,降低存储设备负载压力;

缓存结果对象,而不是原始数据,减少CPU计算;

缓存主要优化读操作;

 

2.异步:

       即时响应,更好的用户体验;

控制消费速度,合适的负载压力;

异步主要优化写操作;

      

3.集群:

互联网技术的发展路径就是:更多的用户访问需要消耗更多的计算资源,单一服务器计算资源的增加是有极限的,所以需要增加更多的服务器。关键是如何利用起来这些服务器。

集群的技术目标只有一个:如何使很多台服务器对使用者而言看起像一台服务器。

 

-软件代码性能优化:

遵循面向对象的设计原则与设计模式编程,很多时候程序性能不好不是因为性能上有什

么技术挑战,仅仅就是因为代码太烂了。

并发编程,多线程与锁;

资源复用,线程池与对象池;

异步编程,生产者消费者;

数据结构,数组、链表、hash表、树;

 

3       操作系统的进程与线程

3.1     程序运行时架构

程序是静态的。

程序运行起来以后,被称作进程。





3.2     操作系统多任务运行环境

计算机的CPU核心数是有限的,但是服务器可以同时处理数以百计甚至数以千计的并

发用户请求。

那么,计算机如何做到的?

通过进程分时执行的。

 

3.3     进程的运行期状态

-运行:

当一个进程在CPU上运行时,则称该进程处于运行状态。处于运行状态的进程的

数目小于等于CPU的数目。

 

-就绪:

当一个进程获得了除CPU以外的一切所需资源,只要得到CPU即可运行,则称

此进程处于就绪状态,就绪状态有时候也被称为等待运行状态。

 

-阻塞:

也称为等待或睡眠状态,当一个进程正在等待某一事件发生(例如等待I/O完成,

等待锁.....而暂时停止运行,这时即使把CPU分配给进程也无法运行,故称该进程

处于阻塞状态。

 

3.4     进程和线程

不同进程轮流在CPU上执行,每次都要进行进程间CPU切换,代价非常大。因此服务

器应用通常是单进程多线程。

进程从操作系统获得基本的内存空间,所有的线程共享着进程的内存地址空间。

每个线程也会拥有自己私有的内存地址范围,其他线程不能访问。





3.5     Java Web应用多线程运行时视图





3.6     线程安全

当某些代码修改内存堆(进程共享内存)里的数据的时候,如果有多个线程在同时执行,

就可能会出现同时修改数据的情况,比如,两个线程同时对一个堆中的数据执行+1操

作,最终这个数据只会被加一次,这就是人们常说的线程安全问题,实际上线程的结果

应该是依次+1,即最终的结果应该是+2。     





3.7      临界区

多个线程访问共享资源的这段代码被称为临界区,解决线程安全问题的主要方法是使用

锁,将临界区的代码加锁,只有获得锁的线程才能执行临界区代码。

 

比如:

lock.lock(); // 线程获得锁

i++; // 临界区代码,i位于堆中

lock.unlock(); // 线程释放锁

 

3.8      避免阻塞引起系统崩溃

锁(IO)会引起线程阻塞。阻塞导致线程既不能继续执行,也不能释放资源。进而导致

资源耗尽。最终导致系统崩溃。

 

避免阻塞引起的崩溃的方法:

-限流:控制进入计算机的请求数,进而减少创建的线程数。

-降级:关闭部分功能程序的执行,尽早释放线程。

-避免阻塞:异步I/O;无临界区( Actor模型)

4       锁

4.1     锁原语CAS

CAS是种系统原语,原语的执行必须是连续的,在执行过程中不允许被中断。

CAS机制全称compare and swap,翻译为比较并交换,是一种有名的无锁(lock-free)算法。也是一种现代 CPU 广泛支持的CPU指令级的操作,只有一步原子操作,所以非常快。而且CAS避免了请求操作系统来裁定锁的问题,直接在CPU内部就完成了。

 

CAS有三个操作参数:

1. 内存位置M(它的值是我们想要去更新的) 2. 预期原值E(上一次从内存中读取的值) 3. 新值V(应该写入的新值)

 

如果V值等于E值,则将V的值设为N,若V值和E值不同,什么都不做。

 

CAS的操作过程:

首先读取内存位置M的原值,记为E,然后计算新值V,将当前内存位置M的值与E比较(compare),如果相等,则在此过程中说明没有其它线程来修改过这个值,所以把内存位置M的值更新成V(swap),当然这得在没有ABA问题的情况下(ABA问题会在后面讲到)。如果不相等,说明内存位置M上的值被其他线程修改过了,于是不更新,重新回到操作的开头再次执行(自旋)。

 

4.2     Java通过CAS原语在对象头中修改Mark Word实现加锁





4.3     偏向锁轻量级锁重量级锁

偏向锁:

指一段同步代码一直被-一个线程所访问,那么该线程会自动获取锁,降低获取

锁的代价。

 

轻量级锁:

指当锁是偏向锁时,被另一个线程所访问,偏向锁就会升级为轻量级锁,其

他线程会通过自旋的形式尝试获取锁,不会阻塞,提高性能。

 

重量级锁:

指当锁是轻量级锁时,另一个线程虽然自旋,但自旋不会一直持续下去,当

自旋到一定次数时,还没获取到锁,就会进入阻塞,该锁膨胀为重量级锁,重量级锁会

让其他申请的线程进入阻塞,性能降低。

 

4.4     多CPU情况下的锁





4.5     总线锁与缓存锁

总线锁:

使用处理器的LOCK#信号,当一个处理器在内存总线上输出此信号的时候,其

他处理器的请求将被阻塞,该处理器独占内存。

 

缓存锁:

是指内存区域如果被缓存在处理器的缓存行中,并且在Lock操作期间被锁定,

那么当它执行锁操作回写到内存时,处理器不在总线上声言LOCK#信号,而是修改内部

的内存地址,并允许它的缓存一致性机 制来保证操作的原子性,因为缓存一致性机制会

阻止同时修改由两个以上处理器缓存的内存区域数据,当其他处理器回写已被锁定的缓

存行数据时,会使缓存行无效。

 

4.6     公平锁非公平锁

公平锁:

是多个线程按照申请锁的顺序来获取锁的。

非公平锁:

是多个线程获取锁的顺序并不是按照申请锁的顺序,有可能后申请的线程比

先申请的线程优先获取锁,可能会造成饥饿现象。

 

注意:

       重量级锁是公平锁,轻量级锁是非公平锁。

 

4.7     可重入锁

可重入就是说某个线程已经获得某个锁,可以再次获取锁而不会出现死锁。

 

4.8     独享锁/互斥锁共享锁读写锁

独享锁/互斥锁:该锁一次只能被一个线程所持有。

共享锁:该锁可以被多个线程所持有。

读写锁:多个读线程之间并不互斥,而写线程则要求与任何线程互斥。

 

4.9     乐观锁与悲观锁

 悲观锁:

悲观锁认为对于同一个数据的并发操作,一定是会发生修改的,哪怕没有修改,也会认

为修改。因此对于同一个数据的并发操作,悲观锁采取加锁的形式。悲观的认为,不加

锁的并发操作一定会出问题。

 

乐观锁:

乐观锁则认为对于同一个数据的并发操作,是不会发生修改的。在更新数据的时候,检

查是否已经被修改过,如果修改过,就放弃。

 

注意:

       总线锁是悲观锁,缓存锁是乐观锁。

 

4.10   分段锁

分段锁的设计目的是细化锁的粒度,当操作不需要更新整个数组的时候,就仅仅针对数

组的一段进行加锁操作。

JDK ConcurrentHashMap是通过分段锁的形式来实现高效并发操作的。

 

4.11   自旋锁

自旋锁是指尝试获取锁的线程不会立即阻塞,而是采用循环的方式去尝试获取锁,这样

的好处是减少线程上下文切换的消耗,缺点是循环会消耗CPU。

 

注意:

       轻量级锁是自旋锁。

 

5       文件与硬盘I/O

5.1     机械硬盘vs固态硬盘

机械硬盘具有数据的快速顺序读写、慢速随机读写的特点;

固态硬盘可有效应对数据的随机访问,就是价格较高。

 

5.2     B+树

B+树是一种专门针对磁盘存储而优化的N叉排序树。

以树节点为单位存储在磁盘中,从根开始查找所需数据所在的节点编号和磁盘位置,将其加载到内存然后继续查找,直到找到所需的数据。      

 

B+树原理示意图:





5.3     LSM树

LSM树可以看作是一个N阶合并树,NoSQL产品采用LSM树作为主要存储结构。

数据写操作(插入、修改、删除)都在内存中进行,并且都会创建一个新记录(修改会记录新的数据值,删除会记录一个删除标识),这些数据在内存中仍然还是一颗排序树,当数据量超过设定的内存阈值后,和磁盘上下一级的排序树合并,合并时会用最新更新的数据覆盖旧的数据(或者记录为不同版本)。

读操作时,总是从内存中的排序树开始搜索,如果没有找到,就从磁盘上的跑叙述顺序查找。

LSM树上进行一次数据更新不需要磁盘访问,在内存即可完成,速度远快于B+树。

当数据访问以写操作为主,而读操作则集中在最近写入的数据上时,使用LSM树可极大程度的减少磁盘的访问次数,加快访问速度。

 

LSM树原理示意图:





5.4     文件控制块

文件系统将硬盘空间以块为单位进行划分,每个文件占据若干个块,然后再通过一个文件控制块FCB记录每个文件占据的硬盘数据块。





5.5     Linux Inode文件控制块

Inode中记录着文件权限、所有者、修改时间和文件大小等文件属性信息,以及文件数据块硬盘地址索引。

Inode是固定结构的,能够记录的硬盘地址索引数也是固定的,只有15个索引.每个inode最多可以存储12+256+256*256+256*256*256个数据块,如果每个数据块的大小为4k,也就是单个文件最大不超过70G。





5.6     RAID独立硬盘冗余阵列

RAID 技术主要是为了改善磁盘的访问延迟,增强磁盘的可用性和容错能力。目前服务器级别的计算机都支持插入多块磁盘(8块或者更多),通过使用RAID技术,实现数据在多块磁盘上的并发读写和数据备份。

常用RAID技术有以下几种:





5.7     分布式文件系统HDFS

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。

它和现有的分布式文件系统有很多共同点,但同时,它和其他的分布式文件系统的区别也是很明显的。

HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。

HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

 

HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。

 



6       异步并发分布式编程框架Akka

Akka是一个开发库和运行环境,可以用于构建高并发、分布式、可容错、事件驱动的基于JVM的应用,使构建高并发的分布式应用更加容易。

Akka是基于Actor模型的实现,Actor模型也就是响应式模型,它和我们常用的基于方法堵塞式的调用不同,而是基于消息的异步调用。

 

6.1     Akka特点

-对并发模型进行了更高的抽象

-是异步、非阻塞、高性能的事件驱动编程模型

-是轻量级事件处理(1GB内存可容纳百万级别个Actor)

-它提供了一种称为Actor的并发模型,其粒度比线程更小,你可以在系统中启用大量的Actor。

-它提供了一套容错机制,允许在Actor出现异常时进行一些恢复或重置操作。

-Akka既可以在单机上构建高并发程序,也可以在网络中构建分布式程序,并提供位置透明的Actor定位服务。

 

6.2     Actor模型

在并发程序中线程是并发程序的基本执行单元,但在Akka中执行单元是Actor。

传统并发程序是基于面向对象的方法,通过对象的方法调用进行信息传递,如果对象的方法修改对象本身的状态,在多线程下就可能出现对象状态的不一致,此时就必须对方法调用进行同步,而同步操作会牺牲性能。

在Actor模型中并不是通过Actor对象的某个方法来告诉Actor需要做什么,而是给Actor发送一条消息。当一个Actor收到消息后,它有可能根据消息的内容做出某些行为,如更改自身状态,此时这个状态的更改是Actor自身进行的,并非由外界干预进行的。

使用Actor模型的好处:

(1)事件模型驱动--Actor之间的通信是异步的,即使Actor在发送消息后也无需阻塞或者等待就能够处理其他事情

(2)强隔离性--Actor中的方法不能由外部直接调用,所有的一切都通过消息传递进行的,从而避免了Actor之间的数据共享,想要观察到另一个Actor的状态变化只能通过消息传递进行询问

(3)位置透明--无论Actor地址是在本地还是在远程机上对于代码来说都是一样的

(4)轻量性--Actor是非常轻量的计算单机,单个Actor仅占400多字节,只需少量内存就能达到高并发





6.3     Akka在金融借贷领域的应用

 



用户头像

卧石漾溪

关注

还未添加个人签名 2020.05.04 加入

还未添加个人简介

评论

发布
暂无评论
Week 07 学习总结