架构师训练营 -week7- 学习总结

发布于: 15 小时前
架构师训练营 -week7- 学习总结

性能测试:

主观视角:用户的角度

客观视角:客观的数据指标

主要指标:

响应时间、并发数、吞吐量、性能计数器等

响应时间:
并发数:

系统能够同时处理请求的数目,反应了系统的负载特性。对于网站而言,并发数即系统并发用户数,指同时提交请求的用户数目,与此相对应,还有在线用户数和系统总用户数。

吞吐量:

指但闻时间内系统处理的请求数量,体现系统的处理能力。对于网站,可以用”请求数/秒“或”页面数/秒“来衡量,也可以用”访问人数/天”或者“处理的业务数/小时”等来衡量。

TPS:

每秒事务数(泛指一切数据库操作)

HPS:

每秒http请求数

QPS:

每秒查询数

吞吐量、响应时间与并发数关系:

吞吐量=(1000/响应时间(ms))*并发数。

性能计数器:

是描述服务器或操作系统性能的一些数据指标。包括System Load、对象与线程数、内存使用、CPU使用、磁盘与网络I/O等指标。这些指标也是系统监控的重要参数,对这些指标设置报警阀值,当监控系统发现性能计数器超过阈值的时候,就向运维和开发人员报警,及时发现处理系统异常。

PS:System Load的数值指的是cpu正在处理的进程/线程数与等待cpu处理的进程/线程数之和。理想情况下,这个值等于cpu核数

性能测试方法:

可细分为性能测试、负载测试、压力测试、稳定性测试。

性能测试:

以系统设计初期规划的性能指标为预期目标,对系统不断施加压力,验证系统在资源可接受范围内,是否能达到性能预期。

负载测试:

对系统不断地增加并发请求以增加系统压力,知道系统的某项或多项性能指标达到安全临界值,如某种资源已呈现饱和状态,这时候继续对系统施加压力,系统的处理能力不但不能体高,反而会下降。

压力测试:超过安全负载的情况下,对系统继续施加压力,直到系统崩溃或不能再处理任何请求,以此获得系统最大压力承受能力。

稳定性测试:

被测试系统在特定硬件、软件、网络环境条件下,给系统加载一定业务压力,使系统运行一定较长时间,以此检测系统是否稳定。在生产环境,请求压力是不均匀的,呈波浪特性,因此为了更好地模拟生产环境,稳定性测试也应不均匀地对系统施加压力。

ps:持续的高并发也许会更加稳定,因为其缓存数据还是完整的,如果是波浪式并发访问,会给系统增加更大的压力。



性能优化的一般方法:

1、性能测试,获得性能指标

2、指标分析,发现性能与资源瓶颈点

3、架构与代码分析,寻找性能与资源瓶颈关键所在

4、架构与代码优化,优化关键技术点,平衡资源例用

5、性能测试,进入性能优化闭环



系统性能优化的分层思想:

1、机房与骨干网络性能优化

2、服务器与硬件性能优化

3、操作系统性能优化

4、虚拟机性能优化

5、基础组件性能优化

6、软件架构性能优化

7、软件代码性能优化

操作系统与文件:

进程

进程:运行起来的程序。

操作系统的CPU核心数是有限的,可通过进程分时执行同时执行多个任务。

进程的三种状态:运行、就绪、阻塞

进程VS线程:

系统创建进程,进程创建线程。

进程从操作系统获得基本的内存空间,所有的线程共享着进程的内存地址空间。而每个线程也会有自己私有的内存地址范围,其他线程不能访问。

Java Web的启动顺序:

tomcat启动 -> tomcat启动JVM进程 -> 初始化tomcat容器 -> 启用应用程序

线程安全:

当某些算法修改内存堆(进程共享内存)里的数据时,如果由多个线程同时进行,就会出现同时修改数据的情况。(new出来的对象一般放在堆里)

临界区:

多个线程访问共享资源的这段代码称为临界区,解决线程安全问题的主要方法是使用锁,将临界区的代码枷锁,只有获得锁的线程才能执行临界区代码。

阻塞导致高并发系统崩溃:

锁会引起线程阻塞,导致线程既不能继续执行,也不能释放资源。进而导致资源耗尽,最终导致系统崩溃。

避免阻塞引起的崩溃:

1、限流:控制进入计算机的请求数

2、降级:关闭部分功能程序的执行,尽早释放线程

3、避免阻塞:异步I/O,无临界区(Actor模型)

偏向锁:

指一段同步代码一直被一个线程所访问,那么该线程会自动获取锁,降低获取锁的代价。

轻量级锁:

指当锁是偏向锁时,被另一个线程所访问,偏向锁就会升级为轻量级锁,其他线程会通过自旋的形式尝试获取锁,不会阻塞,提高性能。(非公平锁)

重量级锁:

指当锁是轻量级锁时,另一个线程虽然自旋,但自旋不会一直持续下去,当自旋到一定次数时,还没获取到锁,就会进入阻塞,该锁就膨胀为重量级锁,重量级锁会让其他申请的线程进入阻塞,性能降低。(公平锁,Mark Word记录排队信息)

总线锁:

使用处理器的Lock信号,当一个处理器在内存总线上输出此信号的时候,其他处理器请求将被阻塞,该处理器独占内存。(悲观锁)

缓存锁:

指缓存区域如果被缓存在处理器的缓存行中,且被Lock操作期间被锁定,那么当它执行锁操作回写到内存时,处理器不在总线上盛宴Lock信号,而是修改内部的内存地址,并允许它的缓存一致性机制来保证操作的原子性,因为缓存一致性机制会组织同时修改由两个以上处理器缓存的内存区域数据,当其他处理器回写已被锁定的缓存行数据时,会使缓存行无效。(乐观锁)

公平锁:

多个线程按照申请锁的顺序来获取锁。

非公平锁:

多个线程获取锁的顺序并不是按照申请锁的顺序,有可能后申请的线程比先申请的线程优先获取锁,可能会造成饥饿现象。

可重入锁:

指某个线程已经获得某个锁,可以再次获取锁而不会出现死锁。

独享锁/互斥锁:

该锁一次只能被一个线程持有。

共享锁:

该锁可以被多个线程所持有。

读写锁:

多个读线程之间并不互斥,而写线程则要求与任何线程互斥。(读写互斥、写写互斥、读读不互斥)

乐观锁:

认为对于同一个数据的并发操作,是不会发现修改的。在更新数据的时候,检查是否已经被修改过,如果修改过,就放弃。

悲观锁:

认为同一个数据的并发操作,一定是会发生修改的,哪怕没有发生修改,也会认为修改。因此对于同一个数据的并发操作,悲观锁采取枷锁的形式。悲观的认为,不加锁的并发操作一定会出问题。

分段锁:

锁的一种应用。

指当操作不需要更新整个数组的时候,就仅仅针对数组的一段进行加锁操作。(JDK ConconrrentHashMap是通过分段锁实现高效并发操作的)

自旋锁:指尝试获取锁的线程不会立即阻塞,而是采取循环的方式去尝试获取锁。有点:减少线程上下文切换的消耗,缺点:循环会消耗CPU。



PS:Java通过CAS原语在对象头中修改Mark Word实现加锁。



文件与硬盘I/O

机械硬盘:

需要通过磁头臂,带动磁头到指定磁盘位置访问数据,由于每次访问都要移动磁头臂,因此机械硬盘在连续访问和随机访问时,移动磁头臂次数相差巨大,性能表现也非常大。

固态硬盘:

不需要通过机械读写,可以像内存一样快速随机访问,但性价比低。

b+树:

是针对机械硬盘具有快速顺序读写、慢速随机读写的特性而优化的N叉排序树,传统关系型数据库多用b+树进行读写检索。以树节点为单位存储在磁盘中,从根部开始查找所需数据所在的节点编号和磁盘位置,将其加载到内存中然后继续查找,直到找到所需的数据。

LSM树:

Structured Merge Tress,可以看作是N阶合并树,数据写操作都在内存中进行,并且会写入连续的操作日志,这些数据在内存中仍是一颗排序树,当超过设定的阈值后,会将这颗排序树和磁盘上最新的排序树合并,当这一层的排序树也数据量也超过设定的阈值后,则和磁盘上下一级的排序树合并。NoSql多用LSM作为主要的数据结构。

关于文件存储的关键问题:

如何存储大文件;

如果硬盘损坏了,如何保证数据不丢失;

数据读写是否更高速。

RAID独立硬盘冗余阵列:

RAID0:读写快,一份数据分成N份,并发写入N块硬盘。缺点:其中一块坏了,所有磁盘的数据都会损坏。

RAID1:将一份数据同时写入两个硬盘,保证了存储的可靠性。

RAID10:结合RAID0与RAID1两种方案,读写快、可靠性高,但磁盘利用率低。

RAID3:增加了在第N块磁盘加校验数据的步骤,每次修改,都要修改校验数据,更容易损坏,pass。

RAID5:原理类似RAID3,但校验数据不再写入第N块磁盘,而是螺旋式写入所有磁盘。使得校验数据的修改被平均到所有磁盘上,避免了RAID3频繁写坏磁盘的情况。

RAID6:类似RAID5,但是数据只写入N*2块磁盘,并螺旋式地在两块磁盘中写入校验信息(使用不同算法生成)。

分布式文件系统HDFS:

系统在整个存储集群的多台服务器上进行数据并发读写和备份,可以看作在服务器集群规模上实现了类似RAID的功能。

HDFS以Block(64M)为单位管理内容,一个文件被分割成若干个Block,当应用程序写文件时,没写完一个Block,HDFS就将其自动复制到其他机器上,保证每个Block有多个副本。

在HDFS中有两个重要角色:NameNode(一个)和DataNode(多个)。

某个DataNode失效时的过程:

DataNode启动时,会到NameNode注册,此后会定时发送心跳包给NameNode。当NameNode超时没有收到心跳包,则判定该DataNode失效。此时NameNode就会通过检查元数据找到失效的DataNode上备份数据块在哪些DataNode上。检查完成后,通知所有的服务器将失效DataNode上的数据块的备份复制到指定机器上。

PS:NameNode失效了,客户端失效了,系统会怎么样。



发布于: 15 小时前 阅读数: 8
用户头像

晓-Michelle

关注

还未添加个人签名 2020.05.30 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营 -week7- 学习总结