GaussDB(DWS) 磁盘维护：vacuum full 执行慢怎么办？

关注

发布于: 2020 年 12 月 14 日

摘要：在数据库中用于维护数据库磁盘空间的工具是VACUUM，其重要的作用是删除那些已经标示为删除的数据并释放空间。
vacuum的功能回收空间数据库总是不断地在执行删除，更新等操作。良好的空间管理非常重要，能够对性能带来大幅提高。
执行delete操作后，表中的记录只是被标示为删除状态，并没有释放空间，在以后的update或insert操作中该部分的空间是不能够被重用的。
在数据库中用于维护数据库磁盘空间的工具是VACUUM，其重要的作用是删除那些已经标示为删除的数据并释放空间。经过vacuum清理后，空间才能得到释放。
VACUUM回收已删除元组占据的存储空间。在一般的数据库操作里，那些已经DELETE的元组或者被UPDATE过后过时的元组是没有从它们所属的表中物理删除的；在完成VACUUM之前它们仍然存在。因此我们有必须周期地运行VACUUM，特别是在常更新的表上。
冻结tuple的xid在每条记录（tuple）的header中，存放xmin,xmax信息(增删改事务ID)。transactionID的最大值为2的32次，即无符整形来表示。当transactionID超过此最大值后，会循环使用。
这会带来一个问题：就是最新事务的transactionID会小于老事务的transactionID。如果这种情况发生后，就没有办法按transactionID来区分事务的先后，也没有办法实现MVCC了。
因此用vacuum后台进程，按一定的周期和算法触发vacuum动作，将过老的tuple的header中的事务ID进行冻结。冻结事务ID，即将事务ID设置为“2”（“0”表示无效事务ID；“1”表示bootstrap，即初始化；“3”表示最小的事务ID）。被冻结的事务ID比任何事务都要老。这样就不会出现上面的这种情况了。
更新visibility map在数据库中，有一个visibility map用来标记那些page中是没有dead tuple的。这有两个好处，一是当vacuum进行scan时，直接可以跳过这些page。二是进行index-only scan时，可以先检查下visibility map。这样减少fetch tuple时的可见性判断，从而减少IO操作，提高性能。另外visibility map相对整个relation，还是小很多，可以cache到内存中。
vacuum full与vacuum的区别1.vacuum只是将删除状态的空间释放掉，转换到能够重新使用的状态，但是对于系统来说该数据块的空闲空间并没有反应到系统的元数据中，并不进行空间合并。
而vacuum full实质上是重建了整个表，以达到空间合并的效果。
2.vacuum执行过程中对表加4级锁，不会影响表的增删改查，而vacuum full对表加8级锁，执行过程中表无法访问。
3.vacuum对列存表无效
vacuum full的执行流程建临时表数据库会新建一个临时表，临时表继承老表所有属性。
这个阶段会对pg_class申请“RowExclusiveLock”锁，因为需要插入记录。
拷贝数据将原来的数据copy到temp表中。
对临时表，老表以及索引都以“AccessExclusiveLock”模式打开。
另外对于toast，只是lock，不打开。
在这个过程中完成Dead Tuple的清理。
表交换新表将老表替换掉。会对pg_class再次申请“RowExclusiveLock”锁。
重建索引是在交换之后完成的，重建索引时，会更新一些统计信息。对表申请“ShareLock”锁。
删除临时表索引重建完成后，将带有老物理文件的新临时表进行删除。
vacuum full执行慢的常见场景1. 存在锁争抢在cn上执行select * from pg_stat_activity where query like '%vacuum%';找到vacuum full的pid
﻿
﻿
查看该线程的等待状态，如果等待状态是acquire lock，说明存在锁等待
select * from pg_thread_wait_status where tid = 139878309295872;
﻿
﻿
在pg_locks中查询vacuum full在等哪个锁
select * from pg_locks where pid = 139878309295872 and granted = 'f';
﻿
﻿
查看持有该锁的线程
select * from pg_locks where relation = 544793 and granted = 't';
﻿
﻿
查看该线程对应的语句
select query from pg_stat_activity where pid = 139877539612416;
根据语句判断是否可以杀掉该语句继续做vacuum full，或者另外找时间窗做vacuum full
2. 存在IO/网络问题导致事务无法提交执行一个简单的create table语句，如果create table语句执行也很慢，说明存在IO/网络问题，进一步排查IO和网络
3. 系统表过大导致vacuum full慢vacuum full任意一张表时，都会扫描pg_class、pg_partition、pg_proc三张系统表，当这三个系统表过大时，也会导致vacuum full较慢
可以在排除IO/网络问题（即create table语句不慢）后，对空表做vacuum full，观察执行速度，如果空表做vacuum full也比较慢，则说明就是这三张系统表较大导致vacuum full任意表都慢
4. 排除以上场景之后，可以查看表定义中是否使用了PCK当存在PCK时，表做vacuum full时会进行全排序，此时如果表较大或psort_work_mem设置较小，就会导致PCK排序时产生下盘，进行外排，效率急剧下降。
可以通过调大psort_work_mem进行规避
 
点击关注，第一时间了解华为云新鲜技术~
﻿