关于云平台虚拟机核心组件 libvirt 热迁移流程及关键参数介绍 | 龙蜥技术

编者按：libvirt 是用于管理虚拟机的开源项目，是各大基于 OpenStack 二次开发的云平台管理底层 qemu-kvm 虚拟机的核心组件，而热迁移作为虚拟机管理中较为常用的功能，其在稳定性和效率关乎云平台的整体使用体验。今天，浪潮数据云计算高级研发工程师李世东带大家了解虚拟机热迁移在 libvirt 项目中的主要流程及迁移参数作用和影响。本文整理自龙蜥大讲堂 81 期，以下为本次分享内容：

01 热迁移基本原理

1.1 热迁移概念

热迁移也叫在线迁移，是指虚拟机在开机状态下，且不影响虚拟机内部业务正常运行的情况下，从一台宿主机迁移到另外一台宿主机上的过程。

1.2 虚拟机数据传输预拷贝和后拷贝

预拷贝(pre-copy)：

原理：

1）将全部内存数据拷贝到目标节点。

2）循环的将源节点虚拟机运行时产生的内存脏页拷贝到目标节点虚拟机。

3）源节点虚拟机停机，启动目标节点虚拟机完成迁移。

优点：可靠性高，迁移过程中对业务影响小。

缺点：网络开销大，迁移时间长，内存读写频繁时可能迁移失败。

后拷贝(post-copy)：

原理：

1）将源节点虚拟机 CPU 状态、寄存器状态、non-pageable 内存页拷贝到目标节点。

2）启动目标节点虚拟机，动态地传输剩余内存。

3）目标节点虚拟机访问到未拷贝内存页时，触发 pagefault，需要到源节点读取对应 page。

优点：网络开销低、停机时间短。

缺点：迁移稳定性差，迁移过程中虚拟机性能下降，网络延迟高时，对业务影响大。

02 热迁移参数

下表列出了 libvirt 支持的迁移 flag、值及其具体含义：

03 热迁移方式介绍

迁移过程控制的三种方式：

• Managed direct migration。

• Managed peer to peer migration。

• Unmanaged direct migration。

迁移过程虚拟机数据传输两种方式：

• Hypervisor native transport。

• libvirt tunnelled transport。

OpenStack nova 项目中默认迁移模式：

• 控制面采用了 managed peer to peer 的方式，nova 通过调用 libvirt.so 触发迁移，整个迁移过程由源节点 libvirtd 控制。

• 数据面采用 hypervisor native transport，hypervisor 程序负责完成迁移过程中数据的传输。

04 热迁移流程介绍

热迁移操作执行时序图

1）libvirt client 调用接口触发迁移，源节点 libvirtd 接收到迁移请求后，获取迁移的 flag 和 params，并对 flag 和 params 进行校验。

2）源节点 libvirtd 程序调用 virConnectOpenAuth 函数与目标节点建立连接，用于后续跟目标节点数据传输和远程过程调用。

3）begin 阶段，源节点 libvirtd 调用 qemuDomainDefFormatXML 完成虚拟机 xml 的生成。

4）prepare 阶段，源节点通过 RPC 的方式调用目标节点 domainMigratePrepare3Params 函数，在目标节点启动一个带 incoming 参数的虚拟机，然后启动 NBD server。

5）perform 阶段，源节点调用 qemuMigrationRun 函数，正式开始迁移并在此阶段将虚拟机内存、状态等数据迁移到目标节点虚拟机。

6）finish 阶段，源节点 libvirtd 通过 RPC 的方式调用目标节点 qemuMigrationFinish 方法，在目标节点停止 NBD server，并调用 qemuProcessStartCPUs 使目标节点虚拟机进入运行状态。

7）confirm 阶段，源节点调用 qemuProcessStop 函数，停止源节点虚拟机对应的 qemu 进程，完成迁移。

05 热迁移加速方法

5.1 多线程压缩

特点：

• 利用 host CPU 提供的算力，对需要传输的内存数据进行压缩。

• 网络传输带宽一定的情况下，传输数据体积变小。

• 压缩/解压缩数据本身耗费一定的时间。

• 压缩率受数据特征影响较大。

加速效果：加速效果受到压缩率、CPU 压缩计算能力影响，加速效果不稳定。

主要参数：

• 压缩线程数：在源节点用于对内存数据进行压缩的线程数。

• 解压线程数：在目标节点用于解压内存数据线程数，一般为压缩线程数的 1/4。

• 压缩级别：压缩级别分为 1-9 共九个级别，数值越大对应压缩率越高，压缩数据所消耗的 CPU 资源越多，压缩时间越长。

5.2 XBZRLE

特点：

• 传输内存脏页的差异数据，减少数据的传输量。

• 占用源节点一定量的内存作为 cache 保存原始内存。

• cache_size 小于虚机内存时，加速效果与 cache_size 成正相关。

加速效果：加速效果受到 cache 大小的影响，适用于主机内存资源充足，且虚拟机内存频繁读写的场景。

主要参数：

缓存大小：在源节点临时保存当前内存值，用于产生脏页后计算内存差异数据。

关于直播课件及视频回放获取方式：

【PPT 课件获取】：关注微信公众号（OpenAnolis），回复“龙蜥课件” 即可获取。有任何疑问请随时咨询龙蜥助手—小龙（微信：openanolis_assis)。

【视频回放】：视频回放可在龙蜥视频号（账号：龙蜥社区_小龙）或龙蜥官网 https://openanolis.cn/video 查看。

—— 完 ——