beegfs 高可用模式探讨

最近在测试 beegfs，它在 hpc 应用十分广泛的并行文件系统，但是它保证数据安全性的方式只有 mirror 一种方式，这种方式无法磁盘的有效使用率较低。模式如下图所示

屏幕截图 2022-01-11 215313.png

netapp 在磁盘共享架构下，实现了单节点掉线后依然能够保证服务的有效访问，这是因为它们的硬盘实际是通过存储阵列柜上共享到节点上，因此其中一个节点掉线后，另一个节点通过存储阵列柜依然能够访问掉线节点的硬盘。但是并不是仅仅能够访问硬盘就能添加到 beegfs 服务中去，还需要做些操作。我进行了一下测试，当我把掉线节点的硬盘添加到在线节点上时，还需要对以下文件做出修改才行。

首先需要挂载掉线节点硬盘

mount /dev/lose-disk1 /mnt/data*

挂载完成后，需要修改/etc/beegfs/beegfs-storage.conf 配置文件，主要修改

storeStorageDirectory和storeFsUUID，将掉线节点的挂载目录和UUID添加storeStorageDirectory        = ,/mnt/data1 ,/mnt/data2 ,/mnt/data3 ,/mnt/data4storeFsUUID                  = ,1c80fdd1-4e81-4463-80fb-bd948265e98d  ,050c19f1-0fd9-4725-b21c-88fe13a37f5c ,1e3392ce-b274-4717-979e-b4ac183c812f ,d4f87f8b-b7a3-4297-9824-4fef30e90920

然后还需要到挂载目录下，修改 nodeNumID 和 originalNodeID

nodeNumID 要修改还存活的节点的 ID，如 node01 是 1，node02 是 2，node02 掉线，node02 上的硬盘就要修改为 1；originalNodeID 则要将掉线节点修改为存活节点，如 node02 修改为 node01

做完上述操作，尝试 systemctl restart beegfs-storage，即可恢复。

因此我们可以写一个脚本，自动化上述操作，也能实现类似的效果