写点什么

【技术干货】文件系统中的“锁”

用户头像
焱融科技
关注
发布于: 2021 年 05 月 10 日
【技术干货】文件系统中的“锁”

在多进程共享的应用程序中,通过“锁”来对同一个计算资源进行协同是非常常见的做法,无论在单机或多机的系统、数据库、文件系统中,都需要依赖“锁”机制来避免并发访问导致的不确定结果,今天我们就来讲讲文件系统中的“锁”。


首先,文件锁也是一种互斥机制,可确保多个进程以安全的方式读取/写入同一个文件。之所以要对这些多进程业务进行控制,就是因为这些进程的调度是不可预期的,这种时序上的不可预期会对同一个文件资源产生竞争性访问,从而带来预期外的结果。


我们可以看一个例子,以便更好地理解这个问题。


假设我们有一个 account.dat 文件,用于存储帐户余额,其初始值为“200”。并发系统有两个进程来更新这个文件上的余额值:


  1. 进程 A:读取当前值,减去 20,然后将结果保存回文件中。

  2. 进程 B:读取当前值,加 80,然后将结果写回到文件中。


显然,在顺序执行完这两个进程后,我们期望文件具有以下值:200-20 + 80 = 260。


但是,如果进程的执行不是按预期的顺序直径,在以下这种情况下,可能会出现不一样的结果:


  1. 进程 A 读取文件的当前值(200),并准备进行进一步的计算。

  2. 这时,进程 B 读取相同的文件并获得当前余额(200)。

  3. 进程 A 计算 200-20 并将结果 180 保存回文件。

  4. 进程 B 不知道余额已更新。因此,它仍将使用过时的值 200 计算 200 + 80,并将结果 280 写入文件。


结果,account.dat 文件中保存的余额就是 280 而不是预期值 260。


Linux 中的文件锁


像前面提到的,文件锁是一种在多个进程之间限制文件并发访问的机制。它仅允许一个进程在特定时间内访问文件,从而避免更新问题。


我们都知道 rm -rf /在 Linux 中是非常危险的命令。如果我们以 root 用户身份执行该命令,它甚至可以删除正在运行的系统中的所有文件。这是因为 Linux 通常不会自动给打开的文件加锁,所以即使是正在运行的文件,仍然有可能被 rm 命令删除。Linux 支持两种文件锁:协同锁(Advisory lock)和强制锁(Mandatory lock)。


协同锁(Advisory lock)


协同锁定不是强制性锁方案,仅当参与的进程通过显式获取锁进行协作时,它才有效。否则,如果某个进程根本不知道锁,则这个协同锁会被忽略掉(意味着各个进程间必须协商并遵守这个协同锁的机制,才能发挥锁的作用)。


下面这个例子可以帮助我们更容易地理解协同锁机制。让我们先回顾一下我们之前提到的账户文件的例子。


首先,我们假设文件 account.dat 仍包含初始值 “200”。


进程 A 获取 account.dat 文件的排他锁,然后打开并读取该文件以获取当前值:200。


我们必须了解,协同锁不是由操作系统或文件系统设置的。因此,即使进程 A 锁定了文件,进程 B 仍然可以通过系统调用自由读取、写入或删除文件。


如果进程 B 不尝试在获取锁的情况下,就执行文件操作,则可以说进程 B 与进程 A 没有使用协同锁机制进行合作,仍然会带来不可预期的结果。


现在,让我们看一下锁如何在协作流程中发挥作用:


  1. 进程 B 尝试在读取文件之前(与进程 A 协作)获得对 account.dat 文件的锁。

  2. 由于进程 A 已获得文件锁,因此进程 B 必须等待进程 A 释放锁。

  3. 进程 A 计算 100-20 并将 80 写回到文件中。

  4. 进程 A 释放锁。

  5. 进程 B 现在获取一个锁并读取文件,并获取更新的值:180。

  6. 进程 B 开始其逻辑,并将结果 260(180 + 80)写回到文件中。

  7. 进程 B 释放锁,以便其他协作进程可以继续读写该文件。


强制锁(Mandatory  Lock)


与协作锁不同,强制锁不需要参与进程之间的任何合作。一旦在文件上激活了强制锁,操作系统便会阻止其他进程读取或写入文件。


要在 Linux 中启用强制性文件锁定,必须满足两个要求:


  1. 我们必须使用 mand 选项挂载文件系统(挂载-o mand FILESYSTEM MOUNT_POINT)。

  2.  我们必须为要锁定的文件(chmod g + s,g-x FILE)打开 set-group-ID 位,并关闭组执行位。


使用强制锁之后,这个锁会在操作系统级别进行管理和控制。


检查系统中的所有锁


slocks 命令


lslocks 命令是 util-linux 软件包的一个组件,在所有 Linux 发行版中都可用,通过这个命令可以列出系统中所有当前持有的文件锁。


在以下列表中,我们可以看到系统中所有当前锁定的文件,还可以看到每个锁的详细信息,例如锁的类型以及哪个进程持有该锁。



/ proc /locks


/ proc / locks 不是命令,它是 procfs 虚拟文件系统中的文件。该文件包含所有当前文件锁,lslocks 命令也依赖于此文件来生成列表。

要获取 / proc / locks 的信息,我们执行“ cat / proc / locks”:



我们从第一行开始,了解/ proc / locks 文件系统中锁信息的组织方式:



  1. 第一列是序列号。

  2. 第二个字段指示使用的锁类别,例如 FLOCK(来自 flock 系统调用)或 POSIX(来自 lockf,fcntl 系统调用)。

  3. 此列用于说明锁类型。它可以有两个值:ADVISORY 或 MANDATORY。

  4. 第四个字段显示该锁是 WRITE 还是 READ 锁。

  5. 第五个字段是锁的进程 ID。

  6. 该字段包含一个冒号分隔的字符串,以“ major-device:minor-device:inode”的格式显示锁定文件的 ID。

  7. 此列以及最后一列显示了被锁定文件的锁定区域的开始和结束。在此示例行中,整个文件被锁定(0-EOF)。


由于分布式文件系统主要用于多个客户端中共享文件,客户端的应用程序并发访问文件是很常见的操作,在实际应用中,渲染、HPC 等业务都需要使用到文件锁,锁的支持对分布式文件系统而言至关重要。YRCloudFile 支持 POSIX 语义中的协同锁和共享锁,用户可以通过 flock 或 fcntl 等系统调用来对文件进行锁操作,锁的粒度可以支持到文件级别或文件内的指定区间。

发布于: 2021 年 05 月 10 日阅读数: 18
用户头像

焱融科技

关注

Drive Future Storage 2020.05.29 加入

面向未来的下一代云存储

评论

发布
暂无评论
【技术干货】文件系统中的“锁”