浅谈 HPC 中的 Lustre

本文分享自天翼云开发者社区《浅谈HPC中的Lustre》，作者:n****m

1. 什么是 lustre？

Lustre 体系结构是一个为集群设计的存储体系结构。 其核心组件是运行在 Linux 操作系统上、 支持标准的 POSIX* UNIX 文件系统接口、 并遵循 GPL2.0 许可的 Lustre 文件系统。 据 IDC 的统计， Lustre 是在 HPC 领域应用最广的文件系统， 世界上最快的 50 个超算网站有 60%都使用 Lustre。

2. Lustre 的文件系统有哪些组件？

Lustre 文件系统的主要组件有： MDS、 MDT、 OSS、 OST、 Client。 各个组件间的关系如下图。

3. MDS、 MDT、 OSS、 OST 是什么？

MDS（Metadata Server）： MDS 负责管理 Lustre 文件系统的文件名、 目录、 权限、 文件结构等元数据信息， MDS 生成的元数据存储在一个或者多个 MDT 上， 并为每个 Client 提供服务。 MDS 可以有多个， 但只有一个为主 MDS， 其余 MDS 工作在备份模式。

MDT（Metadata Target）： 每个文件系统都有一个 MDT， MDT 可以是 MDS 本地硬盘（只有一个 MDS 时）、 也可以是远端存储的一个 LUN 设备。 一个 MDT 可以通过同时映射给两台主机， 供多个 MDS 进行访问， 但同一时刻只能有一个 MDS 进行访问， 通过这种方式可以实现 MDS 的高可用性。

OSS（Object Storage Servers）： OSS 为 Client 提供文件 I/O 服务， 客户端从 MDS 获取元数据信息后， 从 OSS 访问文件数据， 文件数据最终存储在与 OSS 相连的 OST 上。

OST（Object Storage Target）： 用户文件存储在一个或者多个对象中， 每个对象对应一个独立的 OST， 每个文件可以存储在一个 OST 上， 也可以跨越多个 OST 进行存储。 一个 OST 可以通过同时映射给两台主机实现 OSS 的高可用性。