HPC 中常见的调度器介绍

本文分享自天翼云开发者社区《HPC中常见的调度器介绍》 作者:土豆炒肉丝

在高性能计算（HPC）环境中，调度器是负责管理和分配计算资源（如计算节点、处理器核心、内存等）给待执行任务的重要组件。不同的 HPC 系统可能使用不同的调度器，根据系统架构和用户需求的不同，调度器有各自的特点和区别。以下是一些常见的 HPC 调度器及其区别：

1.SLURM（Simple Linux Utility for Resource Management）：

SLURM 是一个开源的 HPC 调度器，广泛应用于高校、超算中心等 HPC 集群。它提供了丰富的功能，包括作业提交、资源分配、优先级管理、任务监控等。SLURM 支持多种作业调度策略，如先进先出（FIFO）、公平共享（Fairshare）、优先级调度等。它还支持作业数组，可以一次性提交多个相似的任务。

2、PBS（Portable Batch System）：

PBS 是另一个流行的 HPC 调度器，有商业版本 PBS Professional 和开源版本 Open PBS。它具有强大的灵活性和可扩展性，适用于各种规模的 HPC 环境。PBS 支持多种调度策略，如最短作业优先（SJF）、先来先服务（FCFS）、优先级调度等。PBS 还可以根据用户和组织的需求进行自定义配置。

3.LSF（Load Sharing Facility）：

LSF 是一种商业化的 HPC 调度器，由 IBM 开发。它在大规模集群中表现出色，支持多种调度算法，如公平调度、资源回收、优先级调度等。LSF 还提供了高度可定制的作业调度规则和策略。

4.Torque/Maui：

Torque 是一个开源的 HPC 调度器，Torque 源于 PBS 的分支版本，用于管理和调度计算资源。Maui 是一个与 Torque 配套的作业调度器，它提供了更高/级的作业调度功能。Torque/Maui 组合被广泛用于中小规模的 HPC 集群。

5.Grid Engine：

Grid Engine 是一种开源的 HPC 调度器，可以在分布式计算环境中进行资源管理和作业调度。Grid Engine 支持多种调度策略和作业优先级管理。Grid Engine 调度器最早由 SUN 公司开发，Oracle 将其收购后，出现了多个分支版本，如 Univa Grid Engine、Oracle Grid Engine、Open Grid Schedule 等。

这些 HPC 调度器之间的区别主要体现在以下方面：

1.开源 VS 商业：一些调度器是开源的，免费使用，如 SLURM、Open PBS 和 Torque，而其他调度器是商业化的，需要购买授权，如 LSF。

2.功能和灵活性：不同的调度器提供不同的功能和灵活性，某些调度器可能更适合特定类型的 HPC 环境或应用场景，如 PBS 在汽车行业大量应用，LSF 对 EDA 软件支持较好，在电子芯片设计行业应用广泛。

3.性能和可扩展性：调度器的性能和可扩展性可能因集群规模和资源管理复杂性而有所不同。

4.配置和管理：调度器的配置和管理过程也可能有所不同，一些调度器可能需要更多的手动设置和维护。

在选择 HPC 调度器时，需要根据自己的 HPC 环境和需求来做出合适的选择。无论使用哪种调度器，良好的作业调度和资源管理都是高性能计算集群运行的关键因素。