[ICLR 2024] 基于 Pathways 架构的自适应多尺度时间序列预测模型 Pathformer

开篇

近日，由阿里云计算平台大数据基础工程技术团队主导，与华东师范大学数据科学与工程学院合作的论文《Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting》被 ICLR 2024 接收，该论文提出了基于 Pathways 架构的自适应多尺度时间序列预测模型 Pathformer，它从时间分辨率和时间距离角度进行多尺度时序建模，同时进一步提出自适应 Pathways 来动态调整多尺度建模过程，基于两者，Pathformer 在阿里云数据集和公开数据集上取得 SOTA 预测效果，并展现出不错的泛化性和迁移性。

背景

现实场景中的时间序列在不同的时间尺度展现出不同的变化，如云计算场景中的 CPU，GPU，内存等资源需求呈现出日、月、季节等独特尺度的时间模式. 多尺度建模主要从不同的尺度中提取时序特征和依赖关系，建模多尺度需要考虑两个方面：时间分辨率和时间距离。时间分辨率指用于建模的每个时间片段的大小。如图 1 中，相同的时序别划分为小的片段（蓝色）或大的片段（橙色），提出细粒度和粗粒度的时序特征。时间距离对应于显示建模时间依赖性，决定用于时序建模时时间步之间的距离。如图 1 中，黑色箭头模拟了相邻时间步之间的关系，提取时序的局部细节，而彩色箭头模拟了跨长距离的时间步之间的关系，提取时序的全局关联。

图 1：左边：时间序列被划分成不同大小的 Patches 作为时间分辨率。右边：局部细节（黑色箭头）和全局关联性（彩色箭头）通过不同的时间距离被建模。

挑战

基于 Transformer 模型的多尺度建模，主要有两个挑战。一：不完备的多尺度建模。只是针对时间分辨率不能有效地捕捉不同范围的时间依赖关系，相反，考虑时间距离虽然能提取不同范围的时间依赖，但全局和局部间隔受到数据划分的影响，单一的时间分辨率并不完备。二：固定的多尺度建模过程。对比图 1 中的两个时序，上面的时序展现快速的波动，可能需要更关注细粒度和短期特征。相反，下面的时序需要关注粗粒度和长期特征。因此对所有时序采用固定的多尺度建模阻碍了每个时序的重要特征捕捉，然而为每个数据集或每个时序手动调整最佳尺度非常耗时且难以处理。

破局

我们提出了一个基于 Pathways 架构的自适应多尺度 Transformer 模型（Pathformer），如图 2 所示，它整合了时间分辨率和时间距离提出了一个多尺度 Transfomer 模块，使模型具备完备的多尺度建模能力。我们进一步提出自适应 pathways，激活 Transformer 的多尺度间建模能力。它基于输入时序的时间动态自适应提取和聚合多尺度特征，实现了自适应多尺度建模。接下里，我们详细介绍多尺度 Transformer 块和自适应 Pathways。

图 2：Pathformer 的架构

（1）多尺度 Transformer 模块：在多尺度 Transformer 块中，我们对输入的时序特征进行不同 patch 大小的时序划分，不同的 patch 大小代表不同时序的时间分辨率。基于每个尺度的 Patch 划分，使用双重注意力机制来建模不同范围的时间依赖性，如图 3(a)所示，通过 patch 内注意力(intra-patch attention)建模每个 patch 内部不同时间点之间的关联来捕捉时序的局部细节，通过 patch 间注意力（inter-patch attention) 建模不同 patch 之间的关系来捕获全局信息。

图 3：左边为多尺度 Transformer 模块的结构，主要包含 Patch 划分，patch 内注意力，patch 间注意力等。右边为多尺度路由器的结构

（2）自适应 Pathways：由于不同的时序偏好不同的尺度，这取决于它们不同的时间特征和动态性。为了实现自适应多尺度建模，我们基于多尺度 Transformer 提出了自适应 Pathways。如图 2 所示，它包含了两个关键部分：多尺度路由器和聚合器。多尺度路由器根据输入数据选择特定大小的 patch 进行划分，这激活了 Transformer 中特定部分，并控制多尺度特征的提取。路由器和聚合器一起协同工作，通过加权聚合将这些特征组合起来得到 Transformer 块的输出。论文在阿里云云原生大数据计算服务 MaxCompute 3 个集群的真实数据集和公开数据集上进行了实验，Pathformer 要显著优于其它的时序预测模型，并且 Pathformer 在不同集群数据上展现了一定的泛化和迁移能力。

应用

论文算法已经集成到了飞天大数据 AI 管控平台 ABM 的算法服务模块，供大数据智能运维场景（如资源推荐等）调用。

• 论文标题：Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting

• 论文作者： 陈鹏， 张颖莹， 程云爻， 树扬， 王益杭， 文青松， 杨彬， 郭晨娟

• 论文链接：https://openreview.net/forum?id=lJkOCMP2aW&noteId=oPHVNbGopY