[WWW2024] 轻量数据依赖的异常检测重训练方法 LARA

开篇

近日，由阿里云计算平台大数据基础工程技术团队主导，与浙江大学合作的论文《LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection 》被 WWW2024 收录，该方法解决了云服务正常模式随时间不断变化，且在变化初期观测数据数量不足以支撑模型训练的问题。目前 LARA 仅使用 1 个包含 40 个时间片的样本重训练即可达到与目前最好方法使用充足数据重训练的异常检测精度。

背景

目前，可以解决正常模式更替变化的方法主要有迁移学习、元学习、基于信号处理的方法。但同时他们也存在一些弊端，并不完全适配当前问题：

1. 迁移学习：迁移学习未考虑本问题中多个历史正常模式之间存在的时序关系。迁移学习把 source domain 的模型迁移到 target domain 中。其中，source domain 和 target domain 的数据是对不同对象、同一任务的观测。而本问题是对同一对象同一任务在不同时刻的观测，即多个历史正常模式之间存在时序关系，离得近的正常模式对当前正常模式更具指导意义。

2. 元学习：元学习同样未考虑历史正常模式之间的时序关系，同时，需要存储大量的历史数据。

3. 基于信号处理的方法：这类方法推理阶段时间开销太大，无法在流量峰值处进行实时异常检测。

挑战

云服务环境多变，这导致异常检测模型需要进行频繁的重训练。频繁的重训练有以下几个问题：

1. 过拟合：在分布变化的初期，新分布的观测数据太少，对于大多数基于深度学习的神经网络，容易陷入过拟合。

2. 巨大训练开销：频繁重训练模型，会带来巨大的训练开销。

破局

因此，我们提出方法 LARA 解决上述问题。为了解决重训练新观测数据不足的问题，我们提出反刍模块，该模块使用老模型恢复历史分布中与新观测数据相似的数据，并使用历史数据与新观测数据一起估计每一个新观测数据的隐藏状态 z。为了解决重训练计算开销大的问题，我们使用映射函数 M_z 和 M_x 分别把老模型输出的隐藏状态和重构数据映射为当前分布的隐藏状态估计值与新观测数据，并数学证明了映射函数令映射误差最小的最优形式为线性，极大降低了重训练开销。更进一步，我们根据 M_z 与 M_x 的形式，提出一种相应的损失函数设计范式，可以保证重训练问题是一个凸问题，具有唯一全局最优解，从而保证较快的收敛速率，降低重训练计算开销，避免陷入过拟合。

应用

现已将 LORA 方法应用到飞天大数据 AI 管控平台 ABM 的异常检测算法服务中，减少异常检测算法的训练开销，辅助大数据平台进行异常的及时发现。

论文标题： LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection

论文作者：陈飞佚，秦臻，周孟初，张颖莹，邓水光，范伦挺，庞观松，文青松

论文 pdf 链接：https://arxiv.org/abs/2310.05668