SPL 工业智能：发现时序数据的异常

2022 年 9 月 07 日
江西
本文字数：4462 字
阅读完需：约 15 分钟

作者：石臻臻,CSDN 博客之星 Top5、Kafka Contributor、nacos Contributor、华为云 MVP,腾讯云 TVP,滴滴 Kafka 技术专家、 KnowStreaming, 《Kafka 运维与实战宝典》电子书作者。领取《Kafka 运维与实战宝典》PDF 请联系石臻臻
KnowStreaming 是滴滴开源的Kafka运维管控平台, 有兴趣一起参与参与开发的同学,但是怕自己能力不够的同学,可以联系我,当你导师带你参与开源！ 。

1 基本问题

工业生产过程中会产生大量的数据，比如电压、温度、流量等等，它们随时间推移而不断产生，这些数据在多数情况下是正常的，否则生产无法正常进行；少数情况下，数据是异常的，生产效率会降低甚至发生事故。在重大事件（如事故）发生之前，通常会在运行数据上有所体现，比如电流突然上升，后续很可能断电，造成一些不必要的损失，如果及时发现电流增大这一信号，及时找到原因并处置则可以将损失降到最小。因此及时发现异常数据并报警，提醒操作人员进行相应的操作，可以提高生产效率并避免事故发生。

当前工业界常用的异常发现机制很简单，一般是凭经验设置一个范围，当仪表超过该范围时就认为是异常。这种方式过于简单粗暴了，经常会发生漏报（范围设置过宽）或误报（范围设置过窄）。因为生产过程是动态的，产生的数据也是动态的，简单的设置范围不可能适用于所有的生产状况，如下图：

左侧平稳期和右侧平稳期都是正常状态，如果左侧出现点 1，右侧出现点 2，它们都应该被判定为异常点，但如果简单的用固定范围来判断，这两个点都在固定范围内（图中的上下限），判断就会出错，所以需要动态的去判断某个点是否异常。

动态的判断异常，容易想到的方法是利用机器学习方法来动态发现异常。但机器学习是有监督方法，需要大量已知的异常数据，而实际场景通常并没有这些现成的数据，还需要人工标记出来。但是工业仪表产生的数据量对于人来说是个天文数字，依靠人工来标记不现实，而且人工标记也很难保证正确性，还要再去校对，工作量无比巨大，结果也就没有可操作性。所以只能使用无监督学习方法完成异常发现任务。

算法思路

没有标记好的异常数据，无监督方法怎么定义“异常”呢？

先来看一份数据：

先来看人是怎么发现异常的。

人观察这段数据后，发现的异常如上图，各段原因如下：

① 变化过快；

② 值过小。

异常大致是这几类：值过大或过小和变化过快。它们有个共同的特点，出现的情况比较少。我们不难得出一个抽象的说法：经常出现的情况是正常，没出现过或者很少出现的情况可以定义为异常。

那么发现异常的任务就转换为发现不常出现的情况，判断数据是否不常出现，就是看当前数据相较于之前一段时间内的数据是否不常出现。利用之前一段时间数据学出一个模型 E，用它来判断当前数据是否异常。比如之前一段时间的数据在 1~10 内，那么当前时刻的数据在这个范围内就认为是正常，如果当前时刻的数据不在该范围内（比如等于 11 或 0），则认为是异常。而 1~10 这个范围就是通过历史数据学出的模型 E。拿着模型 E 就能算出当前数据是否异常了，即：

这样数据过大或者过小的异常就可以被发现了。

但是这种方法不一定能发现变化过快的异常数据，如下图：

上述方法可以发现(b)(c)中的异常，但对于(d)中的异常就无能为力了，那该如何发现呢？

(d)中的情况就是变化过快，我们来看看能否用“变化快慢”这个数学量来发现异常。

上图中曲线 C 就是“变化快慢”曲线，他是利用原值 X 衍生得到的，用刚才介绍的方法对 C 来发现异常即可发现变化过快这类异常。

由此看来，只要找到合适的数学量来表征这些数据的某些特征，就可以区分出常见和不常见的状态。比如下图：

红框中的异常就是幅度异常，值和变化率都处于正常范围，只是幅度变小了，此时需要一个表征幅度的数学量来发现异常。

仅仅是生成是否异常还不够，异常还应区分异常的程度，比如 1~10 范围内是正常的，当前时刻是 11 的异常度就应该小于当前时刻是 15 的异常度，也就是说超限的幅度越大，异常度越大。这就要改造上面模型 E，让它的判断结果返回一个连续值，使其能表征超限幅度越大，异常度越大。

实践效果

把上面思路写成代码，就可以完成异常发现了。比如动态算出值过大过小的异常度，SPL 代码大体如下：

SPL 有很强大的集合运算能力，实现区间上的阈值计算很方便。这段代码仅是个示意，并不完整，其中还调用了计算阈值的函数，而这个函数在不同场景要使用不同的计算方法，很难通用起来。这个问题足够大，值得专门撰文讨论，但并不是本文重点，所以就不再列出了，这并不影响理解其中的原理。

计算结果示例如下：

图中 Value 是数据，Value_up 是动态上限，Value_low 是动态下限，warn 是异常度。从图中可以看出，算法准确发现了值过小的异常。

如果观察变化率，大体的 SPL 代码：

类似地，A2 中使用了动态计算“变化快慢”这一数学量的方法，后续的代码和前面判断值的异常度时类似。

“变化快慢”发现异常结果如下：

从图中证明算法是有效的，变化过快的地方可以准确发现。

值和“变化快慢”甚至更多特征数据都可以用来发现异常，可以单独使用也可以综合使用，只要通过某种数学方式将他们合并成一个表征综合异常度的量即可。

2 关联问题

工业生产过程中，有些仪表之间是相互关联的，比如温度升高、压力上升；阀门开度增加、流量增大等等。有时只看单个仪表并不能说明整体异常了，需要观察相互关联仪表的异常情况，才能确定整个系统是否真的出问题了。就好比打喷嚏、嗓子疼、流鼻涕、发烧同时发生时，我们就可以说这个人感冒了，如果只是单一症状，如嗓子疼，可能只是因为这个人大声说话喊破嗓子了，并不能断定这个人感冒了。

我们已经可以计算单个仪表的异常度了，将相互关联的仪表看成一组，同时观察他们各自的异常度，用某种数学方式将他们的异常度聚合起来，就可以得到这组仪表的异常度了。

算法思路

如何将一组仪表的异常度聚合呢？

先来看一组数据：

这里有五个仪表的曲线，红色部分为该仪表异常的部分。

还是先来看看人对时段①②③异常的分析情况：

时段①：只有 1 个仪表异常且异常度不大，该时段聚合后的异常度应该不大；

时段②：有 3 个仪表异常，但强度不大，聚合的强度应该也不大；

时段③：有 4 个仪表异常，而且强度较大，报警强度应该大。

将一组仪表的异常度聚合起来，容易想到的办法就是将所有仪表的异常度平均。但是这意味着对所有仪表一视同仁，即各个仪表同等重要。实际上可能并不是这样，还以感冒为例，发烧这一症状要比嗓子疼和打喷嚏重要得多，需要给它赋予更高的权重。仪表也是类似的，有些仪表测量的指标非常关键，有些可能不太重要，为每个仪表分别赋予权重才能得到更准确的聚合异常度。

那么，权重从何而来？

简单有效的办法是工艺专家提供，可有时专家也不确定各个仪表权重的具体数值，如果能由计算机自动算出各个仪表的权重就更好了。

那么，又怎么自动算权重呢？

先来看个故事：

上图是二战时盟军返航飞机弹孔分布图，从图中可以看到，这些弹孔分布并不均匀，翅膀上比较多，引擎上比较少。当时军方普遍认为，应该减少装甲总量，然后在受攻击最多的部位增加装甲，这样飞机可以轻一点，但是防护作用不会减弱，因为防御的效率提高了。但是，这些部位需要增加多少装甲，他们并不清楚，于是找到瓦尔德（哥伦比亚大学的统计研究学家），希望得到答案。但是，瓦尔德彻底否定了他们的想法，给出了相反的答案。

瓦尔德认为，需要加装装甲的地方不应该是留有弹孔的地方，反而是没有弹孔的地方，即飞机的引擎。

瓦尔德说，飞机各部位被击中的概率应该是均等的，但是引擎上的弹孔却比其余部位少，这说明那些被击中引擎的飞机根本没有机会返航。我们看到的数据，都来自成功返航的飞机，这说明即便翅膀被打得千疮百孔，仍能安全返航。

军方马上按照瓦尔德的建议改进了飞机，取得了良好的效果。

这就是“幸存者偏差”。我们不能只考虑看到的数据（返航的飞机），更应该考虑看不到的数据（未返航的飞机）。

为了避免幸存者偏差，各仪表权重的分配方法应该遵循这样的原则：历史上经常异常且异常度大的仪表（相当于机翼）权重小，不常发生异常且异常度小的仪表（相当于引擎）权重大。根据这样的原则，使用一些数学方法计算各仪表的权重，最后利用权重与各仪表的异常度计算出聚合后的异常度。