SLS 数据加工全面升级，集成 SPL 语法

作者：灵圣

数据加工概述

在系统开发、运维过程中，日志是最重要的信息之一，其最大的优点是简单直接。不过在整个日志的生命周期里有一对很难调和的矛盾：输出和采集日志要求尽可能的简单便捷 vs 日志分析时需要数据格式化并能够按需存储。

• 为了解决前者，保证服务的稳定和效率，提出了不同的高性能数据管道解决方案，比如阿里云 SLS 这样的云服务、还有 Kafka 这样的开源中间件。

• 而对于后者，需要提供给下游规范化的、完整的数据，用于比如业务分析等场景，SLS 数据加工即是达成这一需求的功能。

如上图所示，SLS 数据加工的常见场景：

• 规整：这是使用频率最高的场景，比如从文本日志数据中提取出关键信息，将其转为规范化的数据。

• 富化：比如用户的点击数据中只包含商品 ID，在分析时需要从数据库关联起详细信息。

• 脱敏：随着我国信息安全相关法律的完善，对于敏感数据（比如个人信息）的处理要求越来越高。

• 分裂：在数据写出时，处于性能、便捷性考虑会将多条数据合并输出，在分析前则需要拆分出独立数据条目。

• 分发：将不同类型的数据分别写到不同的特定目标中，以供下游定制化使用。

新版数据加工提升

• 集成 SPL，统一语法：SPL 是 SLS 为日志采集、交互式查询、流式消费、数据加工等数据处理的场景，提供的统一的数据处理语法，语法细节可参考 SPL 语法[1]。新版数据加工 SPL 编写过程支持按行调试和代码提示，更接近 IDE 编码体验。

• 性能提升 10+ 倍，大数据量、数据洪峰处理更平滑：在处理无规则日志数据场景中，相同的处理复杂度，新版数据加工相对于旧版有 10+ 倍的性能提升，能够支撑更高的数据吞吐量。另外，通过调度系统的升级，面对平常流量上千倍的数据洪峰时，新版数据加工能够更加敏捷的实现计算并发扩展，尽可能减少洪峰带来的积压。

• 成本更优，降至旧版 1/3：通过数据加工服务的技术迭代升级，新版数据加工提供了更具优势的使用成本，仅为旧版数据加工的 1/3。所以，在需求场景已经支持时，推荐使用数据加工（新版）。

集成 SPL、统一语法

新版数据加工原理

新版数据加工通过托管实时数据消费的任务，结合日志服务 SPL 规则消费功能，实现对日志数据的实时加工处理，原理如下图。

• 调度机制对每一个加工任务，加工服务的调度器会启动一个或多个运行实例，并发执行数据处理，每个运行实例扮演一个消费者角色消费 1 个或者多个源 Logstore 的 Shard。调度器根据运行实例资源消耗、以及处理进度决定运行实例数目，实现弹性并发。单个任务的并发上限为源 Logstore 的 Shard 数量。

• 运行实例根据任务的 SPL 规则和目标 Logstore 等配置信息，从数据加工服务分配的 Shard 中，使用 SPL 规则消费源日志数据，将基于 SPL 规则处理后的结果分发写入对应的目标 Logstore。运行实例运行过程中，自动保存 Shard 的消费点位，确保任务停止重启时，从断点处继续消费。

SPL 语法对比旧版 DSL

相对于数据加工（旧版）DSL 语言，日志服务 SPL 语法提升了易用性，具体如下：

1. 数据加工（旧版）DSL 语法作为 Python 语法子集，需要函数式编程，使用过程中存在较多语法符号冗余。相较而言，日志服务 SPL 语言是类 Shell 指令式语法，在最大程度减少语法符号的冗余。如下案例：

• 旧版本使用函数 v 引用字段值 v("field")，SPL 则直接引用字段，比如 | where field='ERROR'。

• 旧版本函数调用 func(arg1, arg2)，转为 SPL 指令 | cmd arg1, arg2，编写更简洁。

2. SPL 语言支持处理过程中临时字段类型保持，数据类型转换[2]；与之相反，数据加工（旧版）DSL 的定义中，字段值固定为字符串类型，类型转换的中间结果不支持保留。比如，如下 DSL 脚本，需两次调用 ct_int 函数：

e_set("ms", ct_float(v("sec"))*1000)e_keep(ct_float(v("ms")) > 500)

对应的 SPL 逻辑则更为简洁，无需两次转换类型，参考如下：

| extend ms=cast(sec as double)*1000| where ms>1024

3. 另外，SPL 语言可以无缝使用日志服务 SQL 函数，无需额外的理解和学习成本，SPL 所支持的 SQL 函数参考 SQL 函数概览[3]。

数据加工 SPL 代码调试

调试菜单

数据加工（新版）SPL 调试菜单参考

，菜单按钮定义如下：

• 运行按钮：完整运行编辑框中的 SPL 规则。

• 调试按钮：开启调试模式，并执行运行至第一个断点，开启后可以执行按行、或者断点调试。

• 下个断点按钮：调试运行至下一个断点。

• 下一行按钮：调试运行至下一行。

• 停止调试按钮：停止当前调试过程。

代码编辑框的行号前的空白区域为断点区域，在断点区域单击鼠标，即可在单击点对应的行添加调试断点，效果如下图。单击已添加的调试断点，即可将其移除。

添加图片注释，不超过 140 字（可选）

调试过程

1. 准备测试数据和编写 SPL 规则。

2. 在需要调试的行添加断点。

3. 单击调试按钮，开启调试模式，如下图。黄色背景行表示当前暂停的位置（语句未执行），蓝色背景行表示已经执行的 SPL 语句。

4. 在加工结果标签页中查看运行结果是否满足需求。

• 如果符合需求：进入第 5 步，继续调试运行。

• 否则，单击停止调试按钮，回到第 1 步，修改 SPL 规则，重新开始调试过程。

持续迭代升级

接下来，新版数据加工将持续进行迭代升级，这里我们仅聊一下近期即将推出的两个升级。

1. 支撑完备的数据处理场景

目前新版数据加工专注于无规则数据处理场景，即偏计算型，对于数据流转场景暂未覆盖，比如数据分发至多目标或动态目标、维表富化、IP 解析、跨地域同步数据。

接下来，新版数据加工将着重支持这些场景，并通过架构升级，提供更稳定、更易用的服务，比如跨区域同步的加速能力、基于数据集的分发等。

2. 旧版数据加工任务无缝升级

对于线上在运行的旧版数据加工任务，需要应用如上所述的新版本提升，数据加工服务将从两个技术角度支撑已有任务的原地升级：

第一，数据加工服务保证数据的完整性，自动将当前的数据消费点位迁移至新版数据加工，升级后将从该点位继续消费数据。第二，基于 AST 语法树解析，自动翻译旧版数据加工任务的 DSL 脚本，至同等数据处理逻辑的 SPL。

相关链接：

[1] SPL 语法

​​https://help.aliyun.com/zh/sls/user-guide/spl-syntax/​​

[2] 数据类型转换

​​https://help.aliyun.com/zh/sls/user-guide/spl-general-reference?#9f3d943aa1ceb​​

[3] SQL 函数概览

​​https://help.aliyun.com/zh/sls/user-guide/function-overview​​