SLS 数据加工全面升级,集成 SPL 语法
作者:灵圣
数据加工概述
在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。不过在整个日志的生命周期里有一对很难调和的矛盾:输出和采集日志要求尽可能的简单便捷 vs 日志分析时需要数据格式化并能够按需存储。
为了解决前者,保证服务的稳定和效率,提出了不同的高性能数据管道解决方案,比如阿里云 SLS 这样的云服务、还有 Kafka 这样的开源中间件。
而对于后者,需要提供给下游规范化的、完整的数据,用于比如业务分析等场景,SLS 数据加工即是达成这一需求的功能。
![](https://static001.geekbang.org/infoq/ac/acfef36f864b97d2dd48d4d678a49907.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
如上图所示,SLS 数据加工的常见场景:
规整:这是使用频率最高的场景,比如从文本日志数据中提取出关键信息,将其转为规范化的数据。
富化:比如用户的点击数据中只包含商品 ID,在分析时需要从数据库关联起详细信息。
脱敏:随着我国信息安全相关法律的完善,对于敏感数据(比如个人信息)的处理要求越来越高。
分裂:在数据写出时,处于性能、便捷性考虑会将多条数据合并输出,在分析前则需要拆分出独立数据条目。
分发:将不同类型的数据分别写到不同的特定目标中,以供下游定制化使用。
新版数据加工提升
![](https://static001.geekbang.org/infoq/da/da54427787d0bafbb23eede873d0db4e.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
集成 SPL,统一语法:SPL 是 SLS 为日志采集、交互式查询、流式消费、数据加工等数据处理的场景,提供的统一的数据处理语法,语法细节可参考 SPL 语法[1]。新版数据加工 SPL 编写过程支持按行调试和代码提示,更接近 IDE 编码体验。
性能提升 10+ 倍,大数据量、数据洪峰处理更平滑:在处理无规则日志数据场景中,相同的处理复杂度,新版数据加工相对于旧版有 10+ 倍的性能提升,能够支撑更高的数据吞吐量。另外,通过调度系统的升级,面对平常流量上千倍的数据洪峰时,新版数据加工能够更加敏捷的实现计算并发扩展,尽可能减少洪峰带来的积压。
成本更优,降至旧版 1/3:通过数据加工服务的技术迭代升级,新版数据加工提供了更具优势的使用成本,仅为旧版数据加工的 1/3。所以,在需求场景已经支持时,推荐使用数据加工(新版)。
集成 SPL、统一语法
新版数据加工原理
新版数据加工通过托管实时数据消费的任务,结合日志服务 SPL 规则消费功能,实现对日志数据的实时加工处理,原理如下图。
![](https://static001.geekbang.org/infoq/cc/cc8003c2f0b830d859218812761f92d8.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
调度机制对每一个加工任务,加工服务的调度器会启动一个或多个运行实例,并发执行数据处理,每个运行实例扮演一个消费者角色消费 1 个或者多个源 Logstore 的 Shard。调度器根据运行实例资源消耗、以及处理进度决定运行实例数目,实现弹性并发。单个任务的并发上限为源 Logstore 的 Shard 数量。
运行实例根据任务的 SPL 规则和目标 Logstore 等配置信息,从数据加工服务分配的 Shard 中,使用 SPL 规则消费源日志数据,将基于 SPL 规则处理后的结果分发写入对应的目标 Logstore。运行实例运行过程中,自动保存 Shard 的消费点位,确保任务停止重启时,从断点处继续消费。
SPL 语法对比旧版 DSL
相对于数据加工(旧版)DSL 语言,日志服务 SPL 语法提升了易用性,具体如下:
1. 数据加工(旧版)DSL 语法作为 Python 语法子集,需要函数式编程,使用过程中存在较多语法符号冗余。相较而言,日志服务 SPL 语言是类 Shell 指令式语法,在最大程度减少语法符号的冗余。如下案例:
旧版本使用函数 v 引用字段值 v("field"),SPL 则直接引用字段,比如 | where field='ERROR'。
旧版本函数调用 func(arg1, arg2),转为 SPL 指令 | cmd arg1, arg2,编写更简洁。
2. SPL 语言支持处理过程中临时字段类型保持,数据类型转换[2];与之相反,数据加工(旧版)DSL 的定义中,字段值固定为字符串类型,类型转换的中间结果不支持保留。比如,如下 DSL 脚本,需两次调用 ct_int 函数:
对应的 SPL 逻辑则更为简洁,无需两次转换类型,参考如下:
3. 另外,SPL 语言可以无缝使用日志服务 SQL 函数,无需额外的理解和学习成本,SPL 所支持的 SQL 函数参考 SQL 函数概览[3]。
数据加工 SPL 代码调试
调试菜单
数据加工(新版)SPL 调试菜单参考
![](https://static001.geekbang.org/infoq/c9/c95b8c079dd58e6bef76b40de4fda05e.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
,菜单按钮定义如下:
运行按钮:完整运行编辑框中的 SPL 规则。
调试按钮:开启调试模式,并执行运行至第一个断点,开启后可以执行按行、或者断点调试。
下个断点按钮:调试运行至下一个断点。
下一行按钮:调试运行至下一行。
停止调试按钮:停止当前调试过程。
代码编辑框的行号前的空白区域为断点区域,在断点区域单击鼠标,即可在单击点对应的行添加调试断点,效果如下图。单击已添加的调试断点,即可将其移除。
![](https://static001.geekbang.org/infoq/89/897e862ee43d0f6a7cda7243e0076262.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
添加图片注释,不超过 140 字(可选)
调试过程
1. 准备测试数据和编写 SPL 规则。
2. 在需要调试的行添加断点。
3. 单击调试按钮,开启调试模式,如下图。黄色背景行表示当前暂停的位置(语句未执行),蓝色背景行表示已经执行的 SPL 语句。
![](https://static001.geekbang.org/infoq/3b/3b428cb29870b929ce1e10b678b035e0.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
4. 在加工结果标签页中查看运行结果是否满足需求。
如果符合需求:进入第 5 步,继续调试运行。
否则,单击停止调试按钮,回到第 1 步,修改 SPL 规则,重新开始调试过程。
![](https://static001.geekbang.org/infoq/bc/bccb24045ff72f57d213fde558e2199f.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
持续迭代升级
接下来,新版数据加工将持续进行迭代升级,这里我们仅聊一下近期即将推出的两个升级。
1. 支撑完备的数据处理场景
目前新版数据加工专注于无规则数据处理场景,即偏计算型,对于数据流转场景暂未覆盖,比如数据分发至多目标或动态目标、维表富化、IP 解析、跨地域同步数据。
接下来,新版数据加工将着重支持这些场景,并通过架构升级,提供更稳定、更易用的服务,比如跨区域同步的加速能力、基于数据集的分发等。
2. 旧版数据加工任务无缝升级
对于线上在运行的旧版数据加工任务,需要应用如上所述的新版本提升,数据加工服务将从两个技术角度支撑已有任务的原地升级:
第一,数据加工服务保证数据的完整性,自动将当前的数据消费点位迁移至新版数据加工,升级后将从该点位继续消费数据。第二,基于 AST 语法树解析,自动翻译旧版数据加工任务的 DSL 脚本,至同等数据处理逻辑的 SPL。
相关链接:
[1] SPL 语法
https://help.aliyun.com/zh/sls/user-guide/spl-syntax/
[2] 数据类型转换
https://help.aliyun.com/zh/sls/user-guide/spl-general-reference?#9f3d943aa1ceb
[3] SQL 函数概览
https://help.aliyun.com/zh/sls/user-guide/function-overview
版权声明: 本文为 InfoQ 作者【阿里巴巴云原生】的原创文章。
原文链接:【http://xie.infoq.cn/article/5844770b779a92164ce108e15】。文章转载请联系作者。
评论