时序数据库助力安全监控

时序数据库 TSDB

阿里云和腾讯云都有提供时间序列数据库 ( Time Series Database , 简称 TSDB) 。在依赖的开源项目和具体实现层面上，这两家是有差异的，但最终达到的效果上有很大相似性。到底哪家强，我这里就不详细阐述了，毕竟他们都没有给我打钱。

时序数据库（本文后面都以此称呼这种数据库）是一种集时序数据高效读写，压缩存储，实时计算能力为一体的数据库服务。这种数据库非常适合实现对设备及业务服务的实时监控，实时预测告警。

安全监控及数据收集

安全监控很复杂，安全监控基础设施的成功实施涉及人员、流程、技术和数据，需要多个迭代周期才能成熟。

安全数据有许多来源，当下流行的方法是利用来自所有可能资产的日志文件（无论是应用程序、数据库、虚拟机、容器、微服务、操作系统、服务器、网络组件）来获取安全数据，然后将这些数据发送到 SIEM 系统或日志管理系统（如 Splunk、SumoLogic 或 Elastic）。

当传统软件流行时，软件处于本地时，几乎可以随时能够访问日志文件（通常是免费的），并将它们发送到 SIEM 或日志管理系统。

使用云服务和 SaaS 应用程序，将无法直接访问日志信息，需要从分析本地日志转向通过 API 从云服务收集与安全相关的事件。有空我会再写一篇云服务流行对安全监控的影响。

容易被忽略的应用程序日志

从应用程序/云服务那里通过日志文件和事件 API 记录的信息中，只有一部分事件与安全监控相关，但是它们提供的洞察力远大于仅基础设施提供的数据。遗憾的是，应用程序事件记录经常丢失、禁用或配置不良，这意味着安全团队在最需要可见性的地方有一个盲点。

应用程序日志非常重要的的原因有以下几点：

1. 识别安全事件

2. 监控政策违规情况

3. 建立"正常"行为基线

4. 协助提供安全事件数据的来源和完整性证明

5. 提供有关攻击、违规和其他异常情况的信息

6. 促进缺乏其他日志来源的事件调查

7. 识别安全漏洞

8. 通过攻击检测抵御漏洞利用

时序数据库应用于安全监控

通过将所有日志数据和安全事件转换为时间序列集合，时序数据库成为关键且自然的解决方案。这样做可以使您能够快速关联依赖的或相连的资产的时间线上的一系列事件，阐明指标并跟踪有问题的对象。反过来，这可以加快事件检测、响应、补救和取证工作流程。

传统的日志管理驱动的安全监视包含了太多不必要的数据。相比之下，时序数据库将数据中的安全事件数据规范化为高效、标准化的格式，允许经济地存储安全数据，并在多个属性上索引，从而实现快速搜索。例如，一些时序数据库通常在数十毫秒内测量其查询响应时间。鉴于这种高效的数据格式，您可以以更少的预算支出存储更多事件。

时序数据库非常适合跟踪安全指标。有许多这样的指标可以跟踪，例如：

• 按照时间序列，身份验证失败统计

• 按时间统计，每个账户的 IP 地址

• 按时间统计，每个 IP 地址的帐户

• 按时间统计，特权账户使用情况

人们可以使用机器学习来构建典型使用的行为模型，然后查看表示偏离此模型的实时事件。时序数据库能够应用高级算法进行异常检测，例如中位数绝对偏差 （MAD）、使用层次结构 （BIRCH） 或朴素贝叶斯分类器进行平衡迭代减少和聚类。

由于有以上这些优点，安全社区已经开始探索应用这些方法。我觉得时序数据库可以很好的作为目前 SIEM 和其他基于日志的安全监控系统的一个补充，在某些方面甚至更好一些。

我们公司正在实施这个概念：基于时序数据库来构建安全监控应用平台。在大鱼安全平台的构建过程中，除了上面安全分析以外，时序数据库对我们还有如下帮助：

• 上手快,可以说是 SaaS 服务普遍具有的优点

• 历史数据降低精度保存

• 聚合查询方便，方便可视化

【大鱼安全团队出品】 - 大鱼安全是国内首个 SaaS 版容器安全及态势感知平台：详见 https://www.greatersecurity.com.cn/