日志敏感数据扫描和脱敏最佳实践
概述
在数字化时代，企业对数据的依赖不断加深，数据的价值和安全性成为关注的焦点。敏感数据，如个人身份信息、财务数据和商业秘密，一旦泄露，不仅侵害个人隐私，还可能引发巨大的经济损失、法律责任和声誉损害。同时，随着全球化的推进，不同国家和地区对数据隐私保护的法律法规越来越严格，企业必须确保数据处理活动符合所有相关要求，避免法律风险和经济损失。在此背景下，日志作为记录企业服务和系统运行的关键数据，承载着大量潜在信息和价值，但其中也包含大量敏感数据。不当处理这些数据可能带来严重后果，如商业秘密泄露、黑客攻击的突破口，甚至法律纠纷。因此，如何对日志中的敏感数据进行恰当处理，已成为企业必须面对和解决的问题。
观测云提供统一日志存储和分析的能力，不仅能够帮助企业实现日志的有效管理和监控，还能够在敏感数据保护方面发挥重要作用。面对数据量巨大的日志，传统的数据脱敏方式可能显得繁琐且难以保证效果，如同大海捞针。为了有效解决这一问题，观测云提供了两个关键功能：敏感数据扫描和敏感数据脱敏。本文将探讨这两种功能的应用，分析它们在防止数据泄露、遵守法律法规以及维护企业声誉方面的重要性，以期为企业在数据安全领域提供有价值的参考和解决方案。通过这些高阶玩法，企业不仅能够有效防止数据泄露，还能确保遵守越来越严格的数据保护法规，同时在全球范围内维护其数据处理的合规性和安全性。
前提条件
1、安装采集器 DataKit
登录观测云控制台，点击[集成]->[DataKit]
复制安装命令并执行
安装成功后，可在观测云控制台的[基础设施]中查看该主机的对象和指标数据
2、配置主机日志文件采集
进入 DataKit 安装目录下的
/usr/local/datakit/conf.d/log目录，复制logging.conf.sample并命名为logging.conf。示例如下：
修改
logging.conf文件中的日志文件路径，并自定义一个容易区分的 source 名称。示例如下：
重启 DataKit 后，即可在观测云控制台的[日志]查看器中查看相关日志。
原始日志如下：
敏感数据脱敏
数据采集上报到观测云工作空间以后，部分数据中存在的一些敏感信息字段，比如 IP 地址、用户信息等，针对这部分信息可以通过配置敏感字段来做脱敏处理。
脱敏规则配置
1、登录观测云，“管理”-“敏感数据脱敏” 。
2、点击“添加敏感规则”，并配置相应的“规则名称”，“数据类型”选择日志，“字段”选择 message ，“正则表达式”从模版库中选择相应的脱敏规则，或者自定义正则表达式，“角色”选择相应的账号角色，比如 Standard 。
注意：基于角色级别配置敏感数据屏蔽规则，当选定的角色查看日志数据时 IP 地址会被 *** 替代；支持多选。
3、点击“预览”，输入日志原文并点击“脱敏”，可以在下方文本框中查看日志内容是否被正确脱敏。然后点击“确认” 。
4、使用具有 Standard 角色的账号登录观测云并打开日志查看器，可以看到日志 message 中的 IP 地址已经被 *** 代替，脱敏功能生效。
注意：非 Standard 角色的账号登录观测云，依然可以看到未脱敏的日志信息。
敏感数据扫描
在使用观测云产品的过程中，会不可避免地产生如网络设备地址、Token、API 密钥、个人隐私等诸多敏感数据。为避免信息泄露，造成安全风险，观测云提供敏感数据扫描的功能，通过为数据创建脱敏规则的方式，实现自定义信息屏蔽。
扫描规则创建
1、点击“管理”-“敏感数据扫描” 。
2、选择“官方规则库”，从规则库中选择相应规则，比如 IPv4 地址扫描，然后点击“创建”。
脱敏方式：
通用加密：以
*替换所有匹配的敏感数据；部分加密：以
*替换敏感数据中的部分字符串，可以保留部分敏感信息，例如：手机号*1005；替换加密：以指定的字符串替换所有匹配的敏感数据，替换后不可逆；
MD5 加密：对任意数据都可以加密成固定长度字符串，替换后不可逆。
注意：规则创建后，5-10 分钟后生效。
3、打开日志查看器，可以看到相应字段已经经过 MD5 处理
MD5 加密的特点：
长度固定：不管多长的字符串，加密后长度相同，即 32 位；
高度离散：对原数据进行任何改动，即便是微小变化，也会导致运算结果差异巨大；
运算不可逆：已知运算结果的情况下，无法通过逆运算得到原始字符串，但仍能进行筛选定位。
还未添加个人签名 2021-02-08 加入
云时代的系统可观测平台
评论