写点什么

深度解读 RDS for MySQL 审计日志功能和原理

  • 2024-10-29
    广东
  • 本文字数:5032 字

    阅读完需:约 17 分钟

深度解读RDS for MySQL 审计日志功能和原理

本文分享自华为云社区《【华为云MySQL技术专栏】RDS for MySQL 审计日志功能介绍》,作者:GaussDB 数据库。

1. 背景

在生产环境中,当数据库出现故障或问题时,运维人员需要快速定位出异常或者高危的 SQL 语句。这时,审计日志能够提供详细的记录,帮助追踪每个数据库操作的执行者、执行时间以及受影响的数据对象,从而大大加速故障排查和恢复流程。


MySQL 企业版提供了审计日志插件,可以对数据库操作进行细粒度的审计。该插件支持记录用户登录、查询执行、数据修改等重要操作。然而,在 MySQL 社区版中,只是提供了审计日志的相关插件接口定义和功能描述,并不支持原生的审计日志功能。


为了弥补这一功能的缺失,华为云 RDS for MySQL 通过集成 Percona 公司开源的审计日志插件,实现了 MySQL 审计日志功能。该功能已在 RDS for MySQL 5.7 和 RDS for MySQL 8.0 版本中开放,满足了用户对数据库安全审计的需求,同时增强了数据库的合规性和可用性。


本文将以 RDS for MySQL 为研究对象,对于审计日志进行功能介绍和原理解析。

2. 功能参数介绍

当在 RDS for MySQL 上开启审计日志功能,用户可以通过 SHOW variables LIKE 'audit%';语句查看与审计日志功能相关的变量名和参数值。

mysql> SHOW variables LIKE 'audit%';+-------------------------------------+---------------+| Variable_name                       | Value         |+-------------------------------------+---------------+| audit_log_anonymized_ip             |               || audit_log_buffer_size               | 1048576       || audit_log_csv2_escape               | OFF           || audit_log_csv2_old_separated_format | OFF           || audit_log_csv2_truncation           | ON            || audit_log_exclude_accounts          |               || audit_log_exclude_commands          |               || audit_log_exclude_databases         |               || audit_log_file                      | audit.log     || audit_log_flush                     | OFF           || audit_log_force_rotate              | OFF           || audit_log_format                    | CSV2          || audit_log_handler                   | FILE          || audit_log_include_accounts          |               || audit_log_include_commands          |               || audit_log_include_databases         |               || audit_log_policy                    | ALL           || audit_log_rotate_on_size            | 104857600     || audit_log_rotations                 | 50            || audit_log_strategy                  | ASYNCHRONOUS  || audit_log_syslog_facility           | LOG_USER      || audit_log_syslog_ident              | percona-audit || audit_log_syslog_priority           | LOG_INFO      |+-------------------------------------+---------------+23 rows in set (0.01 sec)
复制代码

这些参数控制着审计日志插件的整体功能,允许用户灵活调节审计日志的各个方面。通过合理设置和调整这些参数,用户可以精确确定日志的记录范围、记录级别、存储方式等。例如,用户可以通过 audit_log_policy 决定审计日志的记录级别,也可以通过改变 audit_log_strategy 调整审计日志的刷新策略。


在 RDS for MySQL 中,部分变量因安全合规考虑未开放修改。下表对审计日志功能中相关变量的作用和默认值进行介绍。



表格 1 审计日志变量介绍


3. 日志内容解析

在 RDS for MySQL 上,audit_log_policy 的默认值为 ALL。在该级别下,审计日志会记录包括 DML(数据操作语言)、DDL(数据定义语言)、DCL(数据控制语言)操作以及连接或断开连接等数据库活动。需要注意的是,不同类型的活动包含的日志字段有所不同。下面将从常见 DDL、DML、DCL 操作以及数据库连接与断开连接产生的审计日志进行内容解析。

DDL、DML 和 DCL

对于 DDL、DML 和 DCL 操作,所生成的审计日志格式是相同的。对于日志字段的具体含义详见如下。

  • RECORD ID:审计日志唯一 ID,用来标识每条审计日志。

  • STATUS:状态码,非 0 表示 ERROR。

  • NAME:操作命令分类,QUERY、EXECUTE、QUIT、CONNECT 等。

  • TIMESTAMP:记录日志发生的时间戳。

  • COMMAND_CLASS:记录 DDL、DML 和 DCL 操作的类型,SELECT、INSERT、DELETE 等。

  • SQLTEXT:执行 SQL 语句的内容。

  • USER:连接数据库的用户名。

  • HOST:连接数据库的主机名。

  • IP:连接数据库的客户端 IP 地址。

  • DATABASE:连接指定的数据库名。

Connect 和 Disconnect

连接或断开连接事件,在用户登录成功或登录失败时均会有日志记录。与 DDL 和 DDL 操作产生的审计日志不同,连接事件产生审计日志增加了 PRIV_USER、OS_LOGIN 等字段,下面对于连接或断开连接产生的审计日志进行解析。

  • RECORD ID: 审计日志唯一 ID,用来标识每条审计日志。

  • STATUS:状态码,非 0 表示 ERROR。

  • NAME: 操作命令分类,QUERY、EXECUTE、QUIT、CONNECT 等。

  • TIMESTAMP:记录日志发生的时间戳

  • USER:连接数据库的用户名。

  • PRIV_USER:经过身份验证的用户名。

  • OS_LOGIN:外部用户名。

  • PROXY_USER:代理用户名。

  • HOST:连接数据库的主机名。

  • IP:连接数据库的客户端 IP 地址。

  • DATABASE:连接指定的数据库名。

通过对审计日志内容的解析,用户不仅可以快速地查看任意时间段数据库的活动状态,还能够准确了解每条 SQL 语句的详情,包括执行的用户、时间戳、查询类型等关键信息。这样详细的记录为安全审查、问题排查以及性能优化提供了强有力的支撑。

4.RDS for MySQL 审计日志原理浅析

RDS for MySQL 审计功能的核心是通过不同类型的事件驱动审计日志插件完成对应类型日志的记录。在 RDS for MySQL 中一共支持两类事件,即一般事件和连接事件。一般事件可以理解为用户执行的 DDL、DML 和 DCL 语句。连接事件则是连接数据库(Connect)和断开连接(Disconnect)数据库。审计日志插件支持事件定义的相关代码如下。

static int is_event_class_allowed_by_policy(mysql_event_class_t event_class,num audit_log_policy_t policy) {  static unsigned int class_mask[] = {      /* ALL */      (1 << MYSQL_AUDIT_GENERAL_CLASS) | (1 << MYSQL_AUDIT_CONNECTION_CLASS),      0,                                   /* NONE */      (1 << MYSQL_AUDIT_CONNECTION_CLASS), /* LOGINS */      (1 << MYSQL_AUDIT_GENERAL_CLASS),    /* QUERIES */  };
return (class_mask[policy] & (1 << event_class)) != 0;}
复制代码

当发生可审计事件时,服务器会调用相关的审计接口,以便向已注册的审计日志插件传递该事件的信息,确保审计插件在必要时能够接收到并处理该事件。


审计日志功能在 RDS for MySQL 内核的入口函数是 mysql_audit_notify。通过对应事件驱动审计日志插件的工作。主要工作流程调用栈如下所示。

  do_command    ->dispatch_commnad        ->mysql_audit_notify            ->event_class_dispatch                  // 检查当前插件是否需要处理此事件                ->plugin_dispatch                    // 按事件类别下发审计任务                    ->audit_log_notify
复制代码

数据库内核在收到一条 SQL 的执行请求后,首先,会通过 do_command 函数处理该连接。处理完成后,由 dispatch_command 函数依据不同 SQL 类型进行命令分发。之后,审计入口函数 mysql_audit_notify 会完成审计日志记录前的准备和校验工作。如果校验通过,则后续工作会由已注册的审计日志插件中的其他函数完成。


通过函数调用栈可以看出,审计日志功能与数据库内核之间实现了高度解耦。二者通过预先注册的函数接口进行对接,这种设计提高了未来功能扩展的灵活性。


审计日志插件的校验和资源准备工作由 mysql_audit_acquire_plugins 函数完成,当该函数完成校验后,即审计日志插件已完成注册并且相关资源也已完成绑定,接下来将由 audit_log_notify 函数按照事件的类型和相关参数设定完成任务分发。audit_log_notify 会调用 audit_log_write 函数完成审计日志的写入,audit_log_write 会依据 audit_log_handler 变量的值来判断是写入审计日志文件还是系统日志。


若是写入日志文件中,此时还会判断日志的写入策略;如果 audit_log_strategy 是 PERFORMANCE 或 ASYNCHRONOUS,则会调用 audit_handle_file_write_buf 函数,将日志内容写入审计日志插件的缓冲区中,否则会调用 audit_handle_file_write_nobuf 函数,将日志内容直接写入操作系统文件缓存。


若 audit_log_handler 值为 SYSLOG,则意味着审计日志会直接写到系统日志中。那么则会通过调用 audit_handler_syslog_write 完成日志向系统日志的写入。审计日志内部函数调用流程如图所示。

图1 审计日志插件工作流程图

从图中可以看到,审计日志的落盘方式主要有两种,分别是通过文件系统完成日志落盘和利用审计日志刷盘线程不断地将缓冲区的日志写入磁盘中。审计日志的缓冲区是在审计日志插件初始化时完成相关资源的分配,其结构体如下:

struct audit_log_buffer {  // 缓冲区内容  char *buf;  // 缓冲区大小  size_t size;  // 写日志位置  size_t write_pos;  // 日志落盘位置  size_t flush_pos;  // 日志落盘工作线程  pthread_t flush_worker_thread;  // 缓冲区是否暂停  int stop;  // 缓冲区满是否丢弃该日志  int drop_if_full;  void *write_func_data;  audit_log_write_func write_func;  mysql_mutex_t mutex;  mysql_cond_t flushed_cond;  mysql_cond_t written_cond;  log_record_state_t state;};
复制代码

从审计日志缓冲区结构体可以看到,日志缓冲区主要通过日志写入函数和日志落盘线程完成其核心功能。


当日志需要写入缓冲区时,首先会比较日志的长度和缓冲区的大小。如果审计日志的长度大于日志缓冲区的大小,并且缓冲区满且选择不丢弃该日志时,审计日志的落盘线程暂停工作,并会绕过日志的缓冲区,直接写入文件缓冲区中。当审计日志长度小于日志缓冲区大小时,此时会将日志的内容拷贝到文件缓冲区中,并更新缓冲区 write_pos 等相关参数,等待日志落盘线程的工作。如果当前写入位置超过整个缓冲区大小的一半,则会立刻通知落盘线程,完成审计日志的落盘。


审计日志的落盘工作主要由日志落盘工作线程完成。如果日志缓冲区没有关闭并且缓冲区中还存在日志尚未落盘,则会循环调用日志落盘函数进行日志写入。

static void *audit_log_flush_worker(void *arg) {  audit_log_buffer_t *log = (audit_log_buffer_t *)arg;  // 线程初始化  my_thread_init();  // 如果日志缓冲区没有关闭并且当前还有日志未落盘  while (!(log->stop && log->flush_pos == log->write_pos)) {    // 进行日志的落盘工作    audit_log_flush(log);  }  // 关闭线程  my_thread_end();
return nullptr;}
复制代码

对于日志落盘函数,会通过循环判断 write_pos 和 flush_pos 是否相等,如果二者相等并且日志缓冲区没有停止工作,此时会等待 1 秒进入循环;如果二者不相等,说明缓冲区中有新的日志需要落盘。


此时,若 write_pos 大于缓冲区的大小,日志插件会把 flush_pos 后的所有日志进行落盘,并将当前日志的状态设为 LOG_RECORD_INCOMPLETE。若 write_pos 在缓冲区大小范围内,则会将该条日志完整写入审计日志文件中并将该日志状态设为 LOG_RECORD_COMPLETE。在完成日志落盘操作后,与缓冲区相关变量值会同步更新,并为下次日志落盘做好准备。

5.使用说明

1)数据库实例开启审计日志

登录管理控制台,在云数据库 RDS for MySQL 的“实例管理”页面,单击目标实例名称,进入基本信息页面。在左侧导航栏,点击“SQL 审计”,在“SQL 审计”右侧点击开启按钮,在弹框中点击“确定”,打开审计日志开关。

图2 设置审计日志功能

2)审计日志的下载

开启审计日志后,数据库的相关活动都会以日志的形式记录在 OBS 中,用户可以在控制台界面进行审计日志的下载。

图3 控制台界面下载审计日志

6.总结

RDS for MySQL 的审计日志功能在用户活动监控、权限变更追踪和性能优化等方面有着重要的作用。它不仅帮助企业提升数据库的整体安全性,满足日益严格的合规性要求,还在故障排查中提供有价值的信息。这一功能能够精确的记录用户的数据库操作,有助于识别潜在的安全威胁,并为性能瓶颈分析和优化提供详实的数据支持。


华为开发者空间,汇聚鸿蒙、昇腾、鲲鹏、GaussDB、欧拉等各项根技术的开发资源及工具,致力于为每位开发者提供一台云主机、一套开发工具及云上存储空间,让开发者基于华为根生态创新。

点击链接,免费领取您的专属云主机~

用户头像

提供全面深入的云计算技术干货 2020-07-14 加入

生于云,长于云,让开发者成为决定性力量

评论

发布
暂无评论
深度解读RDS for MySQL 审计日志功能和原理_MySQL_华为云开发者联盟_InfoQ写作社区