MySQL 探秘 (二)：SQL 语句执行过程详解

备注:公众号原名张狗蛋的技术之路，现已改名为程序员历小冰

昔日庖丁解牛，未见全牛，所赖者是其对牛内部骨架结构的了解，对于 MySQL 亦是如此，只有更加全面地了解 SQL 语句执行的每个过程，才能更好的进行 SQL 的设计和优化。 

当希望 MySQL 能够以更高的性能运行查询时，最好的办法就是弄清楚 MySQL 是如何优化和执行查询的。一旦理解了这一点，很多查询优化工作实际上就是遵循一些原则能够按照预想的合理的方式运行。 

如下图所示，当向 MySQL 发送一个请求的时候，MySQL 到底做了什么：

1. 客户端发送一条查询给服务器。

2. 服务器先检查查询缓存，如果命中了缓存，则立刻返回存储在缓存中的结果。否则进入下一阶段。

3. 服务器端进行 SQL 解析、预处理，再由优化器生成对应的执行计划。

4. MySQL 根据优化器生成的执行计划，再调用存储引擎的 API 来执行查询。

5. 将结果返回给客户端。

查询缓存

 MySQL 查询缓存保存查询返回的完整结构。当查询命中该缓存时，MySQL 会立刻返回结果，跳过了解析、优化和执行阶段。 

查询缓存系统会跟踪查询中涉及的每个表，如果这些表发生了变化，那么和这个表相关的所有缓存数据都将失效。 

MySQL 将缓存存放在一个引用表中，通过一个哈希值引用，这个哈希值包括了以下因素，即查询本身、当前要查询的数据库、客户端协议的版本等一些其他可能影响返回结果的信息。 

当判断缓存是否命中时，MySQL 不会进行解析查询语句，而是直接使用 SQL 语句和客户端发送过来的其他原始信息。所以，任何字符上的不同，例如空格、注解等都会导致缓存的不命中。 

当查询语句中有一些不确定的数据时，则不会被缓存。例如包含函数 NOW()或者 CURRENT_DATE()的查询不会缓存。包含任何用户自定义函数，存储函数，用户变量，临时表，mysql 数据库中的系统表或者包含任何列级别权限的表，都不会被缓存。 

有一点需要注意，MySQL 并不是会因为查询中包含一个不确定的函数而不检查查询缓存，因为检查查询缓存之前，MySQL 不会解析查询语句，所以也无法知道语句中是否有不确定的函数。 

事实则是，如果查询语句中包含任何的不确定的函数，那么其查询结果不会被缓存，因为查询缓存中也无法找到对应的缓存结果。 有关查询缓存的配置如下所示。

• query_cache_type:是否打开查询缓存。可以设置为 OFF、ON 和 DEMAND。DEMAND 表示只有在查询语句中明确写明 SQL_CACHE 的语句才会放入查询缓存。

• query_cache_size:查询缓存使用的总内存空间。

• query_cache_min_res_unit:在查询缓存中分配内存块时的最小单元。较小的该值可以减少碎片导致的内存空间浪费，但是会导致更频繁的内存块操作。

• query_cache_limit:MySQL 能够查询的最大查询结果。如果查询结果大于这个值，则不会被缓存。因为查询缓存在数据生成的时候就开始尝试缓存数据，所以当结果全部返回后，MySQL 才知道查询结果是否超出限制。超出之后，才会将结果从查询缓存中删除。

 对查询缓存的优化是数据库性能优化的重要一环。判断流程大致如下图所示。

 缓存命中率可以通过如下公式计算：Qcache_hits/(Qcache_hits + Com_select)来计算。

解析和预处理

  解析器通过关键字将 SQL 语句进行解析，并生成对应的解析树。MySQL 解析器将使用 MySQL 语法规则验证和解析查询。 

预处理器则根据一些 MySQL 规则进行进一步检查解析书是否合法，例如检查数据表和数据列是否存在，还会解析名字和别名，看看它们是否有歧义。

查询优化器

 查询优化器会将解析树转化成执行计划。一条查询可以有多种执行方法，最后都是返回相同结果。优化器的作用就是找到这其中最好的执行计划。 

生成执行计划的过程会消耗较多的时间，特别是存在许多可选的执行计划时。如果在一条 SQL 语句执行的过程中将该语句对应的最终执行计划进行缓存，当相似的语句再次被输入服务器时，就可以直接使用已缓存的执行计划，从而跳过 SQL 语句生成执行计划的整个过程，进而可以提高语句的执行速度。

 MySQL 使用基于成本的查询优化器(Cost-Based Optimizer，CBO)。它会尝试预测一个查询使用某种执行计划时的成本，并选择其中成本最少的一个。 

优化器会根据优化规则对关系表达式进行转换，这里的转换是说一个关系表达式经过优化规则后会生成另外一个关系表达式，同时原有表达式也会保留，经过一系列转换后会生成多个执行计划，然后 CBO 会根据统计信息和代价模型(Cost Model)计算每个执行计划的 Cost，从中挑选 Cost 最小的执行计划。由上可知，CBO 中有两个依赖：统计信息和代价模型。统计信息的准确与否、代价模型的合理与否都会影响 CBO 选择最优计划。 有关优化器的原理十分复杂，这里就不进行详细讲解了，大家可以自行学习。

查询执行引擎

 在解析和优化阶段，MySQL 将生成查询对应的执行计划，MySQL 的查询执行引擎根据这个执行计划来完成整个查询。这里执行计划是一个数据结构，而不是和其他的关系型数据库那样生成对应的字节码。

返回结果给客户端

 如果查询可以被缓存，那么 MySQL 在这个阶段页会将结果存放到查询缓存中。 MySQL 将结果集返回给客户端是一个增量、逐步返回的过程。在查询生成第一条结果时，MySQL 就可以开始向客户端逐步返回结果集了。

备注:公众号原名张狗蛋的技术之路，现已改名为程序员历小冰