为什么这些 SQL 语句逻辑相同,性能却差异巨大?
在 MySQL 中,有很多看上去逻辑相同,但性能差异巨大的 SQL 语句。对这些语句使用不当的话,就会不经意导致整个数据库压力变大。本文选择了三个这样的案例。
案例一:条件字段函数操作
假设现在维护了一个交易系统,其中交易记录表 tradelog 包含交易流水号(tradeid)、交易员 id(operator)、交易时间(t_modified)等字段。建表语句如下:
目前的需求是,统计发生在所有年份中 7 月份的交易记录总数。可能会这样写 SQL 语句:
但这可能需要执行很久,因为如果对字段做了函数计算,就用不上索引了。为什么呢?

上面是 t_modified 索引示意图。如果 SQL 语句的条件是where t_modified='2018-7-1'
,引擎会按照绿色箭头的路线快速定位到结果。但如果要计算 month()函数,传入 7 这个数字,并不知道如何在树中查找。也就是说,对索引字段做函数操作,可能会破坏索引值的有序性,因此优化器就决定放弃走树搜索功能。
但优化器并不是要放弃使用这个索引。在该案例中,优化器可以选择遍历主键索引,也可以选择遍历 t_modified 索引,对比索引大小后会选择遍历 t_modified 索引。
用 explain 命令查看执行结果:

key=t_modified
,表示用上了索引;rows=100335
,已知测试数据共 10 万行,表示这条语句扫描了整个索引的所有值。
为了让优化器能按照预期用上 t_modified 索引的快速定位能力,需要把 SQL 语句改为基于字段本身的范围查询:
还有其他的情况,索引可能也会失效,比如:
select * from tradelog where id+1=10000
,失效;select * from tradelog where id=10000-1
,可以。
案例二:隐式类型转换
有一条 SQL 语句:
explain 结果显示这条语句需要走全表扫描,这是因为 tradeid 字段类型是 varchar(32),而输入的参数是整型,所以需要做类型转换。
那么,数据类型转换规则是什么?为什么有数据类型转换,就需要走全索引扫描?
来看一个简单的比较select "10">9
:
如果规则是将字符串转成数字,那么结果应该是 1;
如果规则是将数字转成字符串,那么结果应该是 0。
验证结果:

所以在 MySQL 中,字符串和数字做比较的话,规则是将字符串转成数字。
这时再看案例给出的语句,能发现对于优化器来说,语句等同于:
而根据案例一,这条语句会索引失效。
案例三:隐式字符编码转换
假设系统里还有另外一个表 trade_detail 用于记录交易的操作细节。为了便于分析,在表中插入一些数据:
这时,有一条 SQL 语句:
其 explain 结果:

第一行说明优化器会在 tradelog 找到id=2
的行,这个步骤用上了主键索引;第二行key=null
,说明没有用上 tradeid 索引,进行了全表扫描。
在该执行计划中,是从 tradelog 表取 tradeid 字段,再去 trade_detail 表里查询匹配字段,因此把 tradelog 称为驱动表,把 trade_detail 称为被驱动表,把 tradeid 称为关联字段。
该语句的执行流程:

首先根据 id 在 tradelog 表找到 L2 这一行;
从 L2 取出 tradeid 字段的值;
根据 tradeid 到 trade_detail 表查找条件匹配的行,这个过程是通过遍历主键索引的方式。
我们本来是希望在 trade_detail 表里用索引,但最终并没有。
究其原因,通常是因为两个表的字符集不同,一个是 utf8,一个是 utf8mb4,所以做表连接查询时用不上关联字段的索引。那么为什么字符集不同就用不上索引呢?
如果把流程的最后一步单独改成 SQL 语句,那就是:
其中,$L2.tradeid.value 的字符集是 utf8mb4。由于 utf8mb4 是 utf8 的超集,因此这两个类型的字符串作比较时,MySQL 内部会先把 utf8 字符串转换成 utf8mb4,再做比较,等同于:
CONVERT 在这里表示字符集转换。而这条语句就相当于案例一的堆索引字段做函数操作,优化器会放弃走树搜索。
此时可以看出,字符集不同只是条件,连接过程要求在被驱动表的索引字段上加函数操作,是直接导致对被驱动表做全表扫描的原因。
作为对比验证,换一下驱动表和被驱动表:
其 explain 结果:

从结果可以看出,当 trade_detail 变成驱动表,此时用上了被驱动表 tradelog 里的索引。
假设驱动表 trade_detail 里id=4
的行记为 R4,如果我们类似分析该语句的最后一步,其类似:
又由于有字符串转换,进一步的,该语句可以写为:
此时可以发现,函数是加在输入参数上的,这样是可以用上被驱动表的 tradeid 索引的。
理解了原理,如果想要优化语句:
有两种做法:
把 trade_detail 表上的 tradeid 字段的字符集也改成 utf8mb4;
如果不支持修改字符集,可以修改 SQL 语句为
最后总结:三个案例其实都想说明同一件事,就是对索引字段做函数操作,可能会破坏索引值的有序性,因此优化器会放弃走树搜索。
文章转载自:叁沐
评论