写点什么

MySQL 踩坑笔记,加了唯一索引还会出现重复数据?

作者:Java你猿哥
  • 2023-05-31
    湖南
  • 本文字数:2618 字

    阅读完需:约 9 分钟

还原问题

表结构如下:

-- 表格式CREATE TABLE `student_course` (  `id` bigint NOT NULL,  `student_id` bigint NOT NULL,  `course_id` bigint NOT NULL,  `xxx_id` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL,  PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
-- 为了保证数据的唯一性,建了唯一索引:alter table student_course add unique index ux_student_conrse_xxx(student_id,course_id,xxx_id);
复制代码

第二天查看数据,发现该表中竟然产生了重复的数据:

从上图中看出,mysql 的唯一性约束生效了,重复数据被拦截了。


接下来,我们再插入两条 xxx_id 为 null 的数据,其中第三条数据跟第二条数据中 student_id、course_id 和 xxx_id 字段值都一样.


从图中看出,竟然执行成功了。

换句话说,如果唯一索引的字段中,出现了 null 值,则唯一性约束不会生效。

最终插入的数据情况是这样的:

  1. 当 xxx_id 字段不为空时,不会产生重复的数据。

  2. 当 xxx_id 字段为空时,会生成重复的数据。

我们需要特别注意:创建唯一索引的字段,都不能允许为 null,否则 mysql 的唯一性约束可能会失效。

逻辑删除表加唯一索引

我们都知道唯一索引非常简单好用,但有时候,在表中它并不好加。不信,我们一起往下看。通常情况下,要删除表的某条记录的话,如果用 delete 语句操作的话。例如:

delete from product where id=123;
复制代码

这种 delete 操作是物理删除,即该记录被删除之后,后续通过 sql 语句基本查不出来。(不过通过其他技术手段可以找回,那是后话了)还有另外一种是逻辑删除,主要是通过 update 语句操作的。例如:

update product set delete_status=1,edit_time=now(3) where id=123;
复制代码


逻辑删除需要在表中额外增加一个删除状态字段,用于记录数据是否被删除。在所有的业务查询的地方,都需要过滤掉已经删除的数据。通过这种方式删除数据之后,数据任然还在表中,只是从逻辑上过滤了删除状态的数据而已。

其实对于这种逻辑删除的表,是没法加唯一索引的。为什么呢?

假设之前给商品表中的 name 和 model 加了唯一索引,如果用户把某条记录删除了,delete_status 设置成 1 了。后来,该用户发现不对,又重新添加了一模一样的商品。由于唯一索引的存在,该用户第二次添加商品会失败,即使该商品已经被删除了,也没法再添加了。这个问题显然有点严重。

有人可能会说:把 name、model 和 delete_status 三个字段同时做成唯一索引不就行了?

答:这样做确实可以解决用户逻辑删除了某个商品,后来又重新添加相同的商品时,添加不了的问题。但如果第二次添加的商品,又被删除了。该用户第三次添加相同的商品,不也出现问题了?由此可见,如果表中有逻辑删除功能,是不方便创建唯一索引的。但如果真的想给包含逻辑删除的表,增加唯一索引,该怎么办呢?


删除状态+1

通过前面知道,如果表中有逻辑删除功能,是不方便创建唯一索引的。其根本原因是,记录被删除之后,delete_status 会被设置成 1,默认是 0。相同的记录第二次删除的时候,delete_status 被设置成 1,但由于创建了唯一索引(把 name、model 和 delete_status 三个字段同时做成唯一索引),数据库中已存在 delete_status 为 1 的记录,所以这次会操作失败。

我们为啥不换一种思考:不要纠结于 delete_status 为 1,表示删除,当 delete_status 为 1、2、3 等等,只要大于 1 都表示删除。这样的话,每次删除都获取那条相同记录的最大删除状态,然后加 1。这样数据操作过程变成:

添加记录a,delete_status=0。删除记录a,delete_status=1。添加记录a,delete_status=0。删除记录a,delete_status=2。添加记录a,delete_status=0。删除记录a,delete_status=3。
复制代码

由于记录 a,每次删除时,delete_status 都不一样,所以可以保证唯一性。该方案的优点是:不用调整字段,非常简单和直接。缺点是:可能需要修改 sql 逻辑,特别是有些查询 sql 语句,有些使用 delete_status=1 判断删除状态的,需要改成 delete_status>=1。

增加时间戳字段

导致逻辑删除表,不好加唯一索引最根本的地方在逻辑删除那里。我们为什么不加个字段,专门处理逻辑删除的功能呢?

答:可以增加时间戳字段。

把 name、model、delete_status 和 timeStamp,四个字段同时做成唯一索引在添加数据时,timeStamp 字段写入默认值 1。

然后一旦有逻辑删除操作,则自动往该字段写入时间戳。这样即使是同一条记录,逻辑删除多次,每次生成的时间戳也不一样,也能保证数据的唯一性。

时间戳一般精确到秒。除非在那种极限并发的场景下,对同一条记录,两次不同的逻辑删除操作,产生了相同的时间戳。这时可以将时间戳精确到毫秒。

该方案的优点是:可以在不改变已有代码逻辑的基础上,通过增加新字段实现了数据的唯一性。缺点是:在极限的情况下,可能还是会产生重复数据。

增加 id 字段

其实,增加时间戳字段基本可以解决问题。但在在极限的情况下,可能还是会产生重复数据。有没有办法解决这个问题呢?

答:增加主键字段:delete_id。

该方案的思路跟增加时间戳字段一致,即在添加数据时给 delete_id 设置默认值 1,然后在逻辑删除时,给 delete_id 赋值成当前记录的主键 id。

把 name、model、delete_status 和 delete_id,四个字段同时做成唯一索引。这可能是最优方案,无需修改已有删除逻辑,也能保证数据的唯一性。

重复历史数据如何加唯一索引?

前面聊过如果表中有逻辑删除功能,不太好加唯一索引,但通过文中介绍的三种方案,可以顺利的加上唯一索引。但来自灵魂的一问:如果某张表中,已存在历史重复数据,该如何加索引呢?最简单的做法是,增加一张防重表,然后把数据初始化进去。

可以写一条类似这样的 SQL:

insert into product_unqiue(id,name,category_id,unit_id,model)select max(id), select name,category_id,unit_id,model from productgroup by name,category_id,unit_id,model;
复制代码

这样做可以是可以,但今天的主题是直接在原表中加唯一索引,不用防重表。那么,这个唯一索引该怎么加呢?其实可以借鉴上一节中,增加 id 字段的思路。增加一个 delete_id 字段。不过在给 product 表创建唯一索引之前,先要做数据处理。获取相同记录的最大 id:

select max(id), select name,category_id,unit_id,model from productgroup by name,category_id,unit_id,model;
复制代码

然后将 delete_id 字段设置成 1。然后将其他的相同记录的 delete_id 字段,设置成当前的主键。这样就能区分历史的重复数据了。当所有的 delete_id 字段都设置了值之后,就能给 name、model、delete_status 和 delete_id,四个字段加唯一索引了。完美。


用户头像

Java你猿哥

关注

一只在编程路上渐行渐远的程序猿 2023-03-09 加入

关注我,了解更多Java、架构、Spring等知识

评论

发布
暂无评论
MySQL踩坑笔记,加了唯一索引还会出现重复数据?_Java_Java你猿哥_InfoQ写作社区