写点什么

Java 岗大厂面试百日冲刺 - 日积月累,每日三题【Day40】—

  • 2021 年 11 月 11 日
  • 本文字数:1633 字

    阅读完需:约 5 分钟




本栏目 Java 开发岗高频面试题主要出自以下各技术栈:Java基础知识集合容器并发编程JVMSpring全家桶MyBatis等ORMapping框架MySQL数据库Redis缓存RabbitMQ消息队列Linux操作技巧等。


面试题 1:有个需求需要快速删除 MySQL 表中一亿条数据,表中有 2 亿数据,能说一下你的思路么?


========================================================================


【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】
浏览器打开:qq.cn.hn/FTf 免费领取
复制代码


=====================================


我们知道 MySQL 删除数据的方式有多种比如DELETETRUNCATEDROP等,都属于物理删除,但在实际场景中,很多时候是不能直接用的。


比如咱们说的这张表中有2亿条数据,要删其中1亿条,以 InnoDB 引擎为例,直接加 WHERE 条件 DELETE 是不现实的,因为 DELETE 是一条一条删,要把操作记录到binlog日志(前提开启了binlog),删除少量数据还可以,删除 1 亿条会非常慢,并且不会释放出磁盘空间,还得用optimize或repair来压缩数据表来释放硬盘空间。如果字段内容多,IO 成本很高,CPU 各种过高,耗时更长,不可行。


如果我用 truncate 删数据,速度倒是很快,能直接释放磁盘空间,但这是全表数据删除,直接清空数据文件或分区磁盘空间,剩下不用删的 1 亿条又怎么办呢?


因此我们要根据实际情况入手,比如表中有2亿条数据,要删其中1亿条


  • 方法一:着急的话,可以临时使用逻辑删除,选一个字段或加一个字段如is_deleted,作为逻辑删除标志,然后通过该字段过滤后继续处理数据,等到夜深人静。。。

  • 方法二:可以新建一张表结构一致的表,把不用删除的数据导进去,然后 drop 原表,再把新表名称改为原表名称;这是一种比较常见的方式,要注意的是,如果索引较多或索引字段较大的话,记得先导数据,再加索引,别问我为什么。


我们简单看一下方法二的操作流程:


1、复制表+删除索引


create table new_T like T;


ALTER TABLE new_T DROP INDEX index_name1;


ALTER TABLE new_T DROP INDEX index_name2;


2、插入数据要分批插入,建议为 10w-50w 一次,根据你的 MySQL 服务器性能来定,可以按 ID 查询后插入,也可以 null as id 按新顺序插入。如:


insert into new_T (select null as id,col1,col2,col3 from T where id>500000 and id<=600000);


insert into new_T (select null as id,col1,col2,col3 from T where id>600000 and id<=700000);


...


3、drop 删除掉老表


drop table T;


4、重命名新表为 new_T


alter table new_T rename to T;





课间休息,又来秀一下来自咱们群里同学的搬砖工地,坐标:??


作者:if you




面试题 2:刚才你提到了逻辑删除,你是怎么看逻辑删除和物理删除的?


===============================================================================================


我理解物理删除指的将数据从磁盘中真实删除,而逻辑删除则是在代码层面的,多是将删除数据行的 is_deleted 字段置成 1,后续只操作 is_deleted=0 的那些未被删除的数据。


在严谨的开发环境中,实际上是没有删除这一说的。订单作废,用户禁用,优惠券作废都是状态的变化,而不应该让数据从磁盘消失。所以 SQL 里面 DELETE 在真实生产环境里都不应该出现,除 DBA 账号外的其他用户不应有 DELETE、TRUNCATE、DROP 权限,而只有 UPDATE 权限。


我还见过有单位将 MySQL 的 update 命令封装成删除命令的~~然后用户只能看到表中或视图中 is_deleted=0 的数据,好像是实现了权限隔离,其实就是闲的慌。


当然了,逻辑删除其实也是有问题的,逻辑删除的设计还会导致常用的unique key 失效;脏数据量大的时候研发人员可能会发现表中明明数据不多,但检索速度很慢,可能会误导研发人员的维护工作。





课间休息,来看一下来自咱们群里同学旅游拍摄的,坐标:日本


作者:胡巴




面试题 3:大型项目中,mysql 的主键需要全局唯一怎么办?


============================================================================================

评论

发布
暂无评论
Java岗大厂面试百日冲刺 - 日积月累,每日三题【Day40】—