写点什么

应用开发中的存储架构进化史——从起步到起飞

用户头像
云流
关注
发布于: 刚刚

1、单库

最简单的初始架构,适用于千万级以下的数据,并发量低的场景。

  • 单库、单表

  • 或单库、多个分表:之所以分表是为了给后续分库做预留准备

2、分库分表、读写分离

最常见的存储架构,适用于十亿级别以下的数据(单表控制在千万级别或以下),并发量较大、主备高可用的场景。

  • 分库分表:对业务 id(如用户 id、商户 id)取模,散列到各个分库的分表中

  • 读写分离:适用于读多写少的场景,利用数据库一主多从的方式,提高并发量,对主库读写,对从库只读

此时还需要分片中间件来实现对分库分表的读写分离访问,有 2 种类型:

  • client 侧分片:较为常见,以 jar 包库的方式内嵌在服务中,需要与所有的数据库实例,各自建立和维护连接池,性能好

  • proxy 侧分片:proxy 是一个数据库访问中间层服务,应用与 proxy 建立少量连接,proxy 与所有的数据库实例建立连接,优点是对应用开发简单透明,缺点是有性能损耗、需要专门的团队维护

client 侧分片


proxy 侧分片


3、引入缓存

高并发标配,当 QPS 高到只靠 mysql 扛不住流量时引入,适用于高并发、流量尖峰的场景

  • 本地缓存(堆内缓存、或堆外缓存):如 caffeine、ehcache、guava 等

  • 分布式缓存:如 Redis 集群

缓存查询:先查本地缓存,如果查不到再查 Redis 并写入本地缓存和 Redis,如果 Redis 也查不到再查数据库并写入本地缓存和 Redis 缓存更新:数据库更新后,触发变更消息,通过消息驱动更新 Redis


4、冷热数据分离

引入多级存储,保证热数据量可控、读写迅速,冷数据全量储存,适用于数据量巨大、增长迅速,且分库分表已经不能解决的场景。

  • MySQL 热数据:优先读写 mysql,预期能覆盖绝大部分 QPS

  • Hbase 冷数据:从 mysql 查询不到数据时,才查询 hbase,hbase 可支持海量数据的存储和查询,预期只有少量 QPS

  • 归档:定期把数据从 mysql 归档至 hbase,mysql 只保留最新的热数据,hbase 存储全量数据


5、引入搜索引擎、离线查询

适用于复杂条件的查询、或对运营类统计有需求的场景,此时 mysql 索引已不能满足高效查询,且会影响在线业务。

  • 引入 ElasticSearch:可支持各种条件的灵活查询,再也不用担心 mysql 因为缺少合适索引而造成慢查询的问题了

  • 大数据分析:引入 hive 数仓做离线查询,需要把 mysql 的数据同步至 hive

最终架构图

从单库,逐步演化成各种存储紧密配合,满足不同的需求和场景。切勿为了架构而架构,选择适合自己的、能解决实际问题的架构,才最重要。


来源:https://www.toutiao.com/a7012475908627972619/?log_from=fc5815566bf5c_1632724857086

用户头像

云流

关注

还未添加个人签名 2020.09.02 加入

还未添加个人简介

评论

发布
暂无评论
应用开发中的存储架构进化史——从起步到起飞