分库分表
0 人感兴趣 · 59 次引用
- 最新
- 推荐
一口气搞懂分库分表 12 种分片算法,大厂都在用
本文是《ShardingSphere5.x分库分表原理与实战》系列的第五篇文章,我们一起梳理下ShardingSphere框架中的核心部分分片策略和分片算法,其内部针为我们提供了多种分片策略和分片算法,来应对不同的业务场景,本着拿来即用的原则。
![https://static001.geekbang.org/infoq/f7/f7a5adf83037216f5bb6ad2587f16f29.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/f7/f7a5adf83037216f5bb6ad2587f16f29.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
深入探索 Sharding JDBC:分库分表的利器
随着互联网应用的不断发展和用户量的不断增加,传统的数据库在应对高并发和大数据量的场景下面临着巨大的挑战。为了解决这一问题,分库分表成为了一个非常流行的方案。分库分表主流的技术包括MyCat和Sharding JDBC。
如何使用 Shardingsphere Proxy 分库分表
Apache Shardingsphere是一个用来分表分库的插件,它提供两种集成方式,一种是在代码层面做集成,shardingsphere jdbc,一种是通过中间件的方式来集成,这个就是本文要讲解的内容,Shardingsphere proxy。
![https://static001.geekbang.org/infoq/b9/b91879851bb41a5b2266b48cc98dd33b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/b9/b91879851bb41a5b2266b48cc98dd33b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
破局主键重复问题的坎坷路 | 京东物流技术团队
在这个燥热的夏天,又突然收到告警,分库分表的主键冲突了,这还能忍?不,坚决不能忍,必须解决掉!后面咱们慢慢道来是如何破局的,如何走了一条坎坷路……
![https://static001.geekbang.org/infoq/84/84e52f9a38e4de57af15e827635b31da.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/84/84e52f9a38e4de57af15e827635b31da.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
分库分表之拆分键设计 | 京东物流技术团队
当使用了多个数据库来提供服务时,最为关键的点是如何让每一个数据库比较均匀的承担压力,而不至于其中的某些数据库压力过大,某些数据库没什么压力。这其中的关键点之一就是拆分键的设计。
![https://static001.geekbang.org/infoq/c5/c5633cce28f393c060c4eb45e52eae93.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/c5/c5633cce28f393c060c4eb45e52eae93.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
sharding-jdbc 分库连接数优化 | 京东物流技术团队
本文介绍了分库分表的概念及优势,以及sharding-jdbc分库分表中间件,探究了sharding-jdbc的路由规则的执行流程
![https://static001.geekbang.org/infoq/f4/f4b2313fabb2273dccb89d076993286e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/f4/f4b2313fabb2273dccb89d076993286e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
![https://static001.geekbang.org/infoq/de/dee34b2bb440a832db2b55557a9cea46.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/de/dee34b2bb440a832db2b55557a9cea46.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
分而治之 -- 浅谈分库分表及实践之路 | 京东云技术团队
今天想聊一下分库分表,因为对于快速增长的业务来说,这个是无法回避的一环。之前我在做商城相关的SAAS系统,商品池是一个存储瓶颈,商品池数量会基于租户增长和运营变得指数级增长,短短几个月就能涨到几千万的数据,而运营半年后就可能过亿。
![https://static001.geekbang.org/infoq/92/920005eff4cc7e43ce8a2d6f2b778be6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/92/920005eff4cc7e43ce8a2d6f2b778be6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
再有人问你什么是分库分表,直接把这篇文章发给他
分库分表,是企业里面毕竟常见的针对高并发、数据量大的场景下的一种技术优化方案,也是一个非常高频的面试题。但是,因为很多人其实并没有非常丰富的分库分表的经验,所以能把这个问题回答的比较好的人其实还挺少的。
面试官:分库分表,真的有必要吗?
关于数据库分库分表的面试题已经是烂大街了,面经小册各路神仙的经验分享也是不绝于耳。当然现有的技术解决方案已经是很成熟了。
DBPack 数据库限流熔断功能发布说明
在 v0.4.0 版本,我们加入了限流熔断功能,该功能能保护数据库不受到超过自身处理能力的请求流量冲击。在 v0.5.0 版本中,我们将加入分库分表功能。欢迎开源爱好者和我们一起建设 DBPack 社区,加群或参与社区建设,请微信联系:scottlewis。
DBPack SQL Tracing 功能及数据加密功能详解
在 v0.1.0 版本我们发布了分布式事务功能,支持各种编程语言协调分布式事务。在 v0.2.0 版本我们发布了读写分离功能,用户在开启读写分离功能的情况下,使用分布式事务协调功能不再需要做复杂的集成,DBPack 提供了一站式的解决方案。
DBPack 读写分离功能发布公告
本次发布的 v0.2.0 版本可解决用户的分布式事务需求和读写分离需求,两个功能可以结合使用,无需侵入用户业务,体验非常丝滑。 欢迎开源爱好者和我们一起建设 DBPack 社区,加群或参与社区建设,请微信联系:scottlewis。
![https://static001.geekbang.org/infoq/76/76614ef5d964c5c95188f0a85e3c35e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/76/76614ef5d964c5c95188f0a85e3c35e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
聊聊 Sharding-Jdbc 使用原理之分库分表下的分页方案
前面在聊 Sharding-Jdbc 的时候看到了一篇文章,关于一个分页的查询,一直比较直接的想法就是分库分表下的分页是非常不合理的,一般我们的实操方案都是分表加上 ES 搜索做分页,或者通过合表读写分离的方案,因为对于 sharding-jdbc 如果没有带分表键,查询基
![https://static001.geekbang.org/infoq/76/76614ef5d964c5c95188f0a85e3c35e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/76/76614ef5d964c5c95188f0a85e3c35e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
聊聊 Sharding-Jdbc 的原理 - 初篇
在上一篇 sharding-jdbc 的介绍中其实碰到过一个问题,这里也引出了一个比较有意思的话题就是我在执行 query 的时候犯过一个比较难发现的错误,
![https://static001.geekbang.org/infoq/76/76614ef5d964c5c95188f0a85e3c35e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/76/76614ef5d964c5c95188f0a85e3c35e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
聊聊 Sharding-Jdbc 的简单使用
我们在日常工作中还是使用比较多的分库分表组件的,其中比较优秀的就有 Sharding-Jdbc,一开始由当当开源,后来捐献给了 Apache,说一下简单使用,因为原来经常的使用都是基于 xml 跟 properties 组合起来使用,这里主要试下用 Java Config 来配置首先是通过
![https://static001.geekbang.org/infoq/5d/5dbbecaadf185bbe5a253745442e3eac.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234](https://static001.geekbang.org/infoq/5d/5dbbecaadf185bbe5a253745442e3eac.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234)
中国电子云数据库 Mesh 项目 DBPack 的实践
该项目的诞生,旨在解决用户上云过程中面临的一些技术难点,诸如分布式事务、分库分表等。由于它数据库 Mesh 的定位,意味着它可以支持任意微服务编程语言。它的性能相比采用 MYSQL 存储的分布式事务解决方案 seata-golang 性能提高了百分之 50。