写点什么

分库分表

0 人感兴趣 · 61 次引用

  • 最新
  • 推荐

如何迁移分库分表中的数据?

前面发过一篇分库分表的文章,展示了批量变更分库分表的方法(详见《如何通过一条 SQL 变更多个分库分表》),这次我们再来聊另一个分库分表相关的话题:如何迁移多个分库分表的数据到其他分库分表,或者将多个分库分表聚合到一个表中。

https://static001.geekbang.org/infoq/51/5112c4ab98a5340387602647ec5b2d6a.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分库分表核心理念

本文深入探讨了分库分表的策略、算法和实践,包括何时分库分表、横向与纵向拆分、分表算法、全局ID生成及迁移方案。

https://static001.geekbang.org/infoq/e7/e757fa1ab5754e6bb750344c8a2d47b4.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据库怎么分库分表?面试的时候这么说,加分!

下面介绍的是循序渐进的思路,面试的时候建议说下技术演进方案的思考:下面提到这些都有考虑到,最终结合你们的场景和需求,选择了最后这种方式,表述清楚设计和思考的过程。

一口气搞懂分库分表 12 种分片算法,大厂都在用

本文是《ShardingSphere5.x分库分表原理与实战》系列的第五篇文章,我们一起梳理下ShardingSphere框架中的核心部分分片策略和分片算法,其内部针为我们提供了多种分片策略和分片算法,来应对不同的业务场景,本着拿来即用的原则。

深入探索 Sharding JDBC:分库分表的利器

用户头像
高端章鱼哥
2023-10-20

随着互联网应用的不断发展和用户量的不断增加,传统的数据库在应对高并发和大数据量的场景下面临着巨大的挑战。为了解决这一问题,分库分表成为了一个非常流行的方案。分库分表主流的技术包括MyCat和Sharding JDBC。

如何使用 Shardingsphere Proxy 分库分表

用户头像
Kevin_913
2023-10-06

Apache Shardingsphere是一个用来分表分库的插件,它提供两种集成方式,一种是在代码层面做集成,shardingsphere jdbc,一种是通过中间件的方式来集成,这个就是本文要讲解的内容,Shardingsphere proxy。

https://static001.geekbang.org/infoq/b9/b91879851bb41a5b2266b48cc98dd33b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

破局主键重复问题的坎坷路 | 京东物流技术团队

在这个燥热的夏天,又突然收到告警,分库分表的主键冲突了,这还能忍?不,坚决不能忍,必须解决掉!后面咱们慢慢道来是如何破局的,如何走了一条坎坷路……

https://static001.geekbang.org/infoq/84/84e52f9a38e4de57af15e827635b31da.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分库分表之拆分键设计 | 京东物流技术团队

当使用了多个数据库来提供服务时,最为关键的点是如何让每一个数据库比较均匀的承担压力,而不至于其中的某些数据库压力过大,某些数据库没什么压力。这其中的关键点之一就是拆分键的设计。

https://static001.geekbang.org/infoq/c5/c5633cce28f393c060c4eb45e52eae93.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

sharding-jdbc 分库连接数优化 | 京东物流技术团队

本文介绍了分库分表的概念及优势,以及sharding-jdbc分库分表中间件,探究了sharding-jdbc的路由规则的执行流程

https://static001.geekbang.org/infoq/de/dee34b2bb440a832db2b55557a9cea46.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分而治之 -- 浅谈分库分表及实践之路 | 京东云技术团队

今天想聊一下分库分表,因为对于快速增长的业务来说,这个是无法回避的一环。之前我在做商城相关的SAAS系统,商品池是一个存储瓶颈,商品池数量会基于租户增长和运营变得指数级增长,短短几个月就能涨到几千万的数据,而运营半年后就可能过亿。

分库分表的 21 条法则,hold 住!

用户头像
小小怪下士
2023-05-15

不着急实战,咱们先介绍下在分库分表架构实施过程中,会接触到的一些通用概念,了解这些概念能够帮助理解市面上其他的分库分表工具,尽管它们的实现方法可能存在差异,但整体思路基本一致。因此,在开始实际操作之前,我们有必要先掌握这些通用概念,以便更好

再有人问你什么是分库分表,直接把这篇文章发给他

分库分表,是企业里面毕竟常见的针对高并发、数据量大的场景下的一种技术优化方案,也是一个非常高频的面试题。但是,因为很多人其实并没有非常丰富的分库分表的经验,所以能把这个问题回答的比较好的人其实还挺少的。

面试官:分库分表,真的有必要吗?

关于数据库分库分表的面试题已经是烂大街了,面经小册各路神仙的经验分享也是不绝于耳。当然现有的技术解决方案已经是很成熟了。

https://static001.geekbang.org/infoq/42/42218a16adceba48b5793037d16b769c.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

15 个 高并发系统设计 锦囊帮助你设计高并发!

大家好。 记得很久之前,去面试过字节跳动。被三面的面试官问了一道场景设计题目:如何设计一个高并发系统。当时我回答得比较粗糙,最近回想起来,所以整理了设计高并发系统的15个锦囊,相信大家看完会有帮助的。

DBPack 数据库限流熔断功能发布说明

用户头像
峨嵋闲散人
2022-08-16

在 v0.4.0 版本,我们加入了限流熔断功能,该功能能保护数据库不受到超过自身处理能力的请求流量冲击。在 v0.5.0 版本中,我们将加入分库分表功能。欢迎开源爱好者和我们一起建设 DBPack 社区,加群或参与社区建设,请微信联系:scottlewis。

DBPack SQL Tracing 功能及数据加密功能详解

用户头像
峨嵋闲散人
2022-08-01

在 v0.1.0 版本我们发布了分布式事务功能,支持各种编程语言协调分布式事务。在 v0.2.0 版本我们发布了读写分离功能,用户在开启读写分离功能的情况下,使用分布式事务协调功能不再需要做复杂的集成,DBPack 提供了一站式的解决方案。

DBPack 读写分离功能发布公告

用户头像
峨嵋闲散人
2022-07-15

本次发布的 v0.2.0 版本可解决用户的分布式事务需求和读写分离需求,两个功能可以结合使用,无需侵入用户业务,体验非常丝滑。 欢迎开源爱好者和我们一起建设 DBPack 社区,加群或参与社区建设,请微信联系:scottlewis。

https://static001.geekbang.org/infoq/8e/8ea6e9661d999aebe1649d1f6285b345.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

使用强大的 DBPack 处理分布式事务(PHP 使用教程)

用户头像
峨嵋闲散人
2022-07-01

Seata和Seata-golang,其缺点是支持的语言比较单一。为了突破AT事务对业务编程语言的限制,现在业界正在往DB Mesh的方向发展,通过将事务中间件部署在SideCar的方式,达到任何编程语言都能使用分布式事务中间件的效果。

https://static001.geekbang.org/infoq/1c/1c3d63ce01b0d44cff2b6fbf8de2a780.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

DBPack 赋能 python 微服务协调分布式事务

用户头像
峨嵋闲散人
2022-07-01

DBPack 的分布式事务致力于实现对用户的业务无入侵,使用时下流行的sidecar架构,主要使用 ETCD Watch 机制来驱动分布式事务提交回滚,它对 HTTP 流量和 MYSQL 流量做了拦截代理,支持 AT 模式(自动补偿 SQL)和 TCC 模式(自动补偿 HTTP 请求)。

https://static001.geekbang.org/infoq/76/76614ef5d964c5c95188f0a85e3c35e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

聊聊 Sharding-Jdbc 使用原理之分库分表下的分页方案

用户头像
Nick
2022-06-03

前面在聊 Sharding-Jdbc 的时候看到了一篇文章,关于一个分页的查询,一直比较直接的想法就是分库分表下的分页是非常不合理的,一般我们的实操方案都是分表加上 ES 搜索做分页,或者通过合表读写分离的方案,因为对于 sharding-jdbc 如果没有带分表键,查询基

https://static001.geekbang.org/infoq/76/76614ef5d964c5c95188f0a85e3c35e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

聊聊 Sharding-Jdbc 的原理 - 初篇

用户头像
Nick
2022-06-02

在上一篇 sharding-jdbc 的介绍中其实碰到过一个问题,这里也引出了一个比较有意思的话题就是我在执行 query 的时候犯过一个比较难发现的错误,

https://static001.geekbang.org/infoq/ad/ad3f43d7b5e844f2c8db2f0453cf40e7.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

最强分布式事务框架是怎么炼成的?

用户头像
峨嵋闲散人
2022-06-02

hptx 是当前性能最强的云原生、无侵入分布式事务解决方案,选择其他内存型存储组件理论上可以得到更高的性能,但综合可靠性和性能,ETCD 是目前最好的选择。

https://static001.geekbang.org/infoq/76/76614ef5d964c5c95188f0a85e3c35e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

聊聊 Sharding-Jdbc 的简单使用

用户头像
Nick
2022-06-01

我们在日常工作中还是使用比较多的分库分表组件的,其中比较优秀的就有 Sharding-Jdbc,一开始由当当开源,后来捐献给了 Apache,说一下简单使用,因为原来经常的使用都是基于 xml 跟 properties 组合起来使用,这里主要试下用 Java Config 来配置首先是通过

分库分表_分库分表技术文章_InfoQ写作社区