数据分片
0 人感兴趣 · 9 次引用
- 最新
- 推荐
国际财务系统基于 ShardingSphere 的数据分片和一主多从实践
传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。
Clickhouse 表引擎探究 -ReplacingMergeTree
MergeTree 系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。
基于 Spring-AOP 的自定义分片工具
随着数据量的增长，发现系统在与其他系统交互时，批量接口会出现超时现象，发现原批量接口在实现时，没有做分片处理，当数据过大时或超过其他系统阈值时会出现错误。由于与其他系统交互较多，一个个接口做分片优化改动量较大，所以考虑通过AOP解决此问题。
深入了解 Spring 之 Spring Batch 框架
spring batch是spring提供的一个数据处理框架，其功能包括记录/跟踪，事务管理，作业统计，作业重启，跳过和资源管理等。它还提供了更高级的技术服务和功能，通过优化和分区技术实现极高容量和高性能的批处理作业。
