写点什么

有了这个数据强一致“利器”,DBA 们轻松修复数据对加班“say no”

发布于: 2021 年 04 月 13 日

​​​​​​​​​​​​摘要: 不想加班修复数据?强一致的华为云数据库 GaussDB(for Cassandra)来了……


本文分享自华为云社区《HDC.Cloud2021|华为云GaussDB让开发者们不再加班修复数据》,原文作者:心机胖。


众所周知,智能时代的来临正是因为开发者们用一行行代码铸就了千行百业向上、向前的阶梯。大到从 2G 至 5G 的突破,小到每个技术的由点到面的攻克,每个突破都会成为行业里最新的利器,比如在数据库领域,DBA 们苦 Cassandra“数据不一致”久矣:


一致性级别设为 local quorum,查询某个分区键的条数,每次查询,条数都不一样。


按这个分区键的 token 修复,直接瞬间修复结束。但是再查,还是每次查询条数不一致。


之前遇到墓碑丢失的问题,单个 token 查询结果不一致,修复也解决不了

…..


如今,强一致的华为云数据库 GaussDB(for Cassandra)来了,DBA 和开发者们再也不用加班修复数据了。


GaussDB(for Cassandra)是一款基于华为自主研发的存算分离架构的分布式云数据库。它是一个强一致性系统,架构基于华为内部强大且广泛使用的自研分布式存储系统 DFV,充分发挥了云开源的弹性伸缩、资源共享的优势,它高度兼容 Cassandra 协议,拥有超强写入性能,同时具有分钟级节点扩容、数据强一致等优势,性能更强,数据更可靠,扩容更敏捷。整体性能是开源自建 2~3 倍。



​开源 Cassandra 为何不能实现数据强一致?


众所周知,开源 Cassandra 使用 CAP 模型中的 AP 放弃了强一致是个既定事实。以开源 Cassandra 一致性读场景为例:假如你在图书馆的某一排书架上想借阅一本书,假设书架上书本只有新旧之分,本来你想借阅新入馆的书本,但规则是就近取书,这意味着你拿到的可能不是最新的书本;如果读一致性要求为 QUORUM(即读取任一数据中心中 quorum 数量的节点的结果,返回合并后 timestamp 最新的结果),则内核会自动触发读修复,然后返回给客户端,也就是图书管理员帮你对比新旧之后取到了最新的书本,假如此时有副本所在节点出现坏盘,且在一定的周期内没有完成数据修复,那么在业务查询时,查到的数据会不准确。

GaussDB(for Cassandra)如何实现数据强一致?


GaussDB(for Cassandra)则采用存算分离架构来攻克数据不一致的难关,数据的副本一致性由 DFV 存储平台来保证,对计算节点来说数据单副本、数据强一致,查询命令下发后,协调节点直接从数据节点取数据即可完成。另外支持 N-1 个节点故障容忍,在系统故障重构或备份恢复时,GaussDB(forCassandra)能提供 10 倍于开源 Cassandra 的性能。

GaussDB(for Cassandra)有哪些使用价值?


1、在工业制造 &气象业,支持 PB 级数据量,实时精准预测天气


随着科技进步,采集的气象数据指数增长,GaussDB(for Cassandra)可以应对降雨量、湿度、温度等 PB 级的数据量,支持高并发写入读取;还可以为气象算法、天气预报做到实时在线精准分析;进行离线数据分析时,可以实现分析时长缩短 60%。



2、在互联网领域,支持用户画像、推荐系统,打造更好的用户体验平台


GaussDB(for Cassandra)具备高并发写入性能和高可扩展性,可保障业务的高可用和稳定性。例如:存放用户画像数据场景,可完美解决数据量大、数据结构 Scheme 频繁变更等场景;推荐系统中,可分析用户最近的浏览数据,然后推荐相关资源。


3、支持实时数据分析、离线分析,离线分析时长缩短 60%,效率大幅提升


GaussDB(for Cassandra)提供 Stream 功能,能对数据的变更做实时在线分析,还可以实现秒级的实时响应,这都是开源 Cassandra 所不具备的能力。比如某店铺有新用户注册了会员,系统自动向该会员推送商品优惠活动。此外,由于离线分析时长缩短 60%,也为商家争取了更多的决策时间。


Stream 功能支撑实时分析原理图

华为云 GaussDB(for Cassandra)正是依托于存算分离架构,才保证了查询准确率、规避了数据不一致修复数据造成的人力成本,才使得 GaussDB(for Cassandra)在制造业、物流、医疗保健、房地产、能源生产、农业等领域非常受欢迎,因此,DBA 们无需忧心数据修复、数据丢失等问题只需探索专业领域里的星辰大海。

 

作为华为 ICT 基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于 2021 年 4 月 24 日-26 日在深圳举行。本届大会以 #每一个开发者都了不起 #为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新 ICT 技术在行业的深度创新和应用。智能时代,每一个开发者都在创造一往无前的奔腾时代。世界有你,了不起!



点击了解大会详细信息。


点击关注,第一时间了解华为云新鲜技术~

发布于: 2021 年 04 月 13 日阅读数: 31
用户头像

提供全面深入的云计算技术干货 2020.07.14 加入

华为云开发者社区,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算! 传送门:https://bbs.huaweicloud.com/

评论

发布
暂无评论
有了这个数据强一致“利器”,DBA们轻松修复数据对加班“say no”