开源数据库 Greenplu 突然闭源?GaussDB(DWS) 提供数仓新可能
本文分享自华为云社区《开源数据库Greenplum人去楼空?GaussDB(DWS)提供数仓新可能》,作者: 起个名字 11111。
近日 Greenplum 关闭 GitHub 源码事件在数仓行业广受关注,代码业界纷纷猜测 Greenplum 即将闭源。作为一款典型的 OLAP 数据库,Greenplum 的闭源势必带来数仓市场格局的调整与变化。国内有哪些备受瞩目的数仓产品呢?华为云数仓 GaussDB(DWS)无疑是其中的佼佼者。
GaussDB(DWS)是一款兼容 PostgreSQL 生态,同时 GaussDB(DWS)具备丰富的 GP 迁移成功经验。在某一迁移 GP 的成功案例中,面临客户原平台扩展性不足、数据加工链路长、数据分散等痛点问题,GaussDB(DWS)成功将 Greenplum 上数万个数据模型、数万个代码脚本、数百万行代码全部迁移至安全可控的数据仓库平台,基于 GaussDB(DWS)的数据分析平台成功降低系统管理成本、技术复杂度,提升了资源配置效率、数据一致性,承载 30000 多个数据模型。
DWS 丝滑兼容 GP
GaussDB(DWS) 提供了配套的迁移工具,可支持 TeraData、Oracle、MySQL、SQL Server、PostgreSQL、Greenplum、Impala 等常用数据分析系统的平滑迁移。支持 SQL 2003 标准,兼容 Oracle 的部分语法和数据结构,支持存储过程,可与常用 BI(business intelligence)工具无缝对接,业务迁移修改量极小。
1.语法兼容性
(1)Greenplum 和 DWS 均支持 SQL 2003,兼容大部分 DDL 与 DML 语法。
(2)兼容 GP 所有数据类型。
(3)兼容 GP 所有操作符。
(4)兼容 GP 包括 XML 函数、JSON 函数、窗口函数、聚集函数在内所有的复杂函数。
(5)支持自定义函数和 PROCEDURE。
(6)支持 Sort 所有场景,包含 FullSort/TopNSort。
(7)支持 Agg/Join/Sort 落盘功能。
(8)支持 HashJoin/NestLoopJoin,完整支持 Left/Right/Full/Inner/Anti/Semi 六种 Join 规则。
(9)支持 GroupAgg/HashAgg/PlainAgg,及 Agg 所有相关特性。
(10)支持 HeapTable、Aocs Table 的 Scan,包含 Seqscan 和 Index Scan。
2.生态兼容性
(1)社区工具兼容
数据集成:Talend、Kettle、DataX、DBT、Informatica 等。
数据开发:Navicat、DBeaver、DbVisualizer 等。
作业调度:Dataphin、Airflow 等。
BI 分析:QuickBI、永洪 BI、FineBI、PowerBI、Tableau、Cognos、SmartBI 等。
(2)华为工具兼容:
数据集成:CDM、DRS、Migration 等
数据开发:SQL Editor、DataArts Studio、DAS
BI 分析:DataArts Insight
DWS 产品优势
1.易使用
(1) 一站式可视化便捷管理
GaussDB(DWS) 让您能够轻松完成从项目概念到生产部署的整个过程。通过使用 GaussDB(DWS) 管理控制台,您不需要安装数据仓库软件,也不需要部署数据仓库服务器,就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。
您只需单击几下鼠标,就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。
(2) 与大数据无缝集成
您可以使用标准 SQL 查询 HDFS、对象存储服务(Object Storage Service,OBS)上的数据,数据无需搬迁。
(3) 提供一键式异构数据库迁移工具
GaussDB(DWS) 提供配套的迁移工具,可支持 MySQL、Oracle 和 Teradata 的 SQL 脚本迁移到 GaussDB(DWS) 。
2.高性能
(1) 云化分布式架构
GaussDB(DWS) 采用全并行的 MPP 架构数据库,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。
(2) 查询高性能,万亿数据秒级响应
GaussDB(DWS) 通过算子并行执行、向量化执行引擎实现指令在寄存器并行执行,以及 LLVM 动态编译减少查询时冗余的条件逻辑判断,助力数据查询性能提升。
GaussDB(DWS)支持行列混合存储,可以同时为用户提供更优的数据压缩比(列存)、更好的索引性能(列存)、更好的点更新和点查询(行存)性能。
(3) 数据加载快
GaussDB(DWS)提供了 GDS 极速并行大规模数据加载工具。
3.易扩展
(1) 按需扩展:Shared-Nothing 开放架构,可随时根据业务情况增加节点,扩展系统的数据存储能力和查询分析性能。
(2) 扩容后性能线性提升:容量和性能随集群规模线性提升,线性比 0.8。
(3) 扩容不中断业务:扩容过程中支持数据增、删、改、查,及 DDL 操作(Drop/Truncate/Alter table),表级别在线扩容技术,扩容期间业务不中断、无感知。
支持在线升级:8.1.1 及以上源版本支持大版本在线升级,8.1.3 及以上源版本支持补丁在线升级,升级期间用户无需停止业务,业务存在闪级秒断。
4.高可靠
(1) ACID
支持分布式事务 ACID(Atomicity,Consistency,Isolation,Durability),数据强一致保证。
(2) 全方位 HA 设计
GaussDB(DWS) 所有的软件进程均有主备保证,集群的协调节点(CN)、数据节点(DN)等逻辑组件全部有主备保证,能够保证在任意单点物理故障的情况下系统依然能够保证数据可靠、一致,同时还能对外提供服务。
(3) 安全
GaussDB(DWS) 支持数据透明加密,同时可与数据库安全服务(DBSS)对接,基于网络隔离及安全组规则,保护系统和用户隐私及数据安全。GaussDB(DWS)还支持自动数据全量、增量备份,提升数据可靠性。
5.低成本
按需付费:GaussDB(DWS) 按实际使用量和使用时长计费。您需要支付的费率很低,只需为实际消耗的资源付费。
门槛低:您无需前期投入较多固定成本,可以从低规格的数据仓库实例起步,后续随时根据业务情况弹性伸缩所需资源,按需开支。
结语
华为云数据仓库 GaussDB(DWS),历经 13 年的技术磨砺,已成为国内数据仓库中的佼佼者,是中国唯一获得数仓类 CC 安全认证的产品。华为云 GaussDB(DWS)一站式全场景云数据仓库,提供 PB 级数据分析能力、多模分析和实时处理能力,以统一内核提供公有云、混合云等部署形态,用户体验一致。在金融、泛政府、电信、能源、交通、医疗、物流、电商等领域,帮助 1700+大客户规模商用。
未来,GaussDB(DWS)将继续深耕云原生 Serverless 化、实时分析、湖仓一体、数智融合、HTAP 等数仓核心技术,引领数据产业,创新构建开放融合、云化、实时、全场景、智慧的数据底座。
版权声明: 本文为 InfoQ 作者【华为云开发者联盟】的原创文章。
原文链接:【http://xie.infoq.cn/article/84fa35d19dbb4c5069a5e80d7】。文章转载请联系作者。
评论