写点什么

开源数据库 Greenplu 突然闭源?GaussDB(DWS) 提供数仓新可能

  • 2024-07-08
    广东
  • 本文字数:2364 字

    阅读完需:约 8 分钟

开源数据库Greenplu突然闭源?GaussDB(DWS)提供数仓新可能

本文分享自华为云社区《开源数据库Greenplum人去楼空?GaussDB(DWS)提供数仓新可能》,作者: 起个名字 11111。


近日 Greenplum 关闭 GitHub 源码事件在数仓行业广受关注,代码业界纷纷猜测 Greenplum 即将闭源。作为一款典型的 OLAP 数据库,Greenplum 的闭源势必带来数仓市场格局的调整与变化。国内有哪些备受瞩目的数仓产品呢?华为云数仓 GaussDB(DWS)无疑是其中的佼佼者。


GaussDB(DWS)是一款兼容 PostgreSQL 生态,同时 GaussDB(DWS)具备丰富的 GP 迁移成功经验。在某一迁移 GP 的成功案例中,面临客户原平台扩展性不足、数据加工链路长、数据分散等痛点问题,GaussDB(DWS)成功将 Greenplum 上数万个数据模型、数万个代码脚本、数百万行代码全部迁移至安全可控的数据仓库平台,基于 GaussDB(DWS)的数据分析平台成功降低系统管理成本、技术复杂度,提升了资源配置效率、数据一致性,承载 30000 多个数据模型。

DWS 丝滑兼容 GP


GaussDB(DWS) 提供了配套的迁移工具,可支持 TeraData、Oracle、MySQL、SQL Server、PostgreSQL、Greenplum、Impala 等常用数据分析系统的平滑迁移。支持 SQL 2003 标准,兼容 Oracle 的部分语法和数据结构,支持存储过程,可与常用 BI(business intelligence)工具无缝对接,业务迁移修改量极小。

1.语法兼容性


(1)Greenplum 和 DWS 均支持 SQL 2003,兼容大部分 DDL 与 DML 语法。


(2)兼容 GP 所有数据类型。


(3)兼容 GP 所有操作符。


(4)兼容 GP 包括 XML 函数、JSON 函数、窗口函数、聚集函数在内所有的复杂函数。


(5)支持自定义函数和 PROCEDURE。


(6)支持 Sort 所有场景,包含 FullSort/TopNSort。


(7)支持 Agg/Join/Sort 落盘功能。


(8)支持 HashJoin/NestLoopJoin,完整支持 Left/Right/Full/Inner/Anti/Semi 六种 Join 规则。


(9)支持 GroupAgg/HashAgg/PlainAgg,及 Agg 所有相关特性。


(10)支持 HeapTable、Aocs Table 的 Scan,包含 Seqscan 和 Index Scan。

2.生态兼容性

(1)社区工具兼容


数据集成:Talend、Kettle、DataX、DBT、Informatica 等。


数据开发:Navicat、DBeaver、DbVisualizer 等。


作业调度:Dataphin、Airflow 等。


BI 分析:QuickBI、永洪 BI、FineBI、PowerBI、Tableau、Cognos、SmartBI 等。

(2)华为工具兼容:


数据集成:CDM、DRS、Migration 等


数据开发:SQL Editor、DataArts Studio、DAS


BI 分析:DataArts Insight

DWS 产品优势

1.易使用


(1) 一站式可视化便捷管理


GaussDB(DWS) 让您能够轻松完成从项目概念到生产部署的整个过程。通过使用 GaussDB(DWS) 管理控制台,您不需要安装数据仓库软件,也不需要部署数据仓库服务器,就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。


您只需单击几下鼠标,就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。


(2) 与大数据无缝集成


您可以使用标准 SQL 查询 HDFS、对象存储服务(Object Storage Service,OBS)上的数据,数据无需搬迁。


(3) 提供一键式异构数据库迁移工具


GaussDB(DWS) 提供配套的迁移工具,可支持 MySQL、Oracle 和 Teradata 的 SQL 脚本迁移到 GaussDB(DWS) 。

2.高性能


(1) 云化分布式架构


GaussDB(DWS) 采用全并行的 MPP 架构数据库,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。


(2) 查询高性能,万亿数据秒级响应


GaussDB(DWS) 通过算子并行执行、向量化执行引擎实现指令在寄存器并行执行,以及 LLVM 动态编译减少查询时冗余的条件逻辑判断,助力数据查询性能提升。


GaussDB(DWS)支持行列混合存储,可以同时为用户提供更优的数据压缩比(列存)、更好的索引性能(列存)、更好的点更新和点查询(行存)性能。


(3) 数据加载快


GaussDB(DWS)提供了 GDS 极速并行大规模数据加载工具。

3.易扩展


(1) 按需扩展:Shared-Nothing 开放架构,可随时根据业务情况增加节点,扩展系统的数据存储能力和查询分析性能。


(2) 扩容后性能线性提升:容量和性能随集群规模线性提升,线性比 0.8。


(3) 扩容不中断业务:扩容过程中支持数据增、删、改、查,及 DDL 操作(Drop/Truncate/Alter table),表级别在线扩容技术,扩容期间业务不中断、无感知。


支持在线升级:8.1.1 及以上源版本支持大版本在线升级,8.1.3 及以上源版本支持补丁在线升级,升级期间用户无需停止业务,业务存在闪级秒断。

4.高可靠


(1) ACID


支持分布式事务 ACID(Atomicity,Consistency,Isolation,Durability),数据强一致保证。


(2) 全方位 HA 设计


GaussDB(DWS) 所有的软件进程均有主备保证,集群的协调节点(CN)、数据节点(DN)等逻辑组件全部有主备保证,能够保证在任意单点物理故障的情况下系统依然能够保证数据可靠、一致,同时还能对外提供服务。


(3) 安全


GaussDB(DWS) 支持数据透明加密,同时可与数据库安全服务(DBSS)对接,基于网络隔离及安全组规则,保护系统和用户隐私及数据安全。GaussDB(DWS)还支持自动数据全量、增量备份,提升数据可靠性。

5.低成本


按需付费:GaussDB(DWS) 按实际使用量和使用时长计费。您需要支付的费率很低,只需为实际消耗的资源付费。


门槛低:您无需前期投入较多固定成本,可以从低规格的数据仓库实例起步,后续随时根据业务情况弹性伸缩所需资源,按需开支。

结语


华为云数据仓库 GaussDB(DWS),历经 13 年的技术磨砺,已成为国内数据仓库中的佼佼者,是中国唯一获得数仓类 CC 安全认证的产品。华为云 GaussDB(DWS)一站式全场景云数据仓库,提供 PB 级数据分析能力、多模分析和实时处理能力,以统一内核提供公有云、混合云等部署形态,用户体验一致。在金融、泛政府、电信、能源、交通、医疗、物流、电商等领域,帮助 1700+大客户规模商用。


未来,GaussDB(DWS)将继续深耕云原生 Serverless 化、实时分析、湖仓一体、数智融合、HTAP 等数仓核心技术,引领数据产业,创新构建开放融合、云化、实时、全场景、智慧的数据底座。


点击关注,第一时间了解华为云新鲜技术~

发布于: 刚刚阅读数: 2
用户头像

提供全面深入的云计算技术干货 2020-07-14 加入

生于云,长于云,让开发者成为决定性力量

评论

发布
暂无评论
开源数据库Greenplu突然闭源?GaussDB(DWS)提供数仓新可能_数据库_华为云开发者联盟_InfoQ写作社区