写点什么

5 步带你入门 GaussDB (DWS) 的 GDS 导入导出

  • 2023-02-15
    广东
  • 本文字数:816 字

    阅读完需:约 3 分钟

5 步带你入门 GaussDB (DWS) 的 GDS 导入导出

摘要:本篇文档为使用 GDS 导入示例的具体简单步骤和示例。


本文分享自华为云社区《带你快速入门GDS导入导出,玩转PB级数仓GaussDB(DWS)》,作者: yd_220527686。

1、创建导入目标表

CREATE TABLE tpcds_reasons( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100));
复制代码

2、创建与目标表一致的外表

#外表中配置了数据源格式信息、GDS 服务的访问信息,从而 GaussDB(DWS)最终可以通过外表将数据服务器上的数据引流进数据库实表中。

DROP TABLE IF EXISTS foreign_tpcds_reasons;CREATE FOREIGN TABLE foreign_tpcds_reasons( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100)) SERVER gsmpp_server OPTIONS(LOCATION 'gsfs://127.0.0.1:8780/*',FORMAT 'CSV' ,DELIMITER ',',ENCODING 'utf8',HEADER 'false',FILL_MISSING_FIELDS 'true',IGNORE_EXTRA_DATA 'true');
复制代码

创建成功后可以使用 alter 修改表的属性,示例如下:

alter foreign table foreign_tpcds_reasons options(set  quote  '"');
复制代码

3、启动本地 gds

gds -d dir -p ip:port -H address_string -l log_file -D
复制代码

注意端口号与外表端口号一致,示例如下:

gds -d /input_data/ -D -p 127.0.0.1:8780 -l /CodeHub/gds_log.txt -H 0/0 -t 10 -D
复制代码

4、执行导入

INSERT INTO [目标表名] SELECT * FROM [foreign table 表名];
复制代码

出现 INSERT 0 3 类信息表示数据导入成功,示例如下:

INSERT INTO tpcds_reasons SELECT * FROM foreign_tpcds_reasons;
复制代码

5、tips

设置\set VERBOSITY verbose 可看到导入失败的更多信息,包括 gauss-00000 类型错误码,SQLSTATE,以及 HINT 等信息


导入数据类型需与外表的各个参数做对应,比如:FORMAT 为 csv 文件,以空格做字段分割,在外表创建时,DELIMITER 需以空格为分割符


本篇文档为使用 GDS 导入示例的具体简单步骤和示例,如需详细介绍及参数说说明,请参考 DWS 产品文档。


点击关注,第一时间了解华为云新鲜技术~

发布于: 刚刚阅读数: 7
用户头像

提供全面深入的云计算技术干货 2020-07-14 加入

生于云,长于云,让开发者成为决定性力量

评论

发布
暂无评论
5 步带你入门 GaussDB (DWS) 的 GDS 导入导出_数据库_华为云开发者联盟_InfoQ写作社区