写点什么

【YashanDB 知识库】多 csv 文件一键式导入 yashandb

作者:YashanDB
  • 2025-01-21
    广东
  • 本文字数:434 字

    阅读完需:约 1 分钟

本文内容来自 YashanDB 官网,原文内容请见https://www.yashandb.com/newsinfo/7253738.html?templateId=1718516


背景:

csv 文件导入 yashandb 存在以下两个痛点:

1、导入通过 yasboot 或者 yasldr 导入 csv 文件均需要配置表的字段名,如果表比较多,字段也很多的情况下比较费力;

2、一些大表需要导入多个 csv 文件,一个个手工导入效率也比较低;

 

解决方案:

通过编写 python 脚本来解决以上痛点:

1、针对痛点 1,通过连接到数据库,通过 desc 获取目标表的字段,保存到本地列表变量;

2、针对痛点 2,通过扫描 csv 文件所在目录,获取文件列表,循环进行导入;

 

效果:

导入 csv 一个或者多个文件到 yashandb 只需一条命令即可,无需再配置繁琐的字段名,也无需执行多次命令;

 

导入命令样例:

python3 import_csv_data_2.py -d /opt/data/example_tbl_agg1 -c yashandb -u example_db -p Cod-2024 -a 127.0.0.1:1688 -t example_tbl_agg1

参数说明:

-d:csv 所在目录

-c:库名

-u:用户名

-p:密码

-a:数据库地址和端口

-t:表名

 

导入脚本:

import_csv_data_2.py

发布于: 刚刚阅读数: 4
用户头像

YashanDB

关注

全自研国产新型大数据管理系统 2022-02-15 加入

还未添加个人简介

评论

发布
暂无评论
【YashanDB知识库】多csv文件一键式导入yashandb_数据库_YashanDB_InfoQ写作社区