Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将大数据培训一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres 等）中的数据导入到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导入到关系型数据库中。
Sqoop 是大数据开发入门必备掌握知识，今天给大家介绍下 Sqoop 一些常用的命令。
1.查看 sqoop 帮助文档
2.hdfs 导入 mysql
sqoop export \--connect jdbc:mysql://bigdata4.zhenglihan.com:3306/test \--username root \--password 123456 \--table student \--export-dir /tmp/zhenglihan/cdhBigdata/sqoop/export/sqoopData.txt \--fields-terminated-by ','
复制代码
3.mysql 导出到 hdfs
sqoop import \-Dorg.apache.sqoop.splitter.allow_text_splitter=true \--connect "jdbc:mysql://bigdata4.zhenglihan.com:3306/test?useUnicode=true&characterEncoding=latin1&tinyInt1isBit=false" \--username root \--password 123456 \--table student \--m 10 \--target-dir /tmp/zhenglihan/cdhBigdata/sqoop/import \--fields-terminated-by '`' \--null-string '' \--null-non-string '' \--columns 'name,age'
复制代码
4.mysql 导入 hive
sqoop import \-Dorg.apache.sqoop.splitter.allow_text_splitter=true \--connect jdbc:mysql://bigdata4.zhenglihan.com:3306/test \--username root \--password 123456 \--table student \--hive-import \--hive-table testsqoop.student
复制代码
5.hive 导入 mysql
sqoop export \--connect jdbc:mysql://bigdata4.zhenglihan.com:3306/test \--username root \--password 123456 \--table student \--input-fields-terminated-by '\001' \--export-dir /user/hive/warehouse/testsqoop.db/student \--columns 'name,age'
复制代码
总结：
本文主要列举了 sqoop 的一些常用操作，包括 hive 与 mysql 的相互导入导出，与 hdfs 与 mysql 的相互导入导出，值得学者们保存到自己的知识库里，以备后续工作使用。
原创作者：hadoop 入门引路人
评论