点一下关注吧！！！非常感谢！！持续更新！！！

🚀 AI 篇持续更新中！（长期更新）

目前 2025 年 06 月 16 日更新到：AI 炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架 私有部署 测试上手 架构研究，持续打造实用 AI 工具指南！📐🤖

💻 Java 篇正式开启！（300 篇）

目前 2025 年 06 月 28 日更新到：Java-58 深入浅出 分布式服务 ACID 三阶段提交 3PC 对比 2PCMyBatis 已完结，Spring 已完结，Nginx 已完结，Tomcat 已完结，分布式服务正在更新！深入浅出助你打牢基础！

📊 大数据板块已完成多项干货更新（300 篇）：

包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件，覆盖离线+实时数仓全栈！目前 2025 年 06 月 13 日更新到：大数据-278 Spark MLib - 基础介绍 机器学习算法 梯度提升树 GBDT 案例 详解

章节内容

上节我们完成了如下的内容：

• Sqoop 部分导入数据 --query

• Sqoop 部分导入数据 --where

• 记录执行过程和执行结果

背景介绍

这里是三台公网云服务器，每台 2C4G，搭建一个 Hadoop 的学习环境，供我学习。

• 2C4G 编号 h121

• 2C4G 编号 h122

• 2C2G 编号 h123

注意事项

Apache Sqoop 于 2021 年 6 月迁入 Attic。Apache Sqoop 的使命是创建和维护与 Apache Hadoop 和结构化数据存储相关的大规模数据传输软件。虽然项目已经可能过时，但是如果你的时间充裕的话，可以适当地学习一下，可能会对你有一定的帮助的！！！

基本介绍

Apache Sqoop 是一款专为在 关系型数据库（如 MySQL）与 Hadoop（如 HDFS、Hive、HBase） 之间高效传输数据而设计的工具。

• 主要用于**批量导入（Import）和批量导出（Export）**数据。

• 架构上依赖于 MapReduce，每个导入任务默认使用多个 Map 任务并发执行，提高传输效率。

核心用途

• 数据导入：将关系数据库的数据导入 HDFS、Hive、HBase 等

• 数据导出：将 Hadoop 系统中的数据导出回 RDBMS

• 批量传输：支持大批量并行传输，提高效率

• 数据仓库同步：与 Hive 集成，方便大数据分析

核心流程图

MySQL表 --> Sqoop调度器（生成MapReduce Job）--> 多个Mapper任务并发抓取数据 --> 写入HDFS

ETL

ETL 全称：Extract（抽取）、Transform（转换）、Load（加载），是指从多个数据源提取数据，进行清洗、格式转换、聚合等操作，最后加载到目标系统（如数据仓库、数据湖或分析平台）中的过程。

为什么需要 ETL？

• 整合异构系统数据（如 MySQL、Excel、日志、API 数据等）

• 保障数据质量（清洗异常值、统一格式）

• 支撑数据分析、报表、机器学习模型训练等下游需求

ETL 三个阶段

Extract 抽取

从各种来源系统中提取原始数据：

• 数据源类型：关系型数据库（MySQL、Oracle）、NoSQL（MongoDB）、CSV 文件、REST API、日志文件等

• 技术示例：JDBC、API 拉取、日志监听、消息队列（Kafka）

⚠️ 重点在于高效、准确、不丢数据

Transform 转换

对提取的数据进行处理，确保数据可用、准确、一致：

• 清洗：空值填充、重复数据处理、异常值识别

• 格式转换：日期格式统一、编码统一（如 UTF-8）

• 衍生字段：如从订单数据中计算用户生命周期价值（LTV）

• 业务规则应用：如收入必须为正数、时间不能晚于当前时间

• 数据汇总：如按照天/周/月聚合销售数据

✅ 转换阶段是提升数据“质量”和“可用性”的关键

Load 加载

将转换后的数据写入目标系统（如数据仓库或数据湖）：

• 批量导入：如将每日销售数据加载到 Hive、ClickHouse、Snowflake

• 增量加载：仅加载新增或变更部分（节省资源）

• 覆盖式加载：全量覆盖旧数据

⚠️ 需关注目标系统的写入能力、负载压力和一致性保障

基本导入命令

sqoop import \  --connect jdbc:mysql://localhost:3306/dbname \  --username root \  --password password \  --table user_table \  --target-dir /user/hdfs/user_table \  --num-mappers 4 \  --as-textfile \  --fields-terminated-by '\t'

参数说明：

• --connect：JDBC 连接字符串

• --username / --password：数据库账户

• --table：要导入的 MySQL 表名

• --target-dir：在 HDFS 上的输出目录

• --num-mappers：Mapper 数量，默认 4，可控制并发度

• --as-textfile：导入为纯文本文件（也可以选 --as-parquetfile、--as-avrodatafile）

• --fields-terminated-by：字段分隔符，默认,，可以用 \t 表示 TSV

MySQL -> Hive

执行脚本

CREATE DATABASE mydb;CREATE TABLE mydb.goodtbl(  gname string,  serialNumber int,  price int,  stock_number int,  create_time date);

执行结果如下：

导入数据

注意，这里是在 Shell 中执行，不是在 Hive 中执行！！！

sqoop import \--connect jdbc:mysql://h122.wzk.icu:3306/sqoop \--username hive \--password hive@wzk.icu \--table goodtbl \--hive-import \--create-hive-table \--fields-terminated-by "\t" \--hive-overwrite \--hive-table mydb.goodtbl \-m 1

上述参数的解释：

• hive-import 必须参数，指定导入 hive

• hive-database hive 库名

• hive-table hive 表名

• fields-terminated-by hive 字段分隔符

• hive-overwrite 覆盖已经存在的数据

• create-hive-table 创建好 hive 表

分配任务

YARN 集群开始工作了

等待执行

Map->Reduce

Hive -> MySQL

执行脚本

我们需要在 MySQL 中先建立好我们的表格。

CREATE TABLE sqoop.goodtbl2(  gname varchar(50),  serialNumber int,  price int,  stock_number int,  create_time date);

执行结果如下：

导出数据

在 Shell 中运行如下脚本

sqoop export \--connect jdbc:mysql://h122.wzk.icu:3306/sqoop \--username hive \--password hive@wzk.icu \--table goodtbl2 \--num-mappers 1 \--export-dir /user/hive/warehouse/mydb.db/goodtbl \--input-fields-terminated-by "\t"

等待执行

任务分配至 YARN 等待调度

查看结果

MapReduce 结束，执行完毕后，我们可以在数据库中查看到我们导出的结果。