写点什么

HDFS SHELL 详解 (1)

用户头像
罗小龙
关注
发布于: 2021 年 01 月 08 日
HDFS SHELL详解(1)

HDFS SHELL 总共有 39 条指令,本系列将逐步介绍每个指令的功能、选项含义及示例。


1.appendToFile

执行方式:

hadoop fs -appendToFile <localsrc> <dst>
复制代码

功能描述:

把一个或多个本地文件的内容追加到 HDFS 文件下,或读取标准输入内容追加到 hdfs 文件下

选项解释:

示例:

  • 数据准备




  • 把 test1.txt 内容写入 hdfs://hdfstest/test.txt

hadoop -appendToFile text1.txt /hdfstest/test.txt


  • 把 test1.txt 和 test2.txt 内容写入 hdfs://hdfstest/test.txt

hadoop -appendToFile text1.txt test2.txt /hdfstest/test.txt


注意传入文件的顺序会影响内容的写入顺序

  • 开启标准输入

hadoop -appendToFile - /hdfstest/test.txt



输入完成后按 ctrl+c 退出并保存


2.cat

执行方式:

hadoop fs [-ignoreCrc] <src>
复制代码

功能描述:

显示一个或多个 HDFS 文件内容

选项解释:

-ignoreCrc:强制展示 CRC 校验失败文件的信息

示例:

  • 输出 hdfs://hdfstest/test.txt 与 hdfs://hdfstest/write_test.txt 文件内容

hadoop fs -cat /hdfstest/test.txt /hdfstest/write_test.txt

注意输出多个文件内容时无间隔标识


3.checksum

执行方式:

hadoop fs -checksum <src>
复制代码


功能描述:

返回 HDFS 文件的校验信息

选项详解:

示例:

hadoop fs -checksum /hdfstest/test.txt

其中 MD5-of-0MD5-of-512CRC32C 属于 HDFS 文件的校验算法

发布于: 2021 年 01 月 08 日阅读数: 43
用户头像

罗小龙

关注

镜花水月 2020.08.18 加入

数据工作者,目前就职于商业银行数据部门,擅长数据架构、数据建模、数据开发及数据分析

评论

发布
暂无评论
HDFS SHELL详解(1)