写点什么

HDFS SHELL 详解(4)

用户头像
罗小龙
关注
发布于: 2021 年 01 月 11 日
HDFS SHELL详解(4)

HDFS SHELL 总共有 39 条指令,本系列将逐步介绍每个指令的功能、选项含义及示例。

系列文章:

HDFS SHELL详解(1)

HDFS SHELL详解(2)

HDFS SHELL详解(3)


14.df

执行方式:

hadoop fs -df [-h] <path>
复制代码

功能描述:

查看指定路径对应的 HDFS 系统的存储情况

选项解释:

-h:把数据单位显示为容易理解的单位

示例:

  • 查询/hdfstest 与/hdfstest2 所在的 hdfs 系统空间

hadoop fs -df -h /hdfstest /hdfstest2

因为/hdfstest 与/hdfstest2 位于同一个 HDFS 环境,故空间信息一致


15.du

执行方式:

hadoop fs -du [-s] [-h] [-v] [-x] <path>
复制代码

功能描述:

查看制定路径或路径下所有对象的存储情况

选项解释:

-s:显示指定路径下所有文件夹空间汇总结果。若不填该选项,则显示指定路径下所有文件/文件夹空间

-h:把数据单位显示为容易理解的单位

-v:显示标题行

-x:统计结果不包括快照

示例:

  • 显示/hdfstest/路径下所有对象的空间

hadoop fs -du -v /hdfstest/

hadoop fs -du -v -h /hdfstest/

  • 显示/hdfstest/路径汇总空间

hadoop fs -du -v -s -h /hdfstest/


16.expunge

执行方式:

hadoop fs -expunge
复制代码

功能描述:

清空 HDFS 回收站

选项解释:

示例:

  • 清空当前回收站

hadoop fs -expunge


17.find

执行方式:

hadoop fs -find <path> <expression>
复制代码

功能描述:

按表达式搜索指定路径下的对象

选项说明:

expression 规则:

       -name:根据文件名称精准搜索,区分英文大小写

       -iname:在-name 基础上增加不区分英文大小写

       -print:输出搜索文件的详细路径

       -print:与-print 一致,但末尾不带换行符

       expression 之间可以用-a、-and 或者空格连接

              expression -a expression

              expression -and expression

              expression expression

示例:

  • 查找/hdfstest/目录下的 test.txt 文件并输出

hadoop fs -find /hdfstest -iname test.txt -print

  • 模糊查找/hdfstest/目录下的 test 关键字文件并输出

由此可知 find 指令无法对文件名模糊查询


18.get

执行方式:

hadoop fs -get [-f] [-p] [-ignoreCrc] [-crc] <src> <localdst>
复制代码

功能描述:

拷贝 HDFS 文件到本地,与 copyToLocal 一致

选项解释:

-f:若文件已存在,则覆盖文件

-p:保留源文件的创建时间、修改时间、所属用户及用户组

-ignoreCrc:强制下载校验失败的文件

-crc:下载校验通过的文件及对应 CRC 文件

示例:

  • /hdfstest/test.txt 覆盖本地文件 test.txt

hadoop fs -get -f /hdfstest/test.txt test.txt


发布于: 2021 年 01 月 11 日阅读数: 25
用户头像

罗小龙

关注

镜花水月 2020.08.18 加入

数据工作者,目前就职于商业银行数据部门,擅长数据架构、数据建模、数据开发及数据分析

评论

发布
暂无评论
HDFS SHELL详解(4)