写点什么

HDFS SHELL 详解(3)

用户头像
罗小龙
关注
发布于: 2021 年 01 月 10 日
HDFS SHELL详解(3)

HDFS SHELL 总共有 39 条指令,本系列将逐步介绍每个指令的功能、选项含义及示例。

系列文章:

HDFS SHELL详解(1)

HDFS SHELL详解(2)


9.count

执行方式:

hadoop fs -count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path>
复制代码

功能描述:

统计 HDFS 指定路径的可容纳文件/文件夹配额、空间配额、目录数、文件数及占用空间

选项解释:

-q:输出统计列:

QUOTA(指定路径可建文件/文件夹数量配额)、

REM_QUOTA(指定路径可建文件/文件夹数量剩余配额)、

SPACE_QUOTA(指定路径可建文件/文件夹空间配额)、

REM_SPACE_QUOTA(指定路径可建文件/文件夹空间剩余配额)、

DIR_COUNT(指定路径下文件夹(包括自身)统计数)、

FILE_COUNT(指定路径下文件统计数)、

CONTENT_SIZE(指定路径下文件及文件夹大小总和)、

PATHNAME(指定路径)

-u:输出统计列:

QUOTA(指定路径可建文件/文件夹数量配额)、

REM_QUOTA(指定路径可建文件/文件夹数量剩余配额)、

SPACE_QUOTA(指定路径可建文件/文件夹空间配额)、

REM_SPACE_QUOTA(指定路径可建文件/文件夹空间剩余配额)、

PATHNAME(指定路径)

-h:把数据单位显示为容易理解的单位,比如空间原单位为 byte,加入该参数后显示 k,m,g 等单位

-v:显示标题行

-t:显示每种存储类型的空间配额和使用情况。如果未给出-u 或-q 选项,则-t 选项将被忽略。可选参数 storage type 支持的输入类型有:“ all”,“ ram_disk”,“ ssd”,“ disk”或“ archive”。

-x:统计结果排除快照。如果指定了-u 或-q 选项,则-x 选项将被忽略

-e:显示指定路径的 EC 编码模式,通过列 ERASURECODING_POLICY 显示

示例:

  • 显示根目录的统计信息,并显示标题行

hadoop fs -count -q -v /

hadoop fs -count -u -v /

  • 显示/hdfstest 目录的统计信息,并显示标题行及合适单位

hadoop fs -count -q -v -h /

  • 显示/hdfstest 目录各种存储类型的配额信息

hadoop fs -count -q -t -v -h /

查询 SSD 的配额信息

hadoop fs -count -q -t ssd -v -h /

查询本地存储的配额信息


10.cp

执行方式:

hadoop fs -cp [-f] [-p | -p[topax]] [-d] <src> <dst>
复制代码

功能描述:

HDFS 内文件拷贝

选项解释:

-f:若文件已存在,则覆盖文件

-p:保留源文件的时间戳(timestamp)、所属用户及用户组(ownership)、权限(premission)。若增加 topax 参数,则在原来基础上增加保留 ACL(访问控制列表)、XAttr(扩展属性)

-d:跳过创建._COPYING_的临时文件

示例:

  • 拷贝/hdfstest/test.txt 到/hdfstest2/路径

hadoop fs -cp /hdfstest/test.txt /hdfstest2

  • 拷贝/hdfstest/test1.txt 到/hdfstest2/路径,并保留源文件所有信息

hadoop fs -cp -ptopax /hdfstest/test1.txt /hdfstest2


11.createSnapshot

执行方式:

hadoop fs -createSnapshot <snapshotDir> [<snapshotName>]
复制代码

功能描述:

创建 HDFS 指定路径的快照

选项详解:

snapshotDir:需要创建快照的目录,快照创建成功后将存储在 snapshotDir/. snapshot

snapshotName:指定快照名称,默认名称为 S+创建时间戳

示例:

  • 创建/hdfstest 的快照

在创建快照前,必须设置该目录允许设置快照

hdfs dfsadmin -allowSnapshot /hdfstest

不指定快照名称下创建快照

hadoop fs -createSnapshot /hdfstest

指定快照名称下创建快照

hadoop fs -createSnapshot /hdfstest s1

查看所有快照信息

hadoop fs -ls -R /hdfstest/.snapshot

创建 HDFS 快照属于保护数据文件的一个重要手段,快照的原理、作用及使用方式未来将单独写成文章分享。


12.deleteSnapshot

执行方式:

hadoop fs -deleteSnapshot <snapshotDir> <snapshotName>
复制代码

功能描述:

删除 HDFS 指定路径的快照

选项解释:

示例:

  • 删除/hdfstest 的快照 s1

hadoop fs -deleteSnapshot /hdfstest s1


13.renameSnapshot

执行方式:

hadoop fs -renameSnapshot <snapshotDir> <oldName> <newName>
复制代码

功能描述:

重命名快照

选项解释:

示例:

  • 重命名/hdfstest 的快照 s1 为快照 s_init

hadoop fs -renameSnapshot /hdfstest s1 s_init


发布于: 2021 年 01 月 10 日阅读数: 31
用户头像

罗小龙

关注

镜花水月 2020.08.18 加入

数据工作者,目前就职于商业银行数据部门,擅长数据架构、数据建模、数据开发及数据分析

评论

发布
暂无评论
HDFS SHELL详解(3)