写点什么

HDFS SHELL 详解(5)

用户头像
罗小龙
关注
发布于: 2021 年 01 月 12 日
HDFS SHELL详解(5)

HDFS SHELL 总共有 39 条指令,本系列将逐步介绍每个指令的功能、选项含义及示例。

系列文章:

HDFS SHELL详解(1)

HDFS SHELL详解(2)

HDFS SHELL详解(3)

HDFS SHELL详解(4)


19.getfacl

执行方法:

hadoop fs -getfacl [-R] <path>
复制代码

功能描述:

显示指定路径或文件的 ACL(访问控制列表)

选项解释:

-R:递归目录及目录下所有文件

示例:

  • 查询/hdfstest 的 ACL

hadoop fs -getfacl /hdfstest


20.getmerge

执行方式:

hadoop fs -getmerge [-nl] [-skip-empty-file] <src> <localdst>
复制代码

功能描述:

把 HDFS 多个文件合并为一个文件并拷贝到本地

选项解释:

-nl:文件间内容拼接增加换行符

-skip-empty-file:跳过空文件拼接

示例:

  • 把/hdfstest/test.txt 与/hdfstest/test1.txt 合并并拷贝到本地 test3.txt

hadoop fs -getmerge /hdfstest/test.txt /hdfstest/test1.txt test3.txt

hadoop fs -getmerge -nl /hdfstest/test.txt /hdfstest/test1.txt test3.txt

getmerge 指令默认覆盖原文件


21.ls

执行方式:

hadoop fs -ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] <path>
复制代码

功能描述:

显示文件夹/文件

选项解释:

-C:仅显示文件夹/文件的名称

-d:仅显示指定路径的信息

-h:把数据单位显示为容易理解的单位

-q:使用?替换不可打印字符

-R:递归显示指定路径下的所有文件夹与文件

-t:按修改时间排序

-S:按文件大小排序

-r:反转排序顺序,需配合排序选项一起使用

-u:按最近访问时间排序

-e:仅显示文件夹/文件的 EC 编码

示例:

  • 仅显示/hdfstest/下的文件夹/文件

hadoop fs -ls -C /hdfstest


  • 按修改时间倒序显示/hdfstest 下的文件夹/文件

hadoop fs -ls -t -r /hdfstest

  • 按最近访问时间显示/hdfstest 下的文件夹/文件

hadoop fs -ls -u -h /hdfstest

注意显示的时间戳变化为最近访问时间

  • 查找根目录下关键字为 spark 的文件夹/文件

hadoop fs -ls -R -h /|grep spark


22.mkdir

执行方式:

hadoop fs -mkdir [-p] <path>
复制代码

功能描述:

创建目录

选项解释:

-p:即使文件夹存在也不会报错

示例:

  • 在根目录下创建 hdfstest 文件夹

hadoop fs -mkdir -p /hdfstest


23.moveFromLocal

执行方式:

hadoop fs -moveFromLocal <localsrc> <dst>
复制代码

功能描述:

移动本地文件到 HDFS

选项解释:

示例:

  • 把本地文件 mv_test.txt 移动到/hdfstest 下

hadoop fs -moveFromLocal mv_test.txt /hdfstest


24.moveToLocal

执行方式:

hadoop fs -moveToLocal <src> <localdst>
复制代码

功能描述:

移动 HDFS 文件到本地(Hadoop 尚未实现)


发布于: 2021 年 01 月 12 日阅读数: 27
用户头像

罗小龙

关注

镜花水月 2020.08.18 加入

数据工作者,目前就职于商业银行数据部门,擅长数据架构、数据建模、数据开发及数据分析

评论

发布
暂无评论
HDFS SHELL详解(5)