HDFS SHELL 详解 (1)
HDFS SHELL 总共有 39 条指令,本系列将逐步介绍每个指令的功能、选项含义及示例。
1.appendToFile
执行方式:
功能描述:
把一个或多个本地文件的内容追加到 HDFS 文件下,或读取标准输入内容追加到 hdfs 文件下
选项解释:
示例:
数据准备
把 test1.txt 内容写入 hdfs://hdfstest/test.txt
hadoop -appendToFile text1.txt /hdfstest/test.txt
把 test1.txt 和 test2.txt 内容写入 hdfs://hdfstest/test.txt
hadoop -appendToFile text1.txt test2.txt /hdfstest/test.txt
注意传入文件的顺序会影响内容的写入顺序
开启标准输入
hadoop -appendToFile - /hdfstest/test.txt
输入完成后按 ctrl+c 退出并保存
2.cat
执行方式:
功能描述:
显示一个或多个 HDFS 文件内容
选项解释:
-ignoreCrc:强制展示 CRC 校验失败文件的信息
示例:
输出 hdfs://hdfstest/test.txt 与 hdfs://hdfstest/write_test.txt 文件内容
hadoop fs -cat /hdfstest/test.txt /hdfstest/write_test.txt
注意输出多个文件内容时无间隔标识
3.checksum
执行方式:
功能描述:
返回 HDFS 文件的校验信息
选项详解:
示例:
hadoop fs -checksum /hdfstest/test.txt
其中 MD5-of-0MD5-of-512CRC32C 属于 HDFS 文件的校验算法
版权声明: 本文为 InfoQ 作者【罗小龙】的原创文章。
原文链接:【http://xie.infoq.cn/article/0732760bfe5eb49ec2b6d8085】。文章转载请联系作者。
评论