写点什么

大数据 -08-HDFS 集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程

作者:武子康
  • 2025-06-10
    山东
  • 本文字数:779 字

    阅读完需:约 3 分钟

大数据-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程

点一下关注吧!!!非常感谢!!持续更新!!!

🚀 AI 篇持续更新中!(长期更新)

目前 2025 年 06 月 05 日更新到:AI 炼丹日志-28 - Audiblez 将你的电子书 epub 转换为音频 mp3 做有声书,持续打造实用 AI 工具指南!📐🤖

💻 Java 篇正式开启!(300 篇)

目前 2025 年 06 月 05 日更新到:Java-39 深入浅出 Spring - AOP 切面增强 核心概念 通知类型 XML+注解方式 附代码 MyBatis 已完结,Spring 正在火热更新中,深入浅出助你打牢基础!

📊 大数据板块已完成多项干货更新(300 篇):

包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件,覆盖离线+实时数仓全栈!目前 2025 年 06 月 05 日更新到:大数据-278 Spark MLib - 基础介绍 机器学习算法 梯度提升树 GBDT 案例 详解


👉 点个关注,不迷路!后续还将持续更新更多大模型+数据智能+工程实战内容,敬请期待!

章节内容

上一节完成:


  • HDFS 的简介内容

  • HDFS 基础原理

  • HDFS 读文件流程

  • HDFS 写文件流程

背景介绍

这里是三台公网云服务器,每台 2C4G,搭建一个 Hadoop 的学习环境,供我学习。之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的 3 台机器,赶紧尝试在公网上搭建体验一下。


  • 2C4G 编号 h121

  • 2C4G 编号 h122

  • 2C2G 编号 h123


基础语法

hadoop fs
复制代码


启动集群

start-dfs.shstart-yarn.sh
复制代码

查看目录

hadoop fs -ls /
复制代码


创建目录

hadoop fs -mkdir -p /wzk/test
复制代码


上传文件

hadoop fs -moveFromLocal ./1.txt /wzk/testhadoop fs -ls /hadoop fs -ls /wzk/test
复制代码


下载文件

hadoop fs -copyToLocal /wzk/test/1.txt ./
复制代码


查看文件

hadoop fs -cat /wzk/test/1.txt
复制代码


CP 操作

hadoop fs -cp /wzk/test/1.txt /1.txt
复制代码


MV 操作

hadoop fs -mv /1.txt /wzk/test/
复制代码


GET 操作

hadoop fs -get /wzk/test/1.txt ./
复制代码


PUT 操作

hadoop fs -put ./1.txt /wzk/test
复制代码

删除文件

hadoop fs -rm /wzk/test
复制代码

删除空目录

hadoop fs -mkdir /wzk01hadoop fs -rmdir /wzk01
复制代码


发布于: 刚刚阅读数: 4
用户头像

武子康

关注

永远好奇 无限进步 2019-04-14 加入

Hi, I'm Zikang,好奇心驱动的探索者 | INTJ / INFJ 我热爱探索一切值得深究的事物。对技术、成长、效率、认知、人生有着持续的好奇心和行动力。 坚信「飞轮效应」,相信每一次微小的积累,终将带来深远的改变。

评论

发布
暂无评论
大数据-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程_大数据_武子康_InfoQ写作社区