Hadoop 安装与常用操作命令

一、大纲

1、HDFS 集群环境搭建

2、HDFS Shell 命令使用

3、HDFS Shell 脚本分析

二、集群环境搭建

下载地址: hadoop.apache.org/relases.html

1、部署方式

属性、 独立模式、 伪分布式模式、分布式模式

fs.default.name file:/// hdf://localhost: port hdfs://namenode:port

dfs.replaction 1 3

（监听地址）mapred.job.tracker local localhost:8021 jobtracker:8021

2、HDFS 配置

conf/core-site.xml

conf/maped-site.xml

3、core-site.xml 配置

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs:192.168.1.101:9100</value>

</property>

</configuration>

4、hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.name.dir</name> <!--namenode 地址-->

<value>/tmp/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/tmp/hadoop/dfs/data</value>

</property>

</configuration>

5、启动

./bin/start-dfs.sh

配置环境变量

vim conf/hadoop-env.sh

查看 jps

9325 Jps

7950 Namenode

9275 SecondayNameNode

8948 DataNode

./bin/stop-dfs.sh

常见问题：

a、启动 Namenode 失败

查看 /tmp/hadoop/dfs/name 目录是否存在

工具初始化: ./bin/hadoop namenode -format

二、HDFS shell 命令

http://hadoop.apache.org/docs/r1.2.1/commands-manual.html

用户命令和管理员命令

./hadoop 查看所有命令

./hadoop fs -put hadoop / 假设上传 hadoop 文件 到/目录

./hadoop fs -lsr /

./hadoop fs -du / 查看文件大小

./hadoop fs -rm /hadoop 删除文件

./hadoop fs -rmr /hadoop 删除文件夹下所有文件

./hadoop fs -mkdir /louis 创建目录

./hadoop dfsadmin -report 报告文件信息和统计信息

或从网页访问 192.168.1.101:50070/dfshealth.jsp

./hadoop dfsadmin -safemode enter 只读模式

/hadoop dfsadmin -safemode leave 离开模式

./hadoop fsck /louis -files -blocks 检查文件是否健康

fsck 作用

1) 检查文件系统的健康状态

2）查看文件所在的数据块

3）删除一个坏块

4）查找一个缺失的块

hadoop balancer 磁盘均衡器

hadoop archive 文件归档，小文件合并在一起

./hadoop archive -archiveName pack.har -p /loris hadoop arichivdDir 生成归档包

./hadoop fs -lsr /user/louris/arichiveDirpack.har

./hadoop fs -cat /user/louis/archiveDir/pack.har/_index 查看归档包文件

三、shell 脚本分析

hadoop-daemon.sh

四、操作实验

搭建分布式集群环境

熟悉 HDFS Shell 命令

搭建 Cloudera CDH repo

运行 mapreducde 例子

jar tf hadoopxxxxx.jar