完全解析大数据的高可用集群部署

<!-- 注意: 高可用的集群，没有SecondaryNameNode的存在，因此在这个文件中之前存在的SecondaryNameNode的配置需要删除 --> <configuration>     <!-- 配置NameNode的逻辑名称 -->     <!-- 注意: 后面的很多参数配置都是需要使用到这个名称的 -->     <property>         <name>dfs.nameservices</name>         <value>supercluster</value>     </property>      <!-- 配置两个NameNode的唯一标识符 -->     <property>         <name>dfs.ha.namenodes.supercluster</name>         <value>nn1,nn2</value>     </property>      <!-- 针对每一个NameNode，配置自己的RPC通信地址和端口 -->     <property>         <name>dfs.namenode.rpc-address.supercluster.nn1</name>         <value>qianfeng01:9820</value>     </property>     <property>         <name>dfs.namenode.rpc-address.supercluster.nn2</name>         <value>qianfeng02:9820</value>     </property>      <!-- 针对每一个NameNode，配置WebUI的地址和端口 -->     <property>         <name>dfs.namenode.http-address.supercluster.nn1</name>         <value>qianfeng01:9870</value>     </property>     <property>         <name>dfs.namenode.http-address.supercluster.nn2</name>         <value>qianfeng02:9870</value>     </property>          <!-- 定义journalnode进程的数据存储的父路径, 目录在上面已经定义好了的：journalData -->     <property>         <name>dfs.journalnode.edits.dir</name>         <value>/usr/local/hadoop-3.3.1/tmp</value>     </property>      <!-- 配置journalnode的服务器地址和存储目录（数目为奇数个） -->     <!-- 服务器地址使用分号“;”作为分隔符-->     <property>         <name>dfs.namenode.shared.edits.dir</name>         <value>qjournal://qianfeng01:8485;qianfeng02:8485;qianfeng03:8485/journalData</value>     </property>      <!-- 指定客户端连接Active的namenode节点的java类型 -->     <property>         <name>dfs.client.failover.proxy.provider.supercluster</name>         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>     </property>      <!--为了保证系统的正确性，在任何时间只有一个NameNode处于Active状态，需要配置一个防护机制 -->     <property>         <name>dfs.ha.fencing.methods</name>         <value>sshfence</value>     </property>     <!--为了使该防护选项起作用，它必须能够在不提供密码的情况下SSH到目标节点。因此，还必须配置以下属性-->     <property>         <name>dfs.ha.fencing.ssh.private-key-files</name>         <value>/root/.ssh/id_rsa</value>     </property>     <!-- 免密登陆超时时间，超过此时间未连接上，则登陆失败，此配置可选-->     <property>          <name>dfs.ha.fencing.ssh.connect-timeout</name>          <value>30000</value>      </property>      <!-- 支持自动容灾属性 -->     <property>         <name>dfs.ha.automatic-failover.enabled</name>         <value>true</value>     </property>          <!-- 块的副本数量 -->     <property>         <name>dfs.replication</name>         <value>3</value>     </property> </configuration>

<configuration>     <!--注意：使用到的是在hdfs-site.xml中配置的逻辑名称 -->     <property>         <name>fs.defaultFS</name>         <value>hdfs://supercluster</value>     </property>          <!-- hdfs的数据保存的路径，被其他属性所依赖的一个基础路径 -->     <property>         <name>hadoop.tmp.dir</name>         <value>/usr/local/hadoop-3.3.1/tmp</value>     </property>      <!-- ZooKeeper服务的地址 -->     <property>         <name>ha.zookeeper.quorum</name>         <value>qianfeng01:2181,qianfeng02:2181,qianfeng03:2181</value>     </property> </configuration>

# 添加两行export HDFS_JOURNALNODE_USER=rootexport HDFS_ZKFC_USER=root

 [root@qianfeng01 ~]# cd $HADOOP_HOME/etc [root@qianfeng01 hadoop]# scp -r hadoop qianfeng02:$PWD [root@qianfeng01 hadoop]# scp -r hadoop qianfeng03:$PWD

# 1. 启动集群的JournalNode服务。#    注意事项: 如果之前集群还在运行，需要先将其停止！使用命令 stop-dfs.sh[root@qianfeng01 ~]# hdfs --daemon start journalnode[root@qianfeng02 ~]# hdfs --daemon start journalnode[root@qianfeng03 ~]# hdfs --daemon start journalnode
# 2. 启动以前节点上的namenode进程[root@qianfeng01 ~]# hdfs --daemon start namenode
# 3. 在新的namenode节点上拉取镜像文件[root@qianfeng02 ~]# hdfs namenode -bootstrapStandby
# 4. 同步日志到journalnode集群上,再启动集群#    先关namenode[root@qianfeng01 ~]# hdfs --daemon stop namenode# 再同步日志[root@qianfeng01 ~]# hdfs namenode -initializeSharedEdits
# 5. 格式化zkfc# 5.1. 前提QuorumPeerMain服务必须处于开启状态，客户端zkfc才能格式化成功[root@qianfeng01 ~]# zkServer.sh start[root@qianfeng02 ~]# zkServer.sh start[root@qianfeng03 ~]# zkServer.sh start# 5.2. 选择其中一个namenode节点进行格式化zkfc[root@qianfeng01 ~]# hdfs zkfc -formatZK
# 6. 你就可以快乐的开启HA集群进行测试了[root@qianfeng01 ~]# start-all.sh
# 查看NameNode的状态[root@qianfeng01 ~]# hdfs haadmin -getServiceState nn1
# 注意: 以后开HA集群时，要先开zookeeper服务，再开HDFS。

# 1. 启动三个节点上的journalnode服务[root@qianfeng01 ~]# hdfs --daemon start journalnode[root@qianfeng02 ~]# hdfs --daemon start journalnode[root@qianfeng03 ~]# hdfs --daemon start journalnode
# 2. 格式化namenode#    - 先删除所有节点的${hadoop.tmp.dir}/tmp/的数据(可选，这一步表示弃用fsimage.)#    - 选择其中一个namenode进行格式化[root@qianfeng01 ~]# hdfs namenode -format#    - 并启动namenode进程[root@qianfeng01 ~]# hdfs --daemon start namenode
# 3. 在另一台namenode上拉取已格式化的那台机器的镜像文件（数据的一致性）[root@qianfeng02 ~]# hdfs namenode -bootstrapStandby
# 4. 然后关闭已经启动的namenode[root@qianfeng01 ~]# hdfs --daemon stop namenode
# 5. 格式化zkfc# 5.1. 前提QuorumPeerMain服务必须处于开启状态，客户端zkfc才能格式化成功[root@qianfeng01 ~]# zkServer.sh start[root@qianfeng02 ~]# zkServer.sh start[root@qianfeng03 ~]# zkServer.sh start# 5.2. 选择其中一个namenode节点进行格式化zkfc[root@qianfeng01 ~]# hdfs zkfc -formatZK
# 6. 你就可以快乐的开启HA集群进行测试了[root@qianfeng01 ~]# start-all.sh
# 注意：以后开HA集群时，要先开zookeeper服务，再开HDFS。