CentOS HDFS高可用配置方法

在CentOS上实现HDFS的高可用性（High Availability, HA）主要涉及配置多个NameNode（主节点）和相应的Standby（备用）节点，以及使用ZooKeeper进行故障检测和主节点切换。以下是详细的步骤和配置说明：

准备工作

1. 节点配置：准备至少三个节点，分别命名为 node1、node2、node3。
2. 网络配置：确保所有节点在同一网络中，并且可以相互通信。
3. 软件安装：在所有节点上安装Hadoop。

配置ZooKeeper

1. 安装ZooKeeper：在所有节点上安装ZooKeeper。
2. 配置ZooKeeper：
   • 编辑 zoo.cfg 文件，配置ZooKeeper集群。

     dataDir /var/lib/zookeeper
     clientPort 2181
     server.1 node1:2888
     server.2 node2:2888
     server.3 node3:2888
     

3. 启动ZooKeeper：在每个节点上启动ZooKeeper服务。

   ./zkServer.sh start
   

配置HDFS

1. 编辑 hdfs-site.xml：在NameNode节点上编辑 hdfs-site.xml 文件，添加以下配置：

   <configuration>
     <property>
       <name>dfs.nameservices</name>
       <value>mycluster</value>
     </property>
     <property>
       <name>dfs.ha.namenodes.mycluster</name>
       <value>nn1,nn2</value>
     </property>
     <property>
       <name>dfs.namenode.rpc-address.mycluster.nn1</name>
       <value>node1:8020</value>
     </property>
     <property>
       <name>dfs.namenode.rpc-address.mycluster.nn2</name>
       <value>node2:8020</value>
     </property>
     <property>
       <name>dfs.namenode.http-address.mycluster.nn1</name>
       <value>node1:50070</value>
     </property>
     <property>
       <name>dfs.namenode.http-address.mycluster.nn2</name>
       <value>node2:50070</value>
     </property>
     <property>
       <name>dfs.namenode.shared.edits.dir</name>
       <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>
     </property>
     <property>
       <name>dfs.journalnode.edits.dir</name>
       <value>/var/lib/hadoop/hdfs/journal</value>
     </property>
     <property>
       <name>dfs.client.failover.proxy.provider.mycluster</name>
       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>
   </configuration>
   

2. 编辑 core-site.xml：在NameNode节点上编辑 core-site.xml 文件，添加以下配置：

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://mycluster</value>
     </property>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/tmp/hadoop</value>
     </property>
   </configuration>
   

初始化NameNode

1. 格式化NameNode：在NameNode节点上执行格式化命令：

   hdfs namenode -format
   

2. 启动HDFS：在NameNode节点上启动HDFS服务：

   start-dfs.sh
   

启动Standby NameNode

1. 复制配置文件：将NameNode的配置文件复制到Standby NameNode。
2. 启动Standby NameNode：在Standby NameNode上启动HDFS服务：

   hadoop-daemon.sh start namenode -standby
   

验证高可用性

1. 检查状态：使用以下命令检查NameNode的状态：

   hdfs dfsadmin -report
   

2. 模拟故障：停止NameNode节点，观察Standby NameNode是否自动接管。

通过以上步骤，可以在CentOS上实现HDFS的高可用性，确保在发生故障时能够快速切换到备用节点，保证集群的持续运行。