HDFS高可用性怎样配置_运维文库_资讯中心

发布时间:2026-04-28 12:52:57

阅读量:4

HDFS高可用性（High Availability, HA）配置是为了防止单点故障，确保在关键组件出现故障时系统仍然可以继续工作。以下是配置HDFS高可用性的基本步骤和要点：

1. 集群规划

节点角色：在集群中配置两个NameNode，一个处于活动状态（Active），另一个处于待命状态（Standby）。每个节点还需要配置JournalNode来存储编辑日志（edits）。
Zookeeper集群：用于管理NameNode的主备切换。

2. 配置文件修改

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFSname>
    <value>hdfs://myclustervalue>
  property>
  <property>
    <name>ha.zookeeper.quorumname>
    <value>master:2181,node1:2181,node2:2181value>
  property>
configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.nameservicesname>
    <value>myclustervalue>
  property>
  <property>
    <name>dfs.ha.namenodes.myclustername>
    <value>nn1,nn2value>
  property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1name>
    <value>master:8020value>
  property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2name>
    <value>node1:8020value>
  property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1name>
    <value>master:50070value>
  property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2name>
    <value>node1:50070value>
  property>
  <property>
    <name>dfs.namenode.shared.edits.dirname>
    <value>qjournal://master:8485;node1:8485;node2:8485/myclustervalue>
  property>
  <property>
    <name>dfs.client.failover.proxy.provider.myclustername>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvidervalue>
  property>
  <property>
    <name>dfs.ha.fencing.methodsname>
    <value>sshvalue>
  property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-filesname>
    <value>/root/.ssh/id_rsavalue>
  property>
  <property>
    <name>dfs.ha.automatic-failover.enabledname>
    <value>truevalue>
  property>
configuration>