Ubuntu如何实现HDFS的高可用性_运维文库_资讯中心

发布时间:2026-04-27 05:02:20

阅读量:2

Ubuntu实现HDFS高可用

一架构与前置条件

架构要点：部署2 个 NameNode（Active/Standby），通过QJM（Quorum Journal Manager）共享编辑日志；使用ZooKeeper + ZKFC（ZKFailoverController）实现自动故障转移；至少3 个 JournalNode保证写入多数派与可用性；DataNode 同时向两个 NameNode 上报块位置，保证快速切换。该方案消除 NameNode 单点故障，支持自动或手动切换。
节点与端口示例（可按需调整主机名与路径）：
- NameNode：nn1=ubuntu1:8020，Web：ubuntu1:9870；nn2=ubuntu2:8020，Web：ubuntu2:9870
- JournalNode：jn1/jn2/jn3，QJM 端口：8485
- ZooKeeper：zk1/zk2/zk3，端口：2181
前置要求：各节点安装相同版本 Hadoop 3.x；配置 SSH 免密；时间同步（如 NTP）；目录与权限准备；配置文件在集群内保持一致并分发。

二关键配置示例

说明：以下为最小可用关键项示例，需在所有节点保持同步（以 mycluster 为名称服务，nn1=ubuntu1，nn2=ubuntu2，jn1/jn2/jn3 为 JournalNode 主机名）。
core-site.xml

<configuration>
  <property>
    <name>fs.defaultFSname>
    <value>hdfs://myclustervalue>
  property>
  <property>
    <name>ha.zookeeper.quorumname>
    <value>zk1:2181,zk2:2181,zk3:2181value>
  property>
configuration>

hdfs-site.xml

<configuration>
  
  <property>
    <name>dfs.nameservicesname>
    <value>myclustervalue>
  property>
  <property>
    <name>dfs.ha.namenodes.myclustername>
    <value>nn1,nn2value>
  property>

  
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1name>
    <value>ubuntu1:8020value>
  property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2name>
    <value>ubuntu2:8020value>
  property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1name>
    <value>ubuntu1:9870value>
  property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2value>
    <value>ubuntu2:9870value>
  property>

  
  <property>
    <name>dfs.namenode.shared.edits.dirname>
    <value>qjournal://jn1:8485;jn2:8485;jn3:8485/myclustervalue>
  property>
  <property>
    <name>dfs.journalnode.edits.dirname>
    <value>/data/hadoop/journalvalue>
  property>

  
  <property>
    <name>dfs.client.failover.proxy.provider.myclustername>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvidervalue>
  property>

  
  <property>
    <name>dfs.ha.fencing.methodsname>
    <value>sshfencevalue>
  property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-filesname>
    <value>/root/.ssh/id_rsavalue>
  property>

  
  <property>
    <name>dfs.ha.automatic-failover.enabledname>
    <value>truevalue>
  property>

  
  <property>
    <name>dfs.replicationname>
    <value>3value>
  property>
  <property>
    <name>dfs.namenode.name.dirname>
    <value>/data/hadoop/dfs/namevalue>
  property>
  <property>
    <name>dfs.datanode.data.dirname>
    <value>/data/hadoop/dfs/datavalue>
  property>
configuration>

提示：若使用 root 运行，需在 sbin 脚本顶部设置环境变量（示例）：
- start-dfs.sh/stop-dfs.sh：HDFS_DATANODE_USER=root、HDFS_NAMENODE_USER=root、HDFS_JOURNALNODE_USER=root、HDFS_ZKFC_USER=root
- start-yarn.sh/stop-yarn.sh：YARN_RESOURCEMANAGER_USER=root、YARN_NODEMANAGER_USER=root。

三部署与启动步骤

分发配置：将修改好的 core-site.xml、hdfs-site.xml 等分发到所有节点，确保一致。
启动 ZooKeeper：在 zk1/zk2/zk3 执行：
- zkServer.sh start
- zkServer.sh status（确认 Leader/Follower 角色正常）
启动 JournalNode：在 jn1/jn2/jn3 执行：
- hdfs --daemon start journalnode（Hadoop 3.x 推荐）
- 若启动失败需清理目录后重试：rm -rf /data/hadoop/journal/*
格式化 NameNode（首次）：
- 在 nn1 执行：hdfs namenode -format
- 初始化共享编辑日志：hdfs namenode -initializeSharedEdits
启动 nn1 的 NameNode：hdfs --daemon start namenode
在 nn2 同步元数据并启动：
- hdfs namenode -bootstrapStandby
- hdfs --daemon start namenode
初始化 ZKFC（自动故障转移所需）：在 nn1 执行：hdfs zkfc -formatZK
启动 ZKFC 守护进程（nn1、nn2）：hdfs --daemon start zkfc
启动 DataNode（所有 DataNode 节点）：hdfs --daemon start datanode
一键启动（可选）：start-dfs.sh
验证与观察：
- 查看状态：hdfs haadmin -getServiceState nn1 / nn2（应一 active 一 standby）
- 访问 Web：http://ubuntu1:9870、http://ubuntu2:9870。

四验证与故障转移

手动切换（维护窗口常用）：
- hdfs haadmin -failover --forcefence --forceactive nn1 nn2
自动故障转移测试：
- 停止当前 Active（如 nn1）：hdfs --daemon stop namenode（或 kill）
- 观察：hdfs haadmin -getServiceState nn2 应为 active；执行 hdfs dfs -ls / 验证业务可用
常见问题与要点：
- 配置变更后需重启相关进程；
- 多次格式化导致 clusterID 不一致时，清理 DataNode 数据目录 后重启；
- JournalNode 数据目录异常需清理后重启；
- 启用自动故障转移时，确保 ZooKeeper 可用、fencing 配置正确、SSH 免密可达；
- 客户端连接建议使用 nameservice ID（mycluster），避免直连单节点。

以上就是关于“Ubuntu如何实现HDFS的高可用性”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！

简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm