HBase集群在CentOS如何搭建

在 CentOS 上搭建 HBase 集群

一 环境规划与准备

• 节点规划（示例三台）：
  • node01：HDFS NameNode、HBase Master
  • node02：HDFS DataNode、HBase RegionServer、Backup Master
  • node03：HDFS DataNode、HBase RegionServer
• 基础依赖与版本建议：
  • Java 8（OpenJDK 8 或 Oracle JDK 8）
  • Hadoop ≥ 2.7（示例使用 3.3.x）
  • ZooKeeper ≥ 3.4（示例使用 3.5.x/3.6.x）
  • 所有节点间可通过主机名互相访问，建议配置 SSH 免密登录，并启用 NTP 做时间同步
• 基础检查命令：
  • 查看 Java：java -version
  • 主机名互通：ping node02、ping node03
  • 时间同步：timedatectl status、sudo ntpdate -s time.nist.gov

二 安装与配置 Hadoop HDFS

• 安装 Hadoop（示例放置于 /usr/local/hadoop）：
  • 下载并解压（以 3.3.1 为例）：

    wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
    tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
    sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop
    

  • 配置环境变量（/etc/profile 或 ~/.bashrc）：

    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    

• 关键配置（示例，按实际主机名与路径调整）：
  • core-site.xml：

    
      
        fs.defaultFS
        hdfs://node01:8020
      
    
    

  • hdfs-site.xml（启用 HDFS HA 时替换为对应配置；此处为单 NameNode 示例）：

    
      
        dfs.replication
        2
      
      
        dfs.namenode.name.dir
        /data/hdfs/namenode
      
      
        dfs.datanode.data.dir
        /data/hdfs/datanode
      
    
    

  • workers（或 slaves）：

    node02
    node03
    

• 启动 HDFS（首次需格式化 NameNode）：

  hdfs namenode -format
  start-dfs.sh
  

• 验证：jps 应看到 NameNode/DataNode 进程；访问 http://node01:9870 查看 HDFS Web UI。

三 安装与配置 ZooKeeper 集群

• 安装 ZooKeeper（示例放置于 /usr/local/zookeeper）：
  • 下载并解压（以 3.5.9 为例）：

    wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
    tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz -C /usr/local/
    sudo mv /usr/local/apache-zookeeper-3.5.9-bin /usr/local/zookeeper
    

  • 配置环境变量：

    export ZOOKEEPER_HOME=/usr/local/zookeeper
    export PATH=$PATH:$ZOOKEEPER_HOME/bin
    

• 配置 zoo.cfg（/usr/local/zookeeper/conf/zoo.cfg）：

  tickTime=2000
  dataDir=/var/lib/zookeeper
  clientPort=2181
  server.1=node01:2888:3888
  server.2=node02:2888:3888
  server.3=node03:2888:3888
  

• myid 文件（各节点唯一，与 server.x 对应）：
  • node01：echo "1" > /var/lib/zookeeper/myid
  • node02：echo "2" > /var/lib/zookeeper/myid
  • node03：echo "3" > /var/lib/zookeeper/myid
• 启动与验证：

  # 各节点
  $ZOOKEEPER_HOME/bin/zkServer.sh start
  $ZOOKEEPER_HOME/bin/zkServer.sh status
  

  应看到 Mode: leader 或 Mode: follower。

四 安装与配置 HBase 集群

• 安装 HBase（示例放置于 /opt/hbase）：
  • 下载并解压（以 2.5.5 为例）：

    wget https://dist.apache.org/repos/dist/release/hbase/2.5.5/hbase-2.5.5-bin.tar.gz
    tar -zxvf hbase-2.5.5-bin.tar.gz -C /opt/
    sudo ln -s /opt/hbase-2.5.5 /opt/hbase
    

  • 配置环境变量：

    export HBASE_HOME=/opt/hbase
    export PATH=$PATH:$HBASE_HOME/bin
    

• 配置 hbase-env.sh（/opt/hbase/conf/hbase-env.sh）：

  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  export HBASE_MANAGES_ZK=false
  # 可按需调整堆内存
  # export HBASE_HEAPSIZE=8G
  

• 配置 hbase-site.xml（/opt/hbase/conf/hbase-site.xml）：

  
    
      hbase.cluster.distributed
      true
    
    
      hbase.rootdir
      hdfs://node01:8020/hbase
    
    
      hbase.zookeeper.quorum
      node01,node02,node03
    
    
      hbase.zookeeper.property.dataDir
      /var/lib/zookeeper
    
    
      hbase.master.info.port
      16010
    
  
  

• 配置集群节点：
  • regionservers（/opt/hbase/conf/regionservers）：

    node02
    node03
    

  • 高可用（可选，/opt/hbase/conf/backup-masters）：

    node02
    

• 分发配置到各节点：

  for h in node02 node03; do
    scp -r /opt/hbase/conf $h:/opt/hbase/
  done
  

• 启动与验证：

  # 先确保 HDFS 与 ZooKeeper 已启动
  start-hbase.sh
  
  # 各节点 jps 应看到：
  # Master：HMaster
  # RegionServer：HRegionServer
  # 若启用 HBASE_MANAGES_ZK=false，则不会看到 HQuorumPeer
  
  # Web UI：http://node01:16010
  hbase shell
  > status
  

  常见故障排查要点：
  • 无法连接 ZooKeeper：核对 hbase.zookeeper.quorum 与 ZooKeeper 集群状态
  • RegionServer 起不来：检查 HDFS 目录权限、可用内存与 GC 日志
  • 写入延迟高：增加 RegionServer 数量、检查网络与磁盘 IO。

以上就是关于“HBase集群在CentOS如何搭建”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！

简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm