HBase在CentOS上的压缩设置指南

一、前置准备：安装压缩算法依赖库

HBase的压缩功能依赖系统级的压缩库，需根据选择的算法提前安装对应开发包：

Snappy（推荐，兼顾速度与压缩比）：

sudo yum install epel-release  # 启用EPEL仓库
sudo yum install snappy-devel

GZIP（高压缩比，但CPU占用高）：
大多数CentOS系统默认包含gzip，无需额外安装。
LZO（高性能，需额外配置）：
```
sudo yum install lzo-devel
```
Zstandard（Zstd）（平衡速度与压缩比，HBase 2.0+支持）：
```
sudo yum install zstd-devel
```

注：选择算法时需权衡性能与压缩率，Snappy适合对延迟敏感的场景，GZIP适合存储空间优先的场景。

二、修改HBase核心配置文件（hbase-site.xml）

配置文件路径通常为/etc/hbase/conf/hbase-site.xml，需添加或修改以下关键属性：

1. 基础压缩配置

<configuration>
  
  <property>
    <name>hbase.regionserver.compression.codecname>
    <value>org.apache.hadoop.hbase.io.compress.SnappyCodecvalue> 
  property>
  
  
  <property>
    <name>hbase.regionserver.compression.typename>
    <value>snappyvalue> 
  property>
  
  
  <property>
    <name>hbase.regionserver.compression.thresholdname>
    <value>10485760value> 
  property>
  
  
  <property>
    <name>hbase.regionserver.compression.blocksizename>
    <value>65536value> 
  property>
configuration>

2. 高级优化配置（可选）


<property>
  <name>hbase.regionserver.global.memstore.sizename>
  <value>0.4value> 
property>


<property>
  <name>hbase.regionserver.global.memstore.flush.sizename>
  <value>134217728value> 
property>

注：hbase.regionserver.compression.codec需与hbase.regionserver.compression.type保持一致，避免配置冲突。

三、重启HBase服务使配置生效

修改配置文件后，需重启HBase集群：

# 停止HBase服务
sudo systemctl stop hbase-regionserver
sudo systemctl stop hbase-master

# 启动HBase服务
sudo systemctl start hbase-master
sudo systemctl start hbase-regionserver

注：建议在低峰期重启，避免影响线上业务。

四、验证压缩配置是否生效

1. 使用HBase Shell验证

# 进入HBase Shell
hbase shell

# 查看集群状态中的压缩配置
status 'simple'

# 输出示例（需包含目标压缩算法）：
# Compression:
#   codec: snappy

2. 使用HBase Admin API验证（Java示例）

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.TableName;

public class HBaseCompressionCheck {
    public static void main(String[] args) throws Exception {
        // 配置HBase连接
        Configuration config = HBaseConfiguration.create();
        config.set("hbase.zookeeper.quorum", "your_zookeeper_quorum");
        config.set("hbase.zookeeper.property.clientPort", "2181");
        
        // 获取Admin对象
        try (Connection connection = ConnectionFactory.createConnection(config);
             Admin admin = connection.getAdmin()) {
            
            // 获取目标表的Descriptor
            TableName tableName = TableName.valueOf("your_table_name");
            var tableDescriptor = admin.getTableDescriptor(tableName);
            
            // 输出压缩算法
            System.out.println("Compression Algorithm: " + 
                tableDescriptor.getCompactionConfiguration().getCompression());
        }
    }
}

编译并运行代码，若输出为目标压缩算法（如snappy），则说明配置生效。

五、常见问题排查

压缩库未找到：
若启动时报错java.lang.UnsatisfiedLinkError，需检查压缩库路径是否在java.library.path中。可通过修改hbase-env.sh添加：
```
export HBASE_OPTS="$HBASE_OPTS -Djava.library.path=/usr/lib64"
```
压缩效果不明显：
若数据本身是文本且重复性低，可尝试更换为Zstd或LZO算法；若数据已压缩（如图片、视频），压缩率会极低，建议关闭压缩。
性能下降：
压缩会增加CPU负载，若CPU使用率过高，可降低压缩级别（部分算法支持）或选择更快的算法（如Snappy）。

以上就是关于“HBase在CentOS上的压缩设置”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！

简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm