HDFS数据压缩实现指南

一、压缩前的准备工作

1. 选择合适的压缩算法

HDFS支持多种压缩算法，需根据存储需求、处理速度和CPU资源权衡选择：

Snappy：压缩/解压速度快（适合高频读写场景），压缩比中等（约2-3倍），是HDFS的默认推荐算法。
Gzip：压缩比高（约3-4倍），但速度慢（适合长期归档数据）。
LZO：压缩比和速度介于Snappy与Gzip之间，支持块分割（适合MapReduce作业），但需额外安装索引工具。
Zstandard (zstd)：新型算法，压缩比接近Gzip（约3-5倍），速度接近Snappy（支持多级压缩级别，灵活性高）。
Bzip2：压缩比最高（约4-5倍），但速度最慢（适合对存储空间极度敏感的场景）。

2. 安装压缩工具

根据选择的算法安装对应依赖（以CentOS为例）：

Snappy：sudo yum install snappy snappy-devel
LZO：sudo yum install lzo lzo-devel（需编译Hadoop时启用LZO支持）
Zstandard：sudo yum install zstd zstd-devel
确保所有Hadoop节点均安装对应工具，避免兼容性问题。

二、配置Hadoop支持压缩

1. 修改`core-site.xml`（全局压缩设置）

该文件定义了Hadoop框架支持的压缩编解码器，需添加以下配置：

<property>
    <name>io.compression.codecsname>
    <value>org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.LzoCodec,org.apache.hadoop.io.compress.ZStandardCodecvalue>
property>
<property>
    <name>io.compression.codec.snappy.classname>
    <value>org.apache.hadoop.io.compress.SnappyCodecvalue>
property>
<property>
    <name>io.compression.codec.defaultname>
    <value>org.apache.hadoop.io.compress.SnappyCodecvalue>
property>

io.compression.codecs：列出所有支持的编解码器（逗号分隔）。
io.compression.codec.default：设置默认压缩算法（可选）。

2. 修改`hdfs-site.xml`（HDFS特定设置）

该文件优化HDFS对压缩的支持，需调整以下参数：

<property>
    <name>dfs.replicationname>
    <value>3value>
property>
<property>
    <name>dfs.blocksizename>
    <value>134217728value> 
property>
<property>
    <name>dfs.namenode.handler.countname>
    <value>100value>
property>
<property>
    <name>dfs.datanode.handler.countname>
    <value>100value>
property>
<property>
    <name>io.compression.codec.gzip.levelname>
    <value>6value> 
property>

dfs.blocksize：增大块大小可减少压缩后的文件数量，提升并行处理效率。
dfs.namenode/datanode.handler.count：增加处理线程数，应对压缩/解压的网络请求。

三、使用命令行工具实现压缩

Hadoop提供了hadoop jar命令，可直接压缩/解压HDFS文件：

1. 压缩文件

hadoop jar $HADOOP_HOME/share/hadoop/common/hadoop-common-*.jar compress \
    -D mapreduce.output.fileoutputformat.compress=true \
    -D mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec \
    /input/path/file.txt /output/path/file.snappy

2. 解压文件

hadoop jar $HADOOP_HOME/share/hadoop/common/hadoop-common-*.jar decompress \
    /input/path/file.snappy /output/path/file.txt

或使用管道组合命令（如Gzip）：

hadoop fs -cat /input/path/file.gz | gunzip | hadoop fs -put - /output/path/file.txt

四、在MapReduce作业中启用压缩

1. 启用Map输出压缩（减少Shuffle数据量）

在mapred-site.xml中配置：

<property>
    <name>mapreduce.map.output.compressname>
    <value>truevalue>
property>
<property>
    <name>mapreduce.map.output.compress.codecname>
    <value>org.apache.hadoop.io.compress.SnappyCodecvalue>
property>

2. 启用Reduce输出压缩（最终结果压缩）

同样在mapred-site.xml中配置：

<property>
    <name>mapreduce.output.fileoutputformat.compressname>
    <value>truevalue>
property>
<property>
    <name>mapreduce.output.fileoutputformat.compress.codecname>
    <value>org.apache.hadoop.io.compress.SnappyCodecvalue>
property>
<property>
    <name>mapreduce.output.fileoutputformat.compress.typename>
    <value>BLOCKvalue> 
property>

3. 通过Java API设置（自定义作业）

Configuration conf = new Configuration();
conf.set("mapreduce.map.output.compress", "true");
conf.set("mapreduce.map.output.compress.codec", "org.apache.hadoop.io.compress.SnappyCodec");
conf.set("mapreduce.output.fileoutputformat.compress", "true");
conf.set("mapreduce.output.fileoutputformat.compress.codec", "org.apache.hadoop.io.compress.SnappyCodec");
conf.set("mapreduce.output.fileoutputformat.compress.type", "BLOCK");

Job job = Job.getInstance(conf, "Compressed MapReduce Job");
// 其他作业配置...
System.exit(job.waitForCompletion(true) ? 0 : 1);

五、验证与优化

1. 验证压缩是否生效

查看HDFS文件详情：hdfs dfs -ls /output/path/，若文件扩展名为.snappy、.gz等，则表示压缩成功。
检查压缩率：hdfs dfs -du -h /input/path/（原始大小）与hdfs dfs -du -h /output/path/（压缩后大小）对比。
查看集群报告：hdfs dfsadmin -report，确认Compression Codecs包含已配置的算法。