阅读量:344
在Debian系统中，去重通常指的是删除重复的文件或数据。以下是一些常用的方法来去重：
1. 使用 fdupes 工具
fdupes 是一个非常强大的工具，可以用来查找和删除重复的文件。
安装 fdupes
sudo apt update
sudo apt install fdupes
查找重复文件
fdupes -r /path/to/search
-r 选项表示递归搜索。
删除重复文件
fdupes -rdN /path/to/search
2. 使用 find 和 sort 结合
这种方法适用于查找特定类型的文件（如图片、文档等）并去重。
查找并排序重复文件
find /path/to/search -type f -name "*.jpg" | sort | uniq -d | cut -d'/' -f3-
这个命令会查找所有 .jpg 文件，按文件名排序，然后使用 uniq -d 查找重复的文件名，最后提取文件路径。
删除重复文件
你可以将上述命令的输出传递给 xargs 来删除重复文件：
find /path/to/search -type f -name "*.jpg" | sort | uniq -d | cut -d'/' -f3- | xargs rm
3. 使用 dedupe-cli 工具
dedupe-cli 是一个图形化的去重工具，适合不熟悉命令行的用户。
安装 dedupe-cli
sudo apt update
sudo apt install dedupe-cli
使用 dedupe-cli
启动 dedupe-cli 并按照向导进行操作：
dedupe-cli
4. 使用 rsync 和 --link-dest
这种方法适用于备份时去重，可以节省存储空间。
创建备份并去重
rsync -a --link-dest=/path/to/previous/backup /source/path /destination/path
每次备份时，rsync 会检查目标路径中是否有相同的文件，如果有，则创建硬链接而不是复制文件。
注意事项
通过这些方法，你可以在Debian系统中有效地去重文件和数据。