Question

循环比较目录中的多个文件，当两个文件某个内容相同的就移除这两个，继续比对，LinuxSHELL脚本怎么写？

Answer 1

事先建立一个文件夹tempfolder，每一个文件与其他所有文件比较后mv到tempfolder，剩下的文件再与其他文件比较。“两个文件某个内容相同”？？？？？？？
一行格式的命令：

for i in * ;do for j in * ;do if [ -f "$i" ] && [ -f "$j" ] && [ "$i" != "$j" ]; then echo "$i"," ","$j" ；F1=$(grep 内容 “$i”)；F2=$(grep 内容 “$j”) ; if [ "$F1" != "" ] && [ "$F2" != "" ] ;then rm "$i" "$j" ;fi ;fi ;done ;if [ -f "$i" ] ;then mv "$i" ./tempfolder;fi; done

多行格式命令：

for i in * ;do
for j in * ;do
if [ -f "$i" ] && [ -f "$j" ] && [ "$i" != "$j" ]; then
echo "$i"," ","$j" #测试语句
F1=$(grep 内容 “$i”)
F2=$(grep 内容 “$j”)
if [ "$F1" != "" ] && [ "$F2" != "" ] ;then
rm "$i" "$j"
fi
fi
done
if [ -f "$i" ] ;then
mv "$i" ./tempfolder
fi
done

追问

两个不同目录下文件比对呐？你这个只能同一个目录下递归

追答

问题不是很详细。所以就按简单的情况编写。两个目录也没有问题。只要将for 改一下就可以了，例如
for i in PATH1/* ;do
for j in PATH2/*;do

不过比较的文件只在目录的第一层，没有遍历子目录。

Answer 2

#!/bin/bash

#创建备份目录
if [ ! -e /opt/backup ];then
mkdir $BACKUP;
fi

#设定目录及文件
BACKUP=/opt/backup
SRC=/test
HASHFILE=/opt/backup/hashfile.txt
REPEATHASH=/opt/backup/repeathash.txt

#给所有文件生成hash值
find $SRC -type f -exec md5sum {} \; > $HASHFILE
#查询重复的hash值
find $SRC -type f -exec md5sum {} \;|awk '{print $1}' |sort |uniq -c |awk '{if($1>1)print $2}' > $REPEATHASH
#如果没有md5sum可以用openssl md5代替
#find $SRC -type f -exec openssl md5 {} \;|awk '{print $2}'|sort |uniq -c |awk '{if($1>1)print $2}' > $REPEATHASH

#查询hash有重复的文件并move到备份目录
for HASH1 in `cat $REPEATHASH`;do
mv `grep $HASH1 $HASHFILE |awk '{print $2}'` $BACKUP
done;