Question

请教下如何用awk命令比对删除两个文本的重复数据

因为文本比较大，都有几十上百M。所以想说用awk处理会比较快。。。
或者有什么工具处理比较快速的也可以

Answer 1

确认需求如下：
两个文本里每行都只有一个url地址。
a.txt里面的是全的，b.txt里面的全部是从a.txt里面提取出来的，即b是a的子集。
目的是要得到(a-b)这个集合。
要求用gawk.exe并能在XP下用。

实现：
gawk.exe "NR==FNR{a[$0]++} NR>FNR{c=0;for(i in a) if($0==i){c=1;break;} if(c==0)print $0}" b.txt a.txt

Answer 2

catfile2 |awk -F "\t" 'BEGIN{while (getline <"file1">0)a[$0]=1}{if(!($0 in a)) print }'

Answer 3

grep -Fv file1 file2 >不同的数据.txt