Question

请教下如何用awk命令比对删除两个文本的重复数据

因为文本比较大，都有几十上百M。所以想说用awk处理会比较快。。。

Answer 1

确认需求如下：
两个文本里每行都只有一个url地址。
a.txt里面的是全的，b.txt里面的全部是从a.txt里面提取出来的，即b是a的子集。
目的是要得到(a-b)这个集合。
要求用gawk.exe并能在XP下用。

实现：
gawk.exe "NR==FNR{a[$0]++} NR>FNR{c=0;for(i in a) if($0==i){c=1;break;} if(c==0)print $0}" b.txt a.txt >output.txt

结果即保存到output.txt中