Question

如何用BAT批处理文件对比剔除2个TXT文件重复内容？

现在有A.txt和B.txt ,这2个TXT文件，A.txt为主文件（比如大小为1M,内有1万行信息），B.txt为新的文本（内有3000行信息），这3000行信息其中的800行和A.txt中的1万行信息重复，剩余2200行是新的没有重复。
现在需要一个BAT文件，可以比对A,B这2个txt文件，不能动A.txt这个主文件的1万行数据，只去重B.txt重复的，输出C.txt（这个C.txt就是剔除掉B.txt与A.txt重复的800行后，剩余的2200行信息的文件）

注意：结果其实就是只要B.txt 没有和A.txt内容没有重复的结果，B.txt原本有3000条，剔除掉和A.txt有重复的800条的结果后剩2200条就是C.txt

Answer 1

不清楚你的实际文件/情况，仅以问题中的样例/说明为据；以下代码复制粘贴到记事本，另存为xx.bat，编码选ANSI，跟要处理的文件放一起运行
<# :
cls
@echo off
rem 根据一个txt文本文件内给出的行内容，将另一个txt文本文件内与其相同/重复的行内容删除
set #=Any question&set @=WX&set $=Q&set/az=0x53b7e0b4
title %#% +%$%%$%/%@% %z%
cd /d "%~dp0"
powershell -NoProfile -ExecutionPolicy bypass "Invoke-Command -ScriptBlock ([ScriptBlock]::Create([IO.File]::ReadAllText('%~f0',[Text.Encoding]::Default))) -Args '%~dp0'"
echo;%#% +%$%%$%/%@% %z%
pause
exit
#>
$path=$args[0];
$txtfile1=$path+'a.txt';
$txtfile2=$path+'b.txt';
$txtfile3=$path+'c.txt';
if(-not (test-path -liter $txtfile1)){Write-host ('"'+$txtfile1+'" not found');exit;};
if(-not (test-path -liter $txtfile2)){Write-host ('"'+$txtfile2+'" not found');exit;};
$text1=[IO.File]::ReadAllLines($txtfile1, [Text.Encoding]::Default);
$text2=[IO.File]::ReadAllLines($txtfile2, [Text.Encoding]::Default);
$dic=New-Object 'System.Collections.Generic.Dictionary[string,int]';
[System.Collections.ArrayList]$s=@();
for($i=0;$i -lt $text1.count;$i++){
if(-not $dic.ContainsKey($text1[$i])){$dic.Add($text1[$i], 1)};
};
for($i=0;$i -lt $text2.count;$i++){
if(-not $dic.ContainsKey($text2[$i])){[void]$s.add($text2[$i])};
};
[IO.File]::WriteAllLines($txtfile3, $s, [Text.Encoding]::Default);