[Kazun]

Код:

$h = @{}
Get-Content 1.csv | Foreach {$h[$_]=1}
Get-Content 2.csv | Where {!$h[$_]} | Out-File 3.csv

У меня получилось 28979 уникальных записей.

PS. С Compare-Object было лень ждать.