Войти

Показать полную графическую версию : Как удалить дубли строк в большом файле?


Medvedoc
04-08-2021, 17:54
Добрый день! Подскажите пожалуйста батник, который может удалять дубли в большом текстовом файле .txt
Файл весит под 1,5-2Гб со количеством строк больше 2000000

DJ Mogarych
04-08-2021, 18:09
powershell -command "gc 'D:\temp\doubles.txt' |sort -Unique |out-file 'D:\temp\doubles2.txt'"

Iska
04-08-2021, 20:23
DJ Mogarych, про sort — не заказывали :).

DJ Mogarych
04-08-2021, 20:25
Мне приходила в голову та же мысль, но вряд ли в этом случае это имеет значение.

Iska
04-08-2021, 20:57
DJ Mogarych, да, вполне логично. Я тоже не вижу какого-либо глубинного смысла в сохранении исходной сортировки при данном действе.




© OSzone.net 2001-2012